(57)【要約】  本開示は夜景撮影方法、装置、電子機器および記憶媒体を提供し、方法は、撮影モジュールのブレの度合いを取得するステップと、ブレの度合いに基づいて、基準感光度を調整するステップと、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定するステップと、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集するステップと、目標画像を生成するように、収集された複数フレームの画像を合成するステップと、を含む。以上により、各フレームの収集対象画像の基準感光度および露出時間に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
2021530911.tif 000002
【特許請求の範囲】
【請求項１】
撮影モジュールに適用される夜景撮影方法であって、前記方法は、
前記撮影モジュールのブレの度合いを取得するステップと、
前記ブレの度合いに基づいて、基準感光度を調整するステップと、
撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定するステップと、
前記基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集するステップと、
目標画像を生成するように、収集された複数フレームの画像を合成するステップと、を含む、
ことを特徴とする夜景撮影方法。
【請求項２】
撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定するステップは、
前記撮影シーンの輝度情報に基づいて、基準露出量を決定するステップと、
前記基準露出量および前記基準感光度に基づいて、基準露出時間を決定するステップと、
各フレームの収集対象画像の設定された露出補正レベルに基づいて、前記基準露出時間を補正して各フレームの収集対象画像の露出時間を得るステップと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
各フレームの収集対象画像の設定された露出補正レベルに基づいて、前記基準露出時間を補正して各フレームの収集対象画像の露出時間を得るステップの前は、
前記ブレの度合いに基づいて、露出補正モードを調整するステップをさらに含み、
前記露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる、
ことを特徴とする請求項２に記載の方法。
【請求項４】
ブレの度合いに基づいて、露出補正モードを調整するステップは、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整するステップと、
前記撮影モジュールが収集した画像に顔が含まれているか否かを検出するステップと、
顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第１のモードであると決定するステップと、
顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第２のモードであると決定するステップと、を含み、
前記第２のモードの露出補正レベルの値の範囲が前記第１のモードの露出補正レベルの値の範囲より大きい、
ことを特徴とする請求項３に記載の方法。
【請求項５】
前記収集対象画像のフレーム数と前記ブレの度合いとは逆関係を持つ、
ことを特徴とする請求項４に記載の方法。
【請求項６】
ブレの度合いに基づいて、基準感光度を調整するステップは、
前記ブレの度合いがブレのしきい値以上である場合、前記基準感光度が第１の感光値であると決定するステップと、
前記ブレの度合いが前記ブレのしきい値より小さい場合、前記基準感光度が第２の感光値であると決定するステップと、を含み、
前記第１の感光値が前記第２の感光値より高い、
ことを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記第１の感光値は前記第２の感光値の予め設定された倍数であり、前記予め設定された倍数の値は２以上であり、
前記第２の感光値は前記撮影モジュールの最低感光度である、
ことを特徴とする請求項６に記載の方法。
【請求項８】
撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定するステップの後は、
各フレームの収集対象画像の露出時間を設定された最大時間と比較するステップと、
収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、前記第１の画像の露出時間を前記最大時間まで短縮するステップと、をさらに含む、
ことを特徴とする請求項１〜７のいずれか一項に記載の方法。
【請求項９】
各フレームの収集対象画像の露出時間を設定された最大時間と比較するステップの前は、
前記ブレの度合いに基づいて、前記最大時間を決定するステップをさらに含む、
ことを特徴とする請求項８に記載の方法。
【請求項１０】
ブレの度合いに基づいて、前記最大時間を決定するステップは、
前記ブレの度合いがブレのしきい値以上である場合、前記最大時間が第１の時間であると決定するステップと、
前記ブレの度合いがブレのしきい値より小さい場合、前記最大時間が第２の時間であると決定するステップと、を含み、
前記第１の時間が前記第２の時間より短い、
ことを特徴とする請求項９に記載の方法。
【請求項１１】
前記第１の時間の値の範囲は１５０ｍｓ〜３００ｍｓであり、
前記第２の時間の値の範囲は４．５ｓ〜５．５ｓである、
ことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記第１の画像の露出時間を前記最大時間まで短縮するステップの後は、
前記第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、前記第１の画像の感光度を向上させるステップをさらに含む、
ことを特徴とする請求項８〜１１のいずれか一項に記載の方法。
【請求項１３】
撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定するステップの後は、
各フレームの収集対象画像の露出時間を設定された最短時間と比較するステップと、
収集対象画像に露出時間が前記最短時間より短い第２の画像が存在する場合、前記第２の画像の露出時間を前記最短時間まで延長するステップと、をさらに含む、
ことを特徴とする請求項１〜７のいずれか一項に記載の方法。
【請求項１４】
前記第２の画像の露出時間を前記最短時間まで延長するステップの後は、
前記第２の画像の延長後の露出時間と延長前の露出時間との比を決定するステップと、
露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比の値に基づいて前記残りの各フレームの収集対象画像の感光度または露出時間を更新するステップと、をさらに含む、
ことを特徴とする請求項１３に記載の方法。
【請求項１５】
露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比の値に基づいて前記残りの各フレームの収集対象画像の感光度または露出時間を更新するステップは、
露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比と前記残りの各フレームの収集対象画像の更新前の感光度との積を、前記残りの各フレームの収集対象画像の更新後の感光度とするステップ、
または、
露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比と前記残りの各フレームの収集対象画像の更新前の露出時間との積を、前記残りの各フレームの収集対象画像の更新後の露出時間とするステップを含む、
ことを特徴とする請求項１４に記載の方法。
【請求項１６】
露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比の値に基づいて前記残りの各フレームの収集対象画像の感光度または露出時間を更新するステップの前は、
前記残りの各フレームの収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、前記最大時間に基づいて、前記第１の画像の露出時間を短縮するステップと、
前記第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、前記第１の画像の感光度を向上させるステップと、をさらに含む、
ことを特徴とする請求項１４または１５に記載の方法。
【請求項１７】
前記最短時間は１０ｍｓ以上である、
ことを特徴とする請求項１３〜１６のいずれか一項に記載の方法。
【請求項１８】
撮影モジュールに適用される夜景撮影方法であって、前記方法は、
前記撮影モジュールのブレの度合いを取得するステップと、
前記ブレの度合いに基づいて、露出時間を調整するステップと、
撮影シーンの輝度情報および前記露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するステップと、
前記複数フレームの収集対象画像の感光度および前記露出時間に基づいて画像を収集するステップと、
目標画像を生成するように、収集された複数フレームの画像を合成するステップと、を含む、
ことを特徴とする夜景撮影方法。
【請求項１９】
前記ブレの度合いに基づいて、露出時間を調整するステップは、
前記ブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定するステップと、
各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間に基づいて、各フレームの収集対象画像の露出時間を決定するステップと、を含む、
ことを特徴とする請求項１８に記載の方法。
【請求項２０】
各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間に基づいて、各フレームの収集対象画像の露出時間を決定するステップの前は、
前記ブレの度合いに基づいて、露出補正モードを調整するステップをさらに含み、
前記露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる、
ことを特徴とする請求項１９に記載の方法。
【請求項２１】
ブレの度合いに基づいて、露出補正モードを調整するステップは、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整するステップと、
前記撮影モジュールが収集した画像に顔が含まれているか否かを検出するステップと、
顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第１のモードであると決定するステップと、
顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第２のモードであると決定するステップと、を含み、
前記第２のモードの露出補正レベルの値の範囲が前記第１のモードの露出補正レベルの値の範囲より大きい、
ことを特徴とする請求項２０に記載の方法。
【請求項２２】
撮影シーンの輝度情報および前記露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するステップの後は、
各フレームの収集対象画像の感光度を設定された最大感光度と比較するステップと、
収集対象画像に感光度が最大感光度より高い第１の画像が存在する場合、前記最大感光度に基づいて、前記第１の画像の感光度を低減するステップと、をさらに含む、
ことを特徴とする請求項１８〜２１のいずれか一項に記載の方法。
【請求項２３】
各フレームの収集対象画像の感光度と設定された感光度しきい値とを比較するステップの前は、
撮影モジュールのブレの度合いに基づいて、前記最大感光度を決定するステップをさらに含む、
ことを特徴とする請求項２２に記載の方法。
【請求項２４】
撮影モジュールのブレの度合いに基づいて、前記最大感光度を決定するステップは、
前記ブレの度合いがブレのしきい値以上である場合、前記最大感光度が第１の感光値であると決定するステップと、
前記ブレの度合いがブレのしきい値より小さい場合、前記最大感光度が第２の感光値であると決定するステップと、を含み、
前記第１の感光値が前記第２の感光値より高い。
ことを特徴とする請求項２３に記載の方法。
【請求項２５】
前記最大感光度に基づいて、前記第１の画像の感光度を低減するステップの後は、
前記第１の画像の低減前の感光度と低減後の感光度との比の値に基づいて、前記第１の画像の露出時間を延長するステップをさらに含む、
ことを特徴とする請求項２２〜２４のいずれか一項に記載の方法。
【請求項２６】
撮影シーンの輝度情報および前記露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するステップの後は、
各フレームの収集対象画像の感光度を設定された最低感光度と比較するステップと、
収集対象画像に感光度が前記最低感光度より小さい第２の画像が存在する場合、前記最低感光度に基づいて、前記第２の画像の感光度を向上させるステップと、をさらに含む、
ことを特徴とする請求項１８〜２１のいずれか一項に記載の方法。
【請求項２７】
前記最低感光度に基づいて、前記第２の画像の感光度を向上させるステップの後は、
前記第２の画像の増加後の感光度と増加前の感光度との比を決定するステップと、
感光度が前記最低感光度以上である残りの各フレームの収集対象画像に対して、前記比の値に基づいて前記残りの各フレームの収集対象画像の感光度または露出時間を更新するステップと、をさらに含む、
ことを特徴とする請求項２６に記載の方法。
【請求項２８】
撮影モジュールに適用される夜景撮影方法であって、前記方法は、
前記撮影モジュールのブレの度合いを取得するステップと、
前記ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップと、
各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集するステップと、
目標画像を生成するように、収集された複数フレームの画像を合成するステップと、を含む、
ことを特徴とする夜景撮影方法。
【請求項２９】
前記ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップは、
前記撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計を検索して、対応する収集対象画像の露出時間および感光度を得るステップと、
前記ブレの度合いに基づいて、対応する収集対象画像の感光度が前記ブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整するステップと、を含む、
ことを特徴とする請求項２８に記載の方法。
【請求項３０】
前記撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計を検索して、対応する収集対象画像の露出時間および感光度を得るステップの前は、
前記ブレの度合いに基づいて、露出補正モードを調整するステップをさらに含み、
前記露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる、
ことを特徴とする請求項２９に記載の方法。
【請求項３１】
ブレの度合いに基づいて、露出補正モードを調整するステップは、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整するステップと、
前記撮影モジュールが収集した画像に顔が含まれているか否かを検出するステップと、
顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第１のモードであると決定するステップと、
顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第２のモードであると決定するステップと、を含み、
前記第２のモードの露出補正レベルの値の範囲が前記第１のモードの露出補正レベルの値の範囲より大きい、
ことを特徴とする請求項３０に記載の方法。
【請求項３２】
前記ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップの後は、
各フレームの収集対象画像の露出時間を設定された最大時間と比較するステップと、
収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、前記最大時間に基づいて、前記第１の画像の露出時間を短縮するステップと、をさらに含む、
ことを特徴とする請求項２８〜３１のいずれか一項に記載の方法。
【請求項３３】
各フレームの収集対象画像の露出時間を設定された最大時間と比較するステップの前は、
前記ブレの度合いに基づいて、前記最大時間を決定するステップをさらに含む、
ことを特徴とする請求項３２に記載の方法。
【請求項３４】
ブレの度合いに基づいて、前記最大時間を決定するステップは、
前記ブレの度合いがブレのしきい値以上である場合、前記最大時間が第１の時間であると決定するステップと、
前記ブレの度合いがブレのしきい値より小さい場合、前記最大時間が第２の時間であると決定するステップと、を含み、
前記第１の時間が前記第２の時間より短い、
ことを特徴とする請求項３３に記載の方法。
【請求項３５】
前記最大時間に基づいて、前記第１の画像の露出時間を短縮するステップの後は、
前記第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、前記第１の画像の感光度を向上させるステップをさらに含む、
ことを特徴とする請求項３２〜３４のいずれか一項に記載の方法。
【請求項３６】
前記ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップの後は、
各フレームの収集対象画像の露出時間を設定された最短時間と比較するステップと、
収集対象画像に露出時間が前記最短時間より短い第２の画像が存在する場合、前記最短時間に基づいて、前記第２の画像の露出時間を延長するステップと、をさらに含む、
ことを特徴とする請求項２８〜３１のいずれか一項に記載の方法。
【請求項３７】
前記最短時間に基づいて、前記第２の画像の露出時間を延長するステップの後は、
前記第２の画像の延長後の露出時間と延長前の露出時間との比を決定するステップと、
露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比の値に基づいて前記残りの各フレームの収集対象画像の感光度または露出時間を更新するステップと、をさらに含む、
ことを特徴とする請求項３６に記載の方法。
【請求項３８】
撮影モジュールに適用される夜景撮影装置であって、前記装置は
前記撮影モジュールのブレの度合いを取得するための取得モジュールと、
前記ブレの度合いに基づいて、基準感光度を調整するための調整モジュールと、
撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定するための決定モジュールと、
前記基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集するための収集モジュールと、
目標画像を生成するように、収集された複数フレームの画像を合成するための生成モジュールと、を含む、
ことを特徴とする夜景撮影装置。
【請求項３９】
撮影モジュールに適用される夜景撮影装置であって、前記装置は、
前記撮影モジュールのブレの度合いを取得するための取得モジュールと、
前記ブレの度合いに基づいて、露出時間を調整するための調整モジュールと、
撮影シーンの輝度情報および前記露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するための決定モジュールと、
前記複数フレームの収集対象画像の感光度および前記露出時間に基づいて画像を収集するための収集モジュールと、
目標画像を生成するように、収集された複数フレームの画像を合成するための生成モジュールと、を含む、
ことを特徴とする夜景撮影装置。
【請求項４０】
撮影モジュールに適用される夜景撮影装置であって、前記装置は、
前記撮影モジュールのブレの度合いを取得するための取得モジュールと、
前記ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するための調整モジュールと、
各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集するための収集モジュールと、
目標画像を生成するように、収集された複数フレームの画像を合成するための生成モジュールと、を含む、
ことを特徴とする夜景撮影装置。
【請求項４１】
夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出するステップと、
前記撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定するステップと、
現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定するステップと、
前記各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集するステップと、
目標画像を生成するように、収集された複数フレームの画像を合成するステップと、を含む、
ことを特徴とする撮影モジュールの夜景撮影処理方法。
【請求項４２】
各フレームの収集対象画像に対応する露出時間を決定するステップの後は、
前記各フレームの収集対象画像に対応する露出時間が予め設定された時間範囲内にあるか否かを検出するステップと、
少なくとも１フレームの収集対象画像の露出時間が前記予め設定された時間範囲内にない場合、前記少なくとも１フレームの収集対象画像の露出時間が前記予め設定された時間範囲内にあるように、前記予め設定された時間範囲に基づいて、前記少なくとも１フレームの収集対象画像の露出時間を更新するステップと、をさらに含む、
ことを特徴とする請求項４１に記載の方法。
【請求項４３】
前記各フレームの収集対象画像に対応する露出時間が予め設定された時間範囲内にあるか否かを検出するステップの前は、
前記撮影モジュール内の光学部品の配置形態に基づいて、前記予め設定された時間範囲を決定するステップをさらに含む、
ことを特徴とする請求項４２に記載の方法。
【請求項４４】
前記少なくとも１フレームの収集対象画像の露出時間を更新するステップの後は、
前記少なくとも１フレームの収集対象画像の更新前の露出時間と更新後の露出時間との差に基づいて、前記各フレームの収集対象画像に対応する露出量調整モードを決定するステップと、
前記露出量調整モードに基づいて、前記各フレームの収集対象画像の感光度および露出時間を調整するステップと、をさらに含む、
ことを特徴とする請求項４２に記載の方法。
【請求項４５】
現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定するステップは、
前記現在の撮影シーンの照度に基づいて、基準露出量を決定するステップと、
前記基準露出量および前記各フレームの収集対象画像に対応する基準感光度に基づいて、基準露出時間を決定するステップと、
前記基準露出時間および予め設定された露出補正モードに基づいて、前記各フレームの収集対象画像に対応する露出時間を決定するステップと、を含む、
ことを特徴とする請求項４１〜４４のいずれか一項に記載の方法。
【請求項４６】
前記基準露出時間および予め設定された露出補正モードに基づいて、前記各フレームの収集対象画像に対応する露出時間を決定するステップの前は、
前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードを決定するステップをさらに含む、
ことを特徴とする請求項４５に記載の方法。
【請求項４７】
前記予め設定された露出補正モードを決定するステップは、
前記撮影モジュールが現在収集している画像に顔が含まれているか否かを検出するステップと、
顔が含まれている場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第１のモードであると決定するステップと、
顔が含まれていない場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第２のモードであると決定するステップであって、第２のモードに対応する露出補正範囲が、前記第１のモードに対応する露出補正範囲より大きいステップと、を含む、
ことを特徴とする請求項４６に記載の方法。
【請求項４８】
前記予め設定された露出補正モードを決定するステップの前は、
前記撮影モジュール内の各部品の属性情報を決定するステップと、をさらに含み、
前記予め設定された露出補正モードを決定するステップは、
前記各部品の属性情報および前記現在のブレの度合いに基づいて、前記予め設定された露出補正モードを決定するステップを含む。
ことを特徴とする請求項４６または４７に記載の方法。
【請求項４９】
目標画像を生成するように、前記収集された複数フレームの画像を合成するステップは、
予め設定された前記複数フレームの画像内の各フレームの収集対象画像に対応する重みに基づいて、前記複数フレームの画像を合成するステップを含む、
ことを特徴とする請求項４１〜４８のいずれか一項に記載の方法。
【請求項５０】
夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出するための検出モジュールと、
前記撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定するための第１の決定モジュールと、
現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定するための第２の決定モジュールと、
前記各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集するための収集モジュールと、
目標画像を生成するように、前記収集された複数フレームの画像を合成するための合成モジュールと、を含む、
ことを特徴とする撮影モジュールの夜景撮影処理装置。
【請求項５１】
電子機器であって、
前記電子機器は、
撮影モジュールと、
メモリと、
プロセッサと、
メモリに記憶され且つプロセッサにおいて実行できるコンピュータプログラムとを含み、前記プロセッサは、前記撮影モジュールに接続され、前記コンピュータプログラムを実行する際に、請求項１〜１７のいずれか一項に記載の夜景撮影方法、または、請求項１８〜２７のいずれか一項に記載の夜景撮影方法、または、請求項２８〜３７のいずれか一項に記載の夜景撮影方法、または、請求項４１〜４９のいずれか一項に記載の撮影モジュールの夜景撮影処理方法を実現する、
ことを特徴とする電子機器。
【請求項５２】
画像処理回路であって、
前記画像処理回路は画像信号処理ＩＳＰプロセッサおよびグラフィックプロセッサＧＰＵを含み、
前記ＩＳＰプロセッサは撮影モジュールに接続され、前記撮影モジュールのブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、前記基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて、画像を収集するように前記撮影モジュールを制御することに用いられ、
前記ＧＰＵは前記ＩＳＰプロセッサに電気的に接続され、目標画像を生成するように、収集された複数フレームの画像を合成することに用いられる、
ことを特徴とする画像処理回路。
【請求項５３】
記憶媒体であって、
前記記憶媒体内の命令は、プロセッサによって実行される場合、請求項１〜１７のいずれか一項に記載の夜景撮影方法、または、請求項１８〜２７のいずれか一項に記載の夜景撮影方法、または、請求項２８−３７のいずれか一項に記載の夜景撮影方法、または、請求項４１〜４９のいずれか一項に記載の撮影モジュールの夜景撮影処理方法を実現する、
ことを特徴とする記憶媒体。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本開示はＯＰＰＯ広東移動通信有限公司が２０１８年８月２２日に提出した、発明名称「撮影モジュールの夜景撮影処理方法、装置、電子機器および記憶媒体」、中国特許出願番号「２０１８１０９６３３３１．３」の中国特許出願の優先権を請求する。
【技術分野】
【０００２】
本開示はイメージング技術分野に関し、特に夜景撮影方法、装置、電子機器および記憶媒体に関する。
【背景技術】
【０００３】
インテリジェント端末技術の発展につれて、モバイル端末デバイス（例えば、スマートフォン、タブレットなど）の使用はますます普及している。ほぼ全部のモバイル端末デバイスにカメラが内蔵されており、モバイル端末の処理能力の向上およびカメラ技術の発展につれて、内蔵カメラの性能も、撮影画像の品質もだんだん高くなる。現在、モバイル端末デバイスはどれも操作しやすくて持ち歩きやすく、日常生活では、スマートフォン、タブレットなどのモバイル端末デバイスで写真を撮るユーザもだんだん増えている。
【０００４】
スマートモバイル端末は人々の日常の撮影に利便性を提供するとともに、撮影する画像の品質に対する人々の期待もますます高くなっている。しかしながら、専門のレベルによって制限されるため、人々は撮影シーンに応じて適切な撮影パラメータを設定する方法が分からず、特に夜景という特殊なシーンにおいて、画像の品質が低い。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は少なくとも関連技術における技術的課題のうちの１つをある程度解決することを目的としている。
【課題を解決するための手段】
【０００６】
そのため、本開示が提供する夜景撮影方法、装置、電子機器および記憶媒体は、夜景シーンで撮影された画像のダイナミックレンジが限られているだけではなく、全体の輝度が低く、ユーザ体験に影響するという関連技術における課題を解決することに用いられる。
【０００７】
本開示の第１態様の実施例は撮影モジュールに適用される夜景撮影方法を提供し、前記方法は、
前記撮影モジュールのブレの度合いを取得するステップと、
前記ブレの度合いに基づいて、基準感光度を調整するステップと、
撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定するステップと、
前記基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集するステップと、
目標画像を生成するように、収集された複数フレームの画像を合成するステップと、を含む。
【０００８】
本開示の実施例の夜景撮影方法は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像露出時間を決定し、基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、画像ノイズを低い水準に制御するために、撮影された複数フレームの画像はいずれも基準感光度を用いる。同時に、基準感光度の値はブレの度合いも考慮して、撮影時間が長すぎず、画像内のスミアを回避する。該方法を用いて得られた複数フレームの画像は、画像品質が高く、これらの画像に対する合成処理はノイズをさらに低減することができ、ダイナミックレンジを向上させる。夜景撮影において、良好な撮影効果を得ることができる。
【０００９】
本開示の第２態様の実施例は撮影モジュールに適用される他の夜景撮影方法を提供し、前記方法は、
前記撮影モジュールのブレの度合いを取得するステップと、
前記ブレの度合いに基づいて、露出時間を調整するステップと、
撮影シーンの輝度情報および前記露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するステップと、
前記複数フレームの収集対象画像の感光度および前記露出時間に基づいて画像を収集するステップと、
目標画像を生成するように、収集された複数フレームの画像を合成するステップと、を含む。
【００１０】
本開示の実施例の夜景撮影方法は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、露出時間を調整し、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、露出時間が決定された後、撮影シーンの輝度情報および露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【００１１】
本開示の第３態様の実施例は撮影モジュールに適用される更なる夜景撮影方法を提供し、前記方法は、
前記撮影モジュールのブレの度合いを取得するステップと、
前記ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップと、
各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集するステップと、
目標画像を生成するように、収集された複数フレームの画像を合成するステップと、を含む。
【００１２】
本開示の実施例の夜景撮影方法は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【００１３】
本開示の第４態様の実施例は撮影モジュールに適用される夜景撮影装置を提供し、前記装置は、
前記撮影モジュールのブレの度合いを取得するための取得モジュールと、
前記ブレの度合いに基づいて、基準感光度を調整するための調整モジュールと、
撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定するための決定モジュールと、
前記基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集するための収集モジュールと、
目標画像を生成するように、収集された複数フレームの画像を合成するための生成モジュールと、を含む。
【００１４】
本開示の実施例の夜景撮影装置は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、基準感光度が決定された後、撮影シーンの輝度情報および基準感光度に基づいて複数フレームの収集対象画像の露出時間を決定し、複数フレームの収集対象画像の基準感光度および露出時間に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【００１５】
本開示の第５態様の実施例は撮影モジュールに適用される他の夜景撮影装置を提供し、前記装置は、
前記撮影モジュールのブレの度合いを取得するための取得モジュールと、
前記ブレの度合いに基づいて、露出時間を調整するための調整モジュールと、
撮影シーンの輝度情報および前記露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するための決定モジュールと、
前記複数フレームの収集対象画像の感光度および前記露出時間に基づいて画像を収集するための収集モジュールと、
目標画像を生成するように、収集された複数フレームの画像を合成するための生成モジュールと、を含む。
【００１６】
本開示の実施例の夜景撮影装置は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、露出時間を調整し、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、露出時間が決定された後、撮影シーンの輝度情報および露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【００１７】
本開示の第６態様の実施例は撮影モジュールに適用される更なる夜景撮影装置を提供し、前記装置は、
前記撮影モジュールのブレの度合いを取得するための取得モジュールと、
前記ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するための調整モジュールと、
各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集するための収集モジュールと、
目標画像を生成するように、収集された複数フレームの画像を合成するための生成モジュールと、を含む。
【００１８】
本開示の実施例の夜景撮影装置は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【００１９】
本開示の第７態様の実施例は撮影モジュールの夜景撮影処理方法を提供し、前記方法は、
夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出するステップと、
前記撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定するステップと、
現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定するステップと、
前記各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集するステップと、
目標画像を生成するように、前記収集された複数フレームの画像を合成するステップと、を含む。
【００２０】
本開示の実施例が提供する撮影モジュールの夜景撮影処理方法は、夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出し、現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定し、その後、現在の撮影シーンの照度および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定し、さらに各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および基準感光度を決定し、かつ現在の撮影シーンの照度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することにより、異なる露出時間の複数枚の画像を撮って合成することによって夜景撮影モードにおける撮影画像のダイナミックレンジおよび全体の輝度を向上させて、撮影画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストおよびピンぼけを抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【００２１】
本開示の第８態様の実施例は撮影モジュールの夜景撮影処理装置を提供し、前記装置は、
夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出するための第１の検出モジュールと、
前記撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定するための第１の決定モジュールと、
現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定するための第２の決定モジュールと、
前記各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集するための第１の収集モジュールと、
目標画像を生成するように、前記収集された複数フレームの画像を合成するための合成モジュールと、を含む。
【００２２】
本開示の実施例が提供する撮影モジュールの夜景撮影処理装置は、夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出して、現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定することができ、その後、現在の撮影シーンの照度および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定し、さらに各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および基準感光度を決定し、かつ現在の撮影シーンの照度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することにより、異なる露出時間の複数枚の画像を撮って合成することによって夜景撮影モードにおける撮影画像のダイナミックレンジおよび全体の輝度を向上させて、撮影画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストおよびピンぼけを抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【００２３】
本開示の第９態様の実施例は電子機器を提供し、撮影モジュール、メモリ、プロセッサおよびメモリに記憶されかつプロセッサにおいて実行できるコンピュータプログラムを含み、前記プロセッサは、前記撮影モジュールに接続され、前記コンピュータプログラムを実行する際に、上記実施例に記載の夜景撮影方法、または、撮影モジュールの夜景撮影処理方法を実現する。
【００２４】
本開示の第１０態様の実施例は画像処理回路を提供し、前記画像処理回路は画像信号処理ＩＳＰプロセッサおよびグラフィックプロセッサＧＰＵを含み、
前記ＩＳＰプロセッサは撮影モジュールに接続され、前記撮影モジュールのブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、前記基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて、画像を収集するように前記撮影モジュールを制御することに用いられ、
前記ＧＰＵは、前記ＩＳＰプロセッサに電気的に接続され、目標画像を生成するように、収集された複数フレームの画像を合成することに用いられる。
【００２５】
本開示の第１１態様の実施例は記憶媒体を提供し、前記記憶媒体内の命令は、プロセッサによって実行される際に、上記実施例に記載の夜景撮影方法、または、撮影モジュールの夜景撮影処理方法を実現する。
【図面の簡単な説明】
【００２６】
本開示の上記および／または追記の態様および利点は、添付の図面を参照した以下の実施例の説明から分かりやすくなりかつ理解しやすくなる。
【図１】本開示の実施例が提供する第１の夜景撮影方法のフローチャートである。
【図２】本開示の実施例が提供する第２の夜景撮影方法のフローチャートである。
【図３】本開示の実施例が提供する第３の夜景撮影方法のフローチャートである。
【図４】本開示の実施例が提供する第４の夜景撮影方法のフローチャートである。
【図５】本開示の実施例が提供する第５の夜景撮影方法のフローチャートである。
【図６】本開示の実施例が提供する第６の夜景撮影方法のフローチャートである。
【図７】本開示の実施例が提供する第７の夜景撮影方法のフローチャートである。
【図８】本開示の実施例が提供する第８の夜景撮影方法のフローチャートである。
【図９】本開示の実施例が提供する第９の夜景撮影方法のフローチャートである。
【図１０】本開示の実施例が提供する第１０の夜景撮影方法のフローチャートである。
【図１１】本開示の実施例が提供する第１１の夜景撮影方法のフローチャートである。
【図１２】本開示の実施例が提供する第１２の夜景撮影方法のフローチャートである。
【図１３】本開示の実施例が提供する第１３の夜景撮影方法のフローチャートである。
【図１４】本開示の実施例が提供する第１４の夜景撮影方法のフローチャートである。
【図１５】本開示の実施例が提供する夜景撮影装置の構造概略図である。
【図１６】本開示の実施例が提供する他の夜景撮影装置の構造概略図である。
【図１７】本開示の実施例が提供する更なる夜景撮影装置の構造概略図である。
【図１８】本開示の実施例が提供する撮影モジュールの夜景撮影処理方法のフローチャートである。
【図１９】本開示の実施例が提供する撮影モジュールの夜景撮影処理装置の構造概略図である。
【図２０】本開示の実施例が提供する電子機器の構造概略図である。
【図２１】本開示の実施例が提供する電子機器の原理図である。
【図２２】本開示の実施例が提供する画像処理回路の原理図である。
【発明を実施するための形態】
【００２７】
以下、本開示の実施例を詳しく説明し、前記実施例の例は図面に示されており、同じまたは類似の番号は終始同じまたは類似の部品、あるいは同じまたは類似の機能を有する部品を表す。図面を参照して説明した以下の実施例は例示に過ぎず、本開示を解釈することに用いられる、本開示を限定するものとして理解すべきではない。
【００２８】
関連技術では、絞りの小さいモバイル端末デバイスに対して、夜景シーンにおいて画像を撮る場合は照明が暗いため、収集対象画像の露出時間を延長することによって輝度を向上させると、ブレによって撮影された画像にスミアが存在する可能性がある。感光度の値を上げて画像を取得する場合、撮影のプロセスにおいてノイズが導入され、画像の画面のピンぼけを引き起こす。以上により、夜景シーンで撮影された画像はダイナミックレンジおよび全体の輝度が低く、ノイズレベルが高いだけではなく、ゴーストおよびピンぼけの状況が発生しやすく、ユーザ体験に影響する。
【００２９】
上記課題に対して、本開示の実施例は夜景撮影方法を提供し、撮影モジュールのブレの度合いを取得することにより、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。画像ノイズを低い水準に制御するために、撮影された複数フレームの画像はいずれも基準感光度を用いる。同時に、基準感光度の値はブレの度合いも考慮して、撮影時間が長すぎず、画像内のスミアを回避する。該方法を用いて得られた複数フレームの画像は、画像品質が高く、これらの画像に対する合成処理はノイズをさらに低減することができ、ダイナミックレンジを向上させる。夜景撮影において、良好な撮影効果を得ることができる。
【００３０】
以下は図面を参照しながら本開示が提供する夜景撮影方法、装置、電子機器および記憶媒体を詳しく説明する。
【００３１】
図１は本開示の実施例が提供する第１の夜景撮影方法のフローチャートである。
【００３２】
本開示の実施例の夜景撮影方法は撮影モジュールに適用され、該撮影モジュールは携帯電話、タブレット、パーソナルデジタルアシスタント、ウェアラブルデバイスなど、様々なオペレーティングシステム、イメージングデバイスを有するハードウェア機器であってもよい。
【００３３】
図１に示すように、該夜景撮影方法は、撮影モジュールに適用され、以下のステップを含む。
【００３４】
ステップ１０１、撮影モジュールのブレの度合いを取得する。
【００３５】
本開示の実施例において、撮影モジュールのブレの度合いを決定するために、電子機器内に配置される変位センサに基づいて変位情報を収集することができ、さらに、収集された電子機器の変位情報に基づいて、撮影モジュールのブレの度合いを決定する。
【００３６】
当業者であれば、連続して収集されたプレビュー画面内の同じ対象の変位度合いに基づいて、ブレの度合いが分かることができる。変位が大きければ大きいほどブレの度合いが大きくなり、これに反して、変位が小さければ小さいほど、ブレの度合いが小さくなる。
【００３７】
一例として、電子機器現在のジャイロスコープ（Ｇｙｒｏ−ｓｅｎｓｏｒ）情報を取得することによって、電子機器の現在のブレの度合い、即ち撮影モジュールの現在のブレの度合いを得ることができる。
【００３８】
ジャイロスコープは角速度センサとも呼ばれ、物理量偏移、傾斜時の回転角速度を測定することができる。電子機器において、ジャイロスコープは回転、偏移の動作を良好に測定できるため、使用者の実際の動作を正確に分析して判断することができる。電子機器のジャイロスコープ情報（ｇｙｒｏ情報）は三次元空間の３つの次元の方向における携帯電話の動作情報を含んでもよく、三次元空間の３つの次元はそれぞれＸ軸、Ｙ軸、Ｚ軸の３つの方向で表すことができ、Ｘ軸、Ｙ軸、Ｚ軸は２つずつ垂直な関係にある。
【００３９】
なお、本開示の実施例の１つの可能な実現形態では、電子機器現在のｇｙｒｏ情報に基づいて、撮影モジュールの現在のブレの度合いを決定することができる。電子機器は３つの方向におけるｇｙｒｏ動作の絶対値が大きければ大きいほど、撮影モジュールのブレの度合いが大きい。具体的に、３つの方向におけるｇｙｒｏ動作の絶対値のしきい値を予め設定し、取得した現在の３つの方向におけるｇｙｒｏ動作の絶対値の和と、予め設定されたしきい値との関係に基づいて、撮影モジュールの現在のブレの度合いを決定することができる。
【００４０】
例えば、予め設定されたしきい値を第１のしきい値のＡ、第２のしきい値のＢ、第３のしきい値のＣ（Ａ＜Ｂ＜Ｃ）とし、現在取得された３つの方向におけるｇｙｒｏ動作の絶対値の和をＳとすると、Ｓ＜Ａの場合、撮影モジュールの現在のブレの度合いを「ブレなし」に、Ａ＜Ｓ＜Ｂの場合、撮影モジュールの現在のブレの度合いを「微ブレ」に、Ｂ＜Ｓ＜Ｃの場合、撮影モジュールの現在のブレの度合いを「弱ブレ」に、Ｓ＞Ｃの場合、撮影モジュールの現在のブレの度合いを「強ブレ」に決定することができる。
【００４１】
なお、上記例は例示に過ぎず、本開示を限定するものではない。実際の適用では、実際の必要に応じてしきい値の数および各しきい値の具体的な数値を予め設定することができ、およびｇｙｒｏ情報と各しきい値との関係に基づいて、ｇｙｒｏ情報と撮影モジュールのブレの度合いとのマッピング関係を予め設定することができる。
【００４２】
ステップ１０２、ブレの度合いに基づいて、基準感光度を調整する。
【００４３】
感光度は、ＩＳＯ値とも呼ばれ、光に対するネガフィルムの感度を判断する指標を意味する。感光度の低いネガフィルムに対して、感光度の高いネガフィルムと同じイメージング効果を達成するために、より長い露出時間が必要とされる。デジタルカメラの感光度はフィルムの感光度に類似する指標であり、デジタルカメラのＩＳＯは感光素子の感度を調整するまたは感光点を合併することによって調整することができ、即ち、感光素子の光感度を向上させるまたは隣接するいくつかの感光点を合併することによってＩＳＯを向上させるという目的を達成することができる。なお、デジタルにせよネガフィルム撮影にせよ、露出時間を短縮するために、比較的高い感光度を用いると、通常はより多くのノイズが引き起こされるため、画像品質の低下をもたらす。
【００４４】
本開示の実施例において、基準感光度は、現在の撮影において、撮影モジュールの現在のブレの度合いに基づいて調整される、現在のブレの度合いに適合する最低の感光度であってもよい。例えば、ブレの度合いに基づいて、ブレの度合いに適合する基準感光度を調整する際に、現在の基準感光度がちょうどブレの度合いに適合する場合、基準感光度が変化しないという結果になる。この場合は本開示の実施例における「調整」という範囲にも属する。
【００４５】
また、他の可能な適合シーンでは、撮影モジュールは複数のレンズで構成されるため、異なるレンズが同一の撮影環境においても異なる感光度に対応することができる。本ステップにおける基準感光度の調整は、複数のレンズのうちの１つのレンズによって実行される撮影のプロセスに対するものであり、この撮影プロセスにおいて、複数フレームの画像の収集は同一の基準感光度を用いる。
【００４６】
本ステップでは、画像ノイズを低減するために基準感光度が低く、感光度が低い複数フレームの画像を同時に収集して、目標画像を生成するように、収集された複数フレームの画像を合成する方法によって、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させられるだけではなく、感光度の値を制御することによって、画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させる。
【００４７】
なお、収集された画像の感光度が全体の撮影時間に影響し、撮影時間が長すぎると、手持ち撮影時の撮影モジュールのブレの度合いが大きくなる可能性があり、さらには画像の品質に影響する。そのため、撮影時間を適切な範囲内に制御するように、撮影モジュールの現在のブレの度合いに基づいて、各フレームの収集対象画像に対応する基準感光度を調整することができる。
【００４８】
具体的に、撮影モジュールの現在のブレの度合いが小さい場合、各フレームの画像のノイズを効果的に抑制し、撮影画像の品質を向上させるように、各フレームの収集対象画像に対応する基準感光度をより低い値に適当に圧縮してもよい。撮影モジュールの現在のブレの度合いが大きい場合、撮影時間を短縮するように、各フレームの収集対象画像に対応する基準感光度を高い値に適宜に向上してもよい。
【００４９】
例えば、撮影モジュールの現在のブレの度合いが「ブレなし」であると決定する場合、品質のより高い画像をできる限り取得するように、基準感光度をより低い値、例えば１００に決定することができる。撮影モジュールの現在のブレの度合いが「微ブレ」であると決定する場合、撮影時間を短縮するように、基準感光度を高い値、例えば２００に決定することができる。撮影モジュールの現在のブレの度合いが「弱ブレ」であると決定する場合、撮影時間を短縮するように、基準感光度をさらに高め、例えば２２０に決定することができる。撮影モジュールの現在のブレの度合いが「強ブレ」であると決定する場合、現在のブレの度合いが大きすぎると決定でき、この際に、撮影時間を短縮するように、基準感光度をさらに高め、例えば２５０に決定することができる。
【００５０】
なお、上記例は単なる例示であり、本開示を限定するものではない。実際の適用では、撮影モジュールのブレの度合いが変化する場合、基準感光度を調整することによって最適な解決案を得ることができる。撮影モジュールのブレの度合いと各フレームの収集対象画像に対応する基準感光度とのマッピング関係は、実際の必要に応じて予め設定することができる。
【００５１】
しかしながら、本開示の実施例では、撮影モジュールのブレの度合いだけに基づいて基準感光度を調整することに限定されず、さらにブレの度合いおよび撮影シーンの輝度情報など、複数のパラメータに基づいて基準感光度を包括的に決定することができ、ここで限定されない。
【００５２】
ステップ１０３、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定する。
【００５３】
露出時間は、光がレンズを通過する時間を意味する。複数フレームの収集対象画像は２フレーム以上であり、これについて本開示の実施例では限定されない。
【００５４】
本開示の実施例では、撮影シーンの輝度情報は、撮影モジュール内の測光モジュールを用いて測光して得ることができ、プレビュー画像の輝度情報によって得られるものであってもよく、ここで限定されない。該輝度情報は通常、撮影シーンの照度を、輝度を判断する指標とし、当業者であれば、他の指標による輝度の判断がいずれも本実施例の範囲内にあると理解するべきである。
【００５５】
具体的に、自動露出制御（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ  Ｃｏｎｔｒｏｌ、ＡＥＣと略称される）アルゴリズムを用いて、現在の輝度情報に対応する露出量を決定し、さらには、撮影シーンの輝度情報および基準感光度との両方面の情報に基づいて、複数フレームの収集対象画像内の各フレームの収集対象画像のために露出時間を決定する。
【００５６】
なお、露出量は絞り、露出時間および感光度と関連付けられている。絞りは即ちアパーチャであり、単位時間内に光が通過する量を決定する。各フレームの収集対象画像に対応する基準感光度が同じ、かつ絞りの大きさが同じである場合、現在の撮影シーンの照度に対応する露出量が大きければ大きいほど、各フレームの収集対象画像に対応する露出時間が長い。
【００５７】
ステップ１０４、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集する。
【００５８】
本開示の実施例において、複数フレームの収集対象画像の基準感光度および露出時間を決定した後、各フレームの収集対象画像の基準感光度および露出時間に基づいて画像を収集するように撮影モジュールを制御し、ここで詳しい説明を省略する。
【００５９】
なお、複数フレームの画像を収集する場合、同一の基準感光度に基づく画像の収集は、複数フレームの画像のノイズを低減することに寄与するだけではなく、感光度の向上により、収集された複数フレームの画像のノイズが増加するという技術的課題を回避する。
【００６０】
ステップ１０５、目標画像を生成するように、収集された複数フレームの画像を合成する。
【００６１】
本開示の実施例において、複数フレームの収集対象画像に対応する基準感光度および露出時間を決定した後、基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、かつ収集された複数フレームの画像を合成して、目標画像を生成することができる。本開示の実施例の夜景撮影方法は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された各フレームの画像を合成する。以上により、複数フレームの収集対象画像の基準感光度および露出時間に基づいて画像を収集し、合成して目標画像を生成することは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【００６２】
図１に記載の実施例をもとに、１つの可能な場合では、上記ステップ１０２において、合成後の画像がより高いダイナミックレンジを有し、画像全体の輝度および品質を向上させるように、測光して決定された基準露出量および各フレームの露出補正レベルに基づいて、各フレームの収集対象画像の露出時間を決定して、異なるダイナミックレンジの画像を取得することができる。図２を参照すると、図２は本開示の実施例が提供する第２の夜景撮影方法のフローチャートである。図２に示すように、ステップ１０２は具体的に以下を含む。
【００６３】
ステップ２０１、撮影シーンの輝度情報に基づいて、基準露出量を決定する。
【００６４】
本開示の実施例において、基準露出量は、プレビュー画像を測光することによって現在の撮影シーンの輝度情報を取得した後、テーブルを参照するなどの方法によって決定された、現在の撮影シーンの輝度情報に適合する露出量を意味する。基準露出量の値は、基準感光度と基準露出時間との積であってもよい。
【００６５】
ステップ２０２、基準露出量および基準感光度に基づいて、基準露出時間を決定する。
【００６６】
本開示の実施例において、基準露出量が基準露出時間および基準感光度を含むため、撮影モジュールのブレの度合いに基づいて基準感光度を決定し、および撮影シーンの照度に基づいて基準露出量を決定した後、基準露出量および基準感光度に基づいて、基準露出時間を決定することができる。
【００６７】
ステップ２０３、ブレの度合いに基づいて、露出補正モードを調整する。
【００６８】
露出補正モードは、収集対象画像のフレーム数と、複数フレームの収集対象画像の設定された露出補正レベルとを示すことに用いられる。
【００６９】
なお、撮影モジュールの現在のブレの度合いが異なる場合、決定された収集対象画像の数は異なってもよく、収集対象画像の数が異なる場合、異なる露出補正モードを用いる必要がある。そのため、本開示の実施例の１つの可能な実現形態では、撮影モジュールのブレの度合いと露出補正モードとのマッピング関係により、撮影モジュールの現在のブレの度合いに基づいて、現在の収集対象画像の数のフレーム数と、複数フレームの収集対象画像の設定された露出補正モードとを決定することができる。
【００７０】
例えば、撮影モジュールのブレの度合いを「ブレなし」とし、対応する露出補正モードのＥＶ値の範囲を−６〜２に予め設定し、隣接するＥＶ値の間の差を０．５としたり、撮影モジュールのブレの度合いを「微ブレ」とし、対応する露出補正モードのＥＶ値の範囲を−５〜１に予め設定し、隣接するＥＶ値の間の差を１としたりするなどができる。
【００７１】
１つの可能な実現形態として、撮影モジュールのブレの度合いおよび手ブレ防止性能と組み合わせて露出補正モードを調整するように、撮影モジュールの手ブレ防止性能をまず決定してもよい。
【００７２】
なお、撮影モジュールの手ブレ防止性能は撮影モジュール内の各部品の属性情報と一定の関係を持つため、撮影モジュールのブレの度合いおよび手ブレ防止性能と組み合わせて露出補正モードを調整するように、撮影モジュール内の各部品の属性情報に基づいて撮影モジュールの手ブレ防止性能を決定することができる。
【００７３】
例えば、撮影モジュール内の光学部品が光学式手ブレ防止のように配置される場合、予め設定された時間範囲を適当に拡大することができ、光学式手ブレ防止機能を実現できる撮影モジュールは、撮影時に振れると、その自身が一部のブレを相殺することができるため、光学式手ブレ防止を実現できない撮影モジュールと比べて、同じブレの度合いの下で、光学式手ブレ防止機能を実現できる撮影モジュールが収集した画像内のゴーストおよびピンぼけの度合いは小さい。そのため、光学式手ブレ防止を実現できない撮影モジュールと比べて、より品質の高い画像を得るように、予め設定された時間範囲、特に時間範囲の上限を適当に拡大してもよい。
【００７４】
もう１つの可能な実現形態として、撮影モジュールのブレの度合い、および撮影モジュールが収集した画像に顔が含まれているか否かに基づいて、各フレームの露出補正モードを調整することができる。以下、図３と併せて上記プロセスを詳しく説明する。図３は本開示の実施例が提供する第３の夜景撮影方法のフローチャートであり、図３に示すように、ステップ２０３は以下のサブステップをさらに含んでも良い。
【００７５】
サブステップ２０３１、ブレの度合いに基づいて、収集対象画像のフレーム数を調整する。
【００７６】
なお、収集対象画像のフレーム数および収集された画像の感光度が全体の撮影時間に影響し、撮影時間が長すぎると、手持ち撮影時の撮影モジュールのブレの度合いが大きくなる可能性があり、さらには画像の品質に影響する。即ち、収集対象画像のフレーム数とブレの度合いとは逆関係を持つ。そのため、撮影時間を適切な範囲内に制御するように、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像のフレーム数を調整することができる。
【００７７】
具体的に、撮影モジュールの現在のブレの度合いが小さい場合、各フレームの画像のノイズを効果的に抑制して、撮影画像の品質を向上させるように、より多くのフレームの画像を収集してもよく、撮影モジュールの現在のブレの度合いが大きい場合、撮影時間を短縮するように、より少ないフレームの画像を収集してもよい。
【００７８】
例えば、撮影モジュールの現在のブレの度合いが「ブレなし」であると決定する場合、現在が三脚撮影モードである可能性があると決定することができ、この時、品質のより高い画像をできる限り取得するように、より多くのフレームの画像を収集してもよく、例えば、収集対象画像の数を１７フレームに決定する。撮影モジュールの現在のブレの度合いが「微ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、より少ないフレームを収集してもよく、例えば、収集対象画像の数を７フレームに決定する。撮影モジュールの現在のブレの度合いが「弱ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らしてもよく、例えば、収集対象画像の数を５フレームに決定する。撮影モジュールの現在のブレの度合いが「強ブレ」であると決定する場合、現在のブレの度合いが大きすぎると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らすか、または複数フレームの画像を収集する方式を用いずに撮影してもよく、例えば、収集対象画像を３フレームに決定する。
【００７９】
なお、上記例は例示に過ぎず、本開示を限定するものではない。実際の適用では、撮影モジュールのブレの度合いが変化すると、最適な解決案を得るように、収集対象画像のフレーム数を変えることができる。撮影モジュールのブレの度合いと収集対象画像のフレーム数とのマッピング関係は、実際の必要に応じて予め設定することができる。
【００８０】
サブステップ２０３２、撮影モジュールが収集した画像に顔が含まれているか否かを検出する。
【００８１】
本開示の実施例では、被写体に顔が含まれているか否かは顔認識技術によって決定することができる。顔認識技術は、顔の視覚的特徴情報を分析および比較することによって身分認識を行い、生体認証技術に属しており、生体（一般的に人を指す）自身の生物学的特性に対して生体個体を区別するものである。現在、顔認識技術は、デジタルカメラのフェイスオートフォーカスやスマイルシャッター技術、企業、住宅の安全と管理、入退室管理システム、およびカメラ監視システムなど、数多くの分野に適用されている。よく用いられる顔認識アルゴリズムは、顔特徴点に基づく認識アルゴリズム（Ｆｅａｔｕｒｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、顔全体画像に基づく認識アルゴリズム（Ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、テンプレートに基づく認識アルゴリズム（Ｔｅｍｐｌａｔｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、ニューラルネットワークを用いる認識アルゴリズム（Ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ  ｕｓｉｎｇ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）などを含む。
【００８２】
なお、撮影モジュールの現在収集している画像に顔が含まれていること検出した場合、撮影モジュールの測光モジュールは自動的に顔の領域を主として測光を行い、顔の領域の測光結果に基づいて基準露出量を決定する。しかしながら、夜景モードでは、顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高く、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、目標画像の効果が悪くなる。そのため、同じブレの度合いに対して、撮影モジュールが収集した画像に顔が含まれている場合は、顔が含まれていない場合と比べて、対応する露出補正モードがより低い露出補正範囲を有する必要がある。
【００８３】
サブステップ２０３３、顔が含まれている場合、露出補正モードが調整後のフレーム数にマッチングする第１のモードであると決定する。
【００８４】
サブステップ２０３４、顔が含まれていない場合、露出補正モードが調整後のフレーム数にマッチングする第２のモードであると決定する。
【００８５】
第２のモードに対応する露出補正レベルの値の範囲は第１のモードに対応する露出補正レベルの値の範囲より大きい。
【００８６】
本開示の実施例の１つの可能な実現形態では、同じブレの度合いに対して、撮影モジュールの現在収集している画像に顔が含まれているか否かに基づいて、異なる露出補正策を用いることができる。そのため、同じブレの度合いに対しては、複数の露出補正モードに対応することができる。例えば、撮影モジュールのブレの度合いが「微ブレ」である場合、対応する予め設定された露出補正モードは第１のモードおよび第２のモードがあり、第１のモードに対応する各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、第２のモードに対応する各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］である。撮影モジュールの現在のブレの度合い、および撮影モジュールの現在収集している画像に顔が含まれているか否かが決定されると、現在の実際の状況に適合する予め設定された露出補正モードを決定することができる。
【００８７】
例えば、撮影モジュールの現在のブレの度合いが「微ブレ」であるとすると、対応する予め設定された露出補正モードは第１のモードおよび第２のモードがあり、第１のモードに対応する各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、第２のモードに対応する各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］であり、以上から分かるように、第１のモードの露出補正範囲は第２のモードの露出補正範囲より小さい。撮影モジュールの現在収集している画像に顔が含まれていることを検出した場合、予め設定された露出補正モードが調整後のフレーム数に適合する第１のモードであると決定し、即ち各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、撮影モジュールの現在収集している画像に顔が含まれていないことを検出した場合、予め設定された露出補正モードが調整後のフレーム数に適合する第２のモードであると決定し、即ち各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］である。
【００８８】
ステップ２０４、各フレームの収集対象画像の設定された露出補正レベルに基づいて、基準露出時間を補正して各フレームの収集対象画像の露出時間を得る。
【００８９】
本開示の実施例において、収集対象画像を異なる露出量に対応させることによって、異なるダイナミックレンジを有する画像を得るように、露出補正レベルに応じて、各フレームの収集対象画像に対してそれぞれ異なる露出補正策を用いることができる。
【００９０】
なお、露出補正モードは、各フレームの収集対象画像のためにそれぞれ予め設定した露出補正レベル（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ、ＥＶと略称される）の組み合わせを意味する。露出量の最初の定義では、露出量は１つの正確な数値を指すわけではなく、「同じ露出量を提供できるすべてのカメラの絞りと露出時間との組み合わせ」を意味する。感光度、絞りおよび露出時間はカメラの露出量を決定し、異なるパラメータの組み合わせは同じ露出量を生成することができる。露出補正レベルは露出量を調整するパラメータであり、一部の画像を露出アンダーにしたり、一部の画像を露出オーバーにしたり、一部の画像を適切に露出したりすることができる。
【００９１】
ＥＶ値と感光度と、絞りと露出時間との間の関係を説明するために、以下は具体的なデータと併せて説明する。例えば、同じ撮影シーンでは、感光度が同じである場合、１／１２５秒の露出時間およびｆ１１の絞りの組み合わせを用いて得られた露出量と、１／２５０秒の露出時間およびｆ８シャッターの組み合わせを用いて得られた露出量とは同じであり、即ちＥＶ値は同じである。従来のカメラでは、ＥＶ値が０である場合は、常に感光度が１００、絞り係数がｆ１、露出時間が１秒である際に得られた露出量を指す。露出量が１段増加すると、露出時間が倍増になる。感光度が倍増になるまたは絞りが１段増加すると、ＥＶ値が１増加する。即ち、ＥＶ１に対応する露出量はＥＶ０に対応する露出量の２倍である。表１に示すのは、露出時間、絞り、感光度がそれぞれ単独で変化する場合、ＥＶ値との対応関係である。
【００９２】
なお、デジタルカメラのＥＶ値が０である場合の露出量は、撮影シーンにおいて環境光を測光して得られるものであってもよい。
【００９３】
【表１】
2021530911.tif 000003
【００９４】
撮影技術がデジタル時代に入ると、カメラ内部の測光機能が非常に高くなっており、ＥＶは、露出目盛りにおける１つの段差を示すためによく用いられており、多くのカメラでは露出補正の設定が許容され、通常ＥＶで表される。この場合、ＥＶはカメラの測光データに対応する露出量と実際の露出量との差を指し、例えば、ＥＶ＋１の露出補正は、カメラの測光データに対応する露出量に対して、露出が１段増加すると、実際の露出量はカメラの測光データに対応する露出量の２倍になること指す。
【００９５】
本開示の実施例では、露出補正モードを決定する場合は、決定された基準露出量に対応するＥＶ値を０に予め設定することができ、ＥＶ＋１は露出が１段増加することを指し、即ち露出量が基準露出量の２倍になり、ＥＶ＋２は露出が２段増加することを指し、即ち露出量が基準露出量の４倍になり、ＥＶ−１は露出が１段減ることを指し、即ち露出量が基準露出量の０．５倍になるなど。
【００９６】
例えば、収集対象画像の数が７フレーム場合、露出補正モードに対応するＥＶ値の範囲は［＋１、＋１、＋１、＋１、０、−３、−６］であってもよい。露出補正モードがＥＶ＋１であるフレームは、ノイズ問題が解決可能であり、輝度の高いフレームを介して時間領域のノイズリダクションを行い、暗い部分の細部を改善すると共にノイズを抑制する。露出補正モードがＥＶ−６であるフレームは、明るくて露出オーバーを引き起こすという課題を解決でき、明るい領域の細部を保持する。露出補正モードがＥＶ０およびＥＶ−３であるフレームは、明るい領域から暗い領域への移行に用いられてもよく、良好な明暗移行効果を維持することができる。
【００９７】
なお、露出補正モードに対応する各ＥＶ値は実際の必要に応じて具体的に設定するものであってもよく、設定されたＥＶ値の範囲に基づいて、各ＥＶ値の間の差が同じであるという原則に従って求められたものであってもよく、本開示の実施例では限定されない。
【００９８】
本開示の実施例の１つの可能な実現形態では、絞りの大きさは一定であってもよく、決定された基準感光度に基づいて各収集対象画像を収集する。そのため、撮影モジュールの現在のブレの度合いに基づいて現在の収集対象画像の数が決定されると、現在の収集対象画像の数に適合する予め設定された露出補正モード、および基準露出時間に基づいて、各フレームの収集対象画像に対応する露出時間を決定することができる。具体的に、収集対象画像に対応する露出補正モードがＥＶ＋１である場合、該収集対象画像に対応する露出時間は基準時間の２倍になり、収集対象画像に対応する露出補正モードがＥＶ−１である場合、該収集対象画像に対応する露出時間は基準時間の０．５倍になり、これによって類推する。
【００９９】
例えば、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数が７フレームであると決定する場合、対応する予め設定された露出補正モードに対応するＥＶ範囲は［＋１、＋１、＋１、＋１、０、−３、−６］であってもよく、基準露出量および基準感光度に基づいて、基準露出時間が１００ミリ秒に決定されると、各フレームの収集対象画像に対応する露出時間は２００ミリ秒、２００ミリ秒、２００ミリ秒、２００ミリ秒、１００ミリ秒、１２．５ミリ秒、６．２５ミリ秒である。
【０１００】
本開示の実施例の夜景撮影方法は、撮影シーンの輝度情報に基づいて、基準露出量を決定し、基準露出量および基準感光度に基づいて、基準露出時間を決定し、撮影モジュールのブレの度合いに基づいて、露出補正モードを調整し、各フレームの収集対象画像の設定された露出補正レベルに基づいて、基準露出時間を補正して各フレームの収集対象画像の露出時間を得る。以上により、各フレームの画像を収集する露出時間を決定するように、撮影シーンの輝度情報に基づいて基準露出および各フレームの露出補正レベルを決定し、異なる露出時間に基づいて各フレームの画像を収集する場合、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０１０１】
図２に記載の実施例をもとに、もう１つの可能な実現形態として、本開示の実施例では、複数の夜景モードが予め設定され、異なる夜景モードに異なる露出補正モードが対応付けられている。図４に示すのは、本開示の実施例が提供する第４の夜景撮影方法のフローチャートであり、具体的に以下のステップを含んでも良い。
【０１０２】
ステップ３０１、プレビュー画面の画面内容に基づいて、現在の撮影シーンが夜景シーンに属すると決定する。
【０１０３】
本開示の実施例では、現在の撮影シーンが夜景シーンに属するか否かを決定するために、イメージングデバイスを介して現在の撮影シーンのプレビュー画面を取得することができる。
【０１０４】
具体的に、異なるシーンにおける環境輝度値が異なるため、プレビュー画面の内容も異なり、現在の撮影シーンのプレビュー画面の画面内容および各領域の環境輝度値に基づいて、現在の撮影シーンが夜景シーンに属するかどうかを判断する。
【０１０５】
例えば、プレビュー画面の画面内容は夜空または夜景の灯による光源などを含むか、またはプレビュー画面の各領域の環境輝度値が夜景環境における画像の輝度分布特性に属する場合、現在の撮影シーンが夜景シーンに属すると決定することができる。
【０１０６】
ステップ３０２、撮影モジュールのブレの度合いおよび／またはプレビュー画面に顔が含まれているか否かに基づいて、現在の撮影シーンに適用する夜景モードを認識する。
【０１０７】
本開示の実施例では、イメージングデバイスに配置される変位センサを介して、撮影のプロセスにおけるイメージングデバイスの変位情報を収集して、得られた変位情報に基づいて撮影モジュールの現在のブレの度合いを決定することができる。以上により、撮影モジュールのブレの度合いに基づいて、使用者がイメージングデバイスを三脚に固定して撮影したかまたは手持ちモードで撮影したかを判断することができる。さらには、撮影モジュールの現在のブレの度合いに基づいて、現在の撮影シーンに適用する夜景モードを認識する。夜景モードは、即ち三脚を用いるモードまたは手持ちモードである。
【０１０８】
もう１つの可能な実現形態として、イメージングデバイスのプレビュー画面に顔が含まれているか否かを決定することによって、現在の撮影シーンに適用する夜景モードを認識することができる。
【０１０９】
なお、プレビュー画面に顔が含まれていることを検出する場合、撮影モジュールの測光モジュールは自動的に顔の領域を主として測光し、顔の領域の測光結果に基づいて基準露出量を決定する。しかしながら、夜景シーンにおいて、顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高くなり、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、収集された画像のイメージング効果が悪くなる。そのため、同じブレの度合いに対して、プレビュー画面に顔が含まれている場合と顔が含まれていない場合とを比較すると、用いる夜景モードは異なる。
【０１１０】
ステップ３０３、夜景モードに対応する露出補正モードに基づいて、各フレームの収集対象画像の予め設定された露出補正値を決定する。
【０１１１】
１つの可能な実現形態として、撮影モジュールのブレの度合いが異なれば、現在の撮影シーンに適用する夜景モードが異なるため、決定された各フレームの収集対象画像の予め設定された露出補正値も異なる。本開示の実施例では、撮影モジュールのブレの度合いに基づいて、現在各フレームの収集対象画像の予め設定された露出補正値を決定するように、撮影モジュールのブレの度合いと露出補正値との間のマッピング関係を予め設定することができる。
【０１１２】
例えば、撮影モジュールのブレの度合いが「ブレなし」である場合、各フレームの収集対象画像に対応する露出補正値のＥＶ値の範囲を−６〜２に予め設定し、隣接するＥＶ値の間の差を０．５としたり、撮影モジュールのブレの度合いが「微ブレ」である場合、各フレームの収集対象画像に対応する露出補正値のＥＶ値の範囲を−５〜１に予め設定し、隣接するＥＶ値の間の差を１としたりするなどができる。
【０１１３】
もう１つの可能な実現形態として、撮影モジュールのプレビュー画面に顔が含まれているか否かを検出し、プレビュー画面に顔が含まれている場合と顔が含まれていない場合とは、現在の撮影シーンに適用する夜景モードが異なるため、それによって決定される各フレームの収集対象画像の予め設定された露出補正値もまた異なる。
【０１１４】
別の可能な実現形態として、同じブレの度合いに対して、プレビュー画面に顔が含まれているか否かに基づいて、各フレームの収集対象画像が異なる露出補正値を用いると決定することができる。そのため、同じブレの度合いに対しては、複数の露出補正値に対応することができる。例えば、撮影モジュールのブレの度合いが「微ブレ」である場合、各フレームの収集対象画像の予め設定された露出補正値には、顔が含まれているおよび顔が含まれていないという２つの場合がある。
【０１１５】
夜景モードでは、収集対象画像に顔が含まれている場合は顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高くなり、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、収集された画像のイメージング効果が悪くなり、対応する露出補正モードは低い露出補正範囲が必要とされる。そのため、同じブレの度合いに対して、プレビュー画面に顔が含まれている場合と、顔が含まれていない場合とを比較して、撮影モジュールの現在のブレの度合い、およびプレビュー画面に顔が含まれているか否かを決定した後、現在の実際の状況に適合する予め設定された露出補正値を決定することができる。
【０１１６】
本開示の実施例では、プレビュー画面を取得することによって、プレビュー画面の画面内容に基づいて、現在の撮影シーンが夜景シーンに属することを決定し、イメージングデバイスのブレの度合いおよび／またはプレビュー画面に顔が含まれているか否かに基づいて、現在の撮影シーンに適用する夜景モードを認識し、さらには、夜景モードに基づいて、各フレームの収集対象画像の予め設定された露出補正値を決定する。以上により、イメージングデバイスのブレの度合いおよび／またはプレビュー画面に顔が含まれているか否かに基づいて、該撮影シーンにおける夜景モードを決定して、各フレームの収集対象画像の予め設定された露出補正値を決定し、さらには各フレームの収集対象画像の露出時間を決定するために使用し、最大時間に基づいて少なくとも１フレームの収集対象画像の露出時間を更新し、最終的に、更新された各フレームの収集対象画像の露出時間および感光度に基づいて、露出制御を行い、さらにはイメージングを行い、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０１１７】
図１に記載の実施例をもとに、一つの実現可能なシーンでは、撮影モジュールのブレの度合いに基づいて基準感光度を決定する際に、ブレの度合いと予め設定されたブレのしきい値との間の関係を判断することによって、各フレームの収集対象画像の基準感光度の感光値を決定することができ、従って撮影画像の品質を向上させる。以下、図５を参照しながら上記プロセスを詳しく紹介する。図５は本開示の実施例が提供する第５の夜景撮影方法のフローチャートである。図５に示すように、ステップ１０２は以下のステップをさらに含んでも良い。
【０１１８】
ステップ４０１、撮影モジュールのブレの度合いを決定する。
【０１１９】
具体的に、ブレの度合いを決定するために、電子機器内に配置される変位センサに基づいて変位情報を収集することができ、さらには、収集された電子機器の変位情報に基づいて、撮影モジュールのブレの度合いを決定する。各フレームの収集対象画像の予め設定された感光度が同じである場合、撮影モジュールのブレの度合いに基づいて、各フレームの収集対象画像の予め設定された感光度を決定することができる。
【０１２０】
ステップ４０２、撮影モジュールのブレの度合いがブレのしきい値以上であるか否かを判断する。
【０１２１】
本開示の実施例において、撮影モジュールのブレの度合いを決定した後、ブレの度合いに基づいて基準感光度の感光値を決定するように、撮影モジュールのブレの度合いを予め設定されたブレのしきい値と比較する。
【０１２２】
ステップ４０３、ブレの度合いがブレのしきい値以上である場合、基準感光度が第１の感光値であると決定する。
【０１２３】
１つの可能な場合として、撮影モジュールのブレの度合いを決定した後、決定された撮影モジュールのブレの度合いがブレのしきい値以上である場合、基準感光度が第１の感光値であると決定する。
【０１２４】
なお、撮影モジュールのブレの度合いが大きい場合、基準感光度を向上させることによって撮影時間を短縮することができ、例えば基準感光度を８００に決定することができることを理解されたい。
【０１２５】
ステップ４０４、ブレの度合いがブレのしきい値より小さい場合、基準感光度が第２の感光値であると決定する。
【０１２６】
１つの可能な場合として、撮影モジュールのブレの度合いを決定した後、決定された撮影モジュールのブレの度合いがブレのしきい値より小さい場合、基準感光度が第２の感光値であると決定する。
【０１２７】
第１の感光値は第２の感光値より高く、第１の感光値は第２の感光値の予め設定された倍数であり、予め設定された倍数の値が２以上である。一つの可能な実現形態として、より低いノイズを得るために、第２の感光値はイメージングデバイスの最低感光度であってもよく、即ち第２の感光値の値は１００ＩＳＯであり、これに対応して、第１の感光値の範囲は２００、４００、８００またはそれ以上であってもよい。
【０１２８】
なお、撮影モジュールのブレの度合いが小さい場合、基準感光度をより低く設定することによって品質のより高い画像をできる限り得ることができ、例えば、基準感光度を１００に決定することができることを理解されたい。
【０１２９】
本開示の実施例では、撮影モジュールのブレの度合いを決定することによって、ブレの度合いとブレのしきい値とを比較することによって、ブレの度合いがブレのしきい値以上である場合、基準感光度が第１の感光値であると決定し、ブレの度合いがブレのしきい値より小さい場合、基準感光度が第２の感光値であると決定する。以上により、撮影モジュールのブレの度合いに基づいて基準感光度の感光値を決定し、さらに感光値に基づいて露出時間を決定することによって、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０１３０】
図１に記載の実施例をもとに、もう１つの可能なシーンでは、ステップ１０２において基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、露出時間が最大時間より長い収集対象画像の露出時間を短縮するように、決定された露出時間と撮影モジュールのブレの度合いに基づいて決定された最大時間とを比較することができ、露出時間が長すぎることによって露出オーバーが発生して画像の歪みを引き起こしたいり、振れることによって画面ピンぼけが発生したりする状況、および撮影時間が長すぎる状況を回避する。次に、図６と併せて上記プロセスを詳しく説明し、図６は本開示の実施例が提供する第６の夜景撮影方法のフローチャートであり、図６に示すように、ステップ１０３の後は以下のステップをさらに含む。
【０１３１】
ステップ５０１、撮影モジュールのブレの度合いに基づいて、最大時間を決定する。
【０１３２】
１つの可能な場合として、ブレの度合いを決定するために、イメージングデバイス内に配置される変位センサを介して変位情報を収集し、さらに、収集されたイメージングデバイスの変位情報に基づいて、撮影モジュールのブレの度合いを決定することができる。さらに、決定された撮影モジュールのブレの度合いに基づいて予め設定されたブレのしきい値と比較することによって、最大露出時間を決定する。
【０１３３】
１つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値以上である場合、現在の撮影シーンにおける各フレームの収集対象画像の最大露出時間が第１の時間であると決定する。ブレのしきい値は、イメージングデバイスにおいて予め設定された、予め設定された感光度の値を決定するためのブレ値である。
【０１３４】
なお、撮影モジュールのブレの度合いが大きい場合、露出時間を長く設定すれば、全体の撮影時間が延長され、イメージングデバイスのブレの度合いが大きくなることを引き起こす恐れがあるため、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけという状況が現れる可能性がある。そのため、撮影モジュールのブレの度合いが大きい場合、撮影の画像にゴーストまたはピンぼけという状況の発生を回避するように、より短い露出時間を設定することができることを理解されたい。
【０１３５】
もう一つの可能な場合として、イメージングデバイスのブレの度合いがブレのしきい値より小さい場合、現在の撮影シーンにおける各フレームの収集対象画像の最大露出時間が第２の時間であると決定する。
【０１３６】
なお、撮影モジュールのブレの度合いが小さい場合、撮影して品質のより高い画像を得るように、より長い露出時間を設定することができることを理解されたい。
【０１３７】
第１の時間は第２の時間より短く、第１の時間の値の範囲は１５０ｍｓ〜３００ｍｓであり、第２の時間の値の範囲は４．５ｓ〜５．５ｓである。
【０１３８】
ステップ５０２、各フレームの収集対象画像の露出時間を設定された最大時間と比較する。
【０１３９】
本開示の実施例では、各フレームの収集対象画像の露出時間は、撮影モジュールによって決定された基準感光度に基づいて決定され、具体的な実現プロセスは上記実施例のステップ１０２の実現プロセスを参照されたいので、ここで説明を省略する。
【０１４０】
基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらすという状況を回避するように、各フレームの収集対象画像の露出時間を設定された最大時間と比較する。
【０１４１】
ステップ５０３、収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、第１の画像の露出時間を最大時間まで短縮する。
【０１４２】
具体的に、収集対象画像において、対応する露出時間が最大時間より長いという状況が存在する場合、全体の撮影時間が延長され、イメージングデバイスのブレの度合いが大きくなるという状況を引き起こす恐れがあるため、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけが現れる可能性がある。
【０１４３】
そのため、各フレームの収集対象画像に対応する露出時間が決定されると、各フレームの収集対象画像に対応する露出時間が最大時間より長いであるか否かを判断するように、各露出時間と予め設定された最大時間とを比較することができる。
【０１４４】
１つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値以上である場合、決定された収集対象画像内の露出時間と第１の最大時間とを比較し、収集対象画像内では、露出時間が第１の最大時間より長い第１の画像が存在する場合、第１の画像の露出時間を最大時間まで短縮する。第１の最大時間は３００ｍｓである。
【０１４５】
例えば、特定フレームの収集対象画像の露出時間が３５０ｍｓであるとすると、該フレームの画像の露出時間が第１の最大時間より長いため、該フレームの画像の露出時間を短縮し、該フレームの収集対象画像の露出時間を３００ｍｓに設定する。
【０１４６】
１つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値より小さい場合、決定された収集対象画像の露出時間と第２の最大時間とを比較し、収集対象画像内では、第１の画像に対応する露出時間が第２の時間の最大時間より長い状況が存在する場合、第１の画像に対応する露出時間を第２の時間の最大時間、即ち５．５ｓに設定する。
【０１４７】
例えば、特定フレームの収集対象画像の露出時間が６ｓであるとすると、該フレームの画像の露出時間が第２の最大時間より長いため、該フレームの画像の露出時間を短縮し、該フレームの収集対象画像の露出時間を５．５ｓに設定する。
【０１４８】
ステップ５０４、第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させる。
【０１４９】
具体的に、露出量が感光度と露出時間との積であるため、第１の画像の露出量が決定されると、撮影された画像の輝度を維持するように、第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させることができる。
【０１５０】
例えば、現在の撮影シーンの輝度情報に基づいて、露出補正レベルがＥＶ０である際の露出時間および基準露出量をそれぞれ２ｓおよび１００ＩＳＯに決定する。収集対象画像の露出補正レベルがＥＶ＋２である場合、露出時間および感光度はそれぞれ８ｓおよび１００ＩＳＯであり、露出時間が８ｓである際は最大時間の５ｓより長いため、ＥＶ＋２の露出時間の値を５ｓとし、ＩＳＯ値を８／５＊１００ＩＳＯ即ち１６０ＩＳＯに決定する。以上により、該フレームの収集対象画像の露出時間を更新することによって、露出量を確保すると共に、画像の輝度を向上させ、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらすことを回避する。
【０１５１】
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、最大時間を決定することによって、各フレームの収集対象画像の露出時間と設定された最大時間とを比較し、収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、第１の画像の露出時間を最大時間まで短縮し、第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させる。以上により、収集対象画像の露出時間が最大時間より長い画像の露出時間を最大時間に短縮することによって、露出時間が長すぎて全体の撮影時間が延長され、撮影モジュールのブレの度合いが大きくなって、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけが現れることを回避する。
【０１５２】
図１に記載の実施例をもとに、もう１つの可能なシーンでは、基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、決定された露出時間と、撮影モジュールのブレの度合いに基づいて決定された最短時間を比較することによって、最短露出時間に基づいて最短時間より短い露出時間を調整する。以下、図７と併せて上記プロセスを詳しく説明する。図７は本開示の実施例が提供する第７の夜景撮影方法のフローチャートであり、図７に示すように、ステップ１０３の後は以下のステップをさらに含む。
【０１５３】
ステップ６０１、各フレームの収集対象画像の露出時間を設定された最短時間と比較する。
【０１５４】
本開示の実施例において、各フレームの収集対象画像の露出時間は、撮影モジュールによって決定される基準感光度によって決定され、具体的な実現プロセスは上記実施例のステップ１０２の実現プロセスを参照されたいので、ここで説明を省略する。
【０１５５】
基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、最短時間に基づいて、最短時間より短い露出時間を調整するように、各フレームの収集対象画像の露出時間を設定された最短時間と比較する。最短時間は１０ｍｓ以上である。
【０１５６】
なお、最短露出時間も撮影モジュールのブレの度合いによって決定され、具体的な実現プロセスは上記実施例のステップ５０１の実現プロセスを参照されたいので、ここで説明を省略する。
【０１５７】
ステップ６０２、収集対象画像に露出時間が最短時間より短い第２の画像が存在する場合、第２の画像の露出時間を最短時間まで延長する。
【０１５８】
本開示の実施例では、収集対象画像に対応する露出時間が最短時間の画像より短い場合、画像内のノイズが大きすぎて除去が困難になる恐れがある。そのため、特定フレームの収集対象画像に対応する露出時間が最短時間より短い場合、該フレームの収集対象画像に対応する露出時間を最短時間まで延長する。
【０１５９】
ステップ６０３、第２の画像の延長後の露出時間と延長前の露出時間との比を決定する。
【０１６０】
例えば、予め設定された最短時間が１０ｍｓであり、第２の画像の延長前の露出時間が８ｍｓである場合、第２の画像の露出時間を予め設定された最短時間の１０ｍｓまで延長すると、第２の画像の延長後の露出時間と延長前の露出時間との比が１０／８であると決定することができる。
【０１６１】
ステップ６０４、残りの各フレームの収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、最大時間に基づいて、第１の画像の露出時間を短縮する。
【０１６２】
本開示の実施例において、収集対象画像に露出時間が最短時間より短い第２の画像が存在すると決定した後、残りの各フレームの収集対象画像に露出時間が最大時間より長い第１の画像が同時に存在する場合、第１の画像の露出時間を最大時間まで短縮することができる。具体的な実現プロセスは、上記実施例のステップ５０３の実現プロセスを参照されたいので、ここで説明を省略する。
【０１６３】
ステップ６０５、第１の画像の短縮前後の露出時間の比の値に基づいて、第１の画像の感光度を向上させる。
【０１６４】
本開示の実施例では、ステップ６０５の実現プロセスは、上記実施例のステップ５０４の実現プロセスを参照されたいので、ここで説明を省略する。
【０１６５】
ステップ６０６、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。
【０１６６】
具体的に、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、最短時間より短い収集対象画像の更新後の露出時間と、更新前の露出時間との比が決定されると、該比と残りの各フレームの収集対象画像の更新前の感光度または露出時間との積を、残りの各フレームの収集対象画像の更新後の感光度または露出時間とする。
【０１６７】
１つの例として、露出時間が最短時間以上である収集対象画像が４フレームであるとすると、撮影モジュールのブレの度合いに基づいて、各フレームの予め設定された感光度値がいずれも１００ＩＳＯであり、且つ４フレームの収集対象画像の露出時間がそれぞれ１００ｍｓ、２００ｍｓ、４００ｍｓおよび８００ｍｓであると決定する。最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比が１０ｍｓ／１．５ｍｓ、即ち２０／３であることにより、この４フレームの収集対象画像の露出時間が従来の１００ｍｓ、２００ｍｓ、４００ｍｓおよび８００ｍｓの２０／３倍に延長されると決定する。
【０１６８】
感光度の更新方法は露出時間の更新方法と類似するものであり、露出時間を感光度に置き換えるだけでよい。しかしながら、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比の値に基づいて、露出時間および感光度のいずれか一方のみ更新することができ、露出時間および感光度を同時に更新する必要がある場合、重みに応じて該比を割り当てた後に更新する必要があることを留意されたい。例えば、露出時間および感光度にそれぞれ半分の重みが付けられている場合に対して、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比がＲである場合、露出時間を従来のＲ／２倍に延長し、感光度を従来のＲ／２倍に向上させる。
【０１６９】
本開示の実施例では、基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、各フレームの収集対象画像の露出時間を設定された最短時間と比較し、収集対象画像に露出時間が最短時間より短い第２の画像が存在する場合、第２の画像の露出時間を最短時間まで延長し、第２の画像の延長後の露出時間と延長前の露出時間との比を決定し、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。以上により、各フレームの収集対象画像の露出時間が決定されたことにより、最短露出時間および最大露出時間に基づいて各フレームの収集対象画像の感光度および露出時間を更新し、最終的に、更新された各フレームの収集対象画像の露出時間および感光度に基づいて、露出制御を行い、さらにはイメージングを行い、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０１７０】
本開示の実施例のもう１つの可能な実現形態として、夜景撮影時に、撮影モジュールのブレの度合いに基づいて露出時間を調整することもでき、それによって露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、さらには複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集する。基準感光度に基づいて露出時間を調整するという図１が提供する実現形態と相違して、露出時間に基づいて感光度を調整し、同様に、ブレの度合いと組み合わせて、感光度を低い水準に制御することができる。以下、図８と併せて上記プロセスを詳しく説明し、図８は本出願の実施例が提供する第８の夜景撮影方法のフローチャートである。
【０１７１】
図８に示すように、該方法は具体的に以下のステップを含む。
【０１７２】
ステップ７０１、撮影モジュールのブレの度合いを取得する。
【０１７３】
本開示の実施例では、ステップ７０１の実現プロセスは、上記実施例のステップ１０１の実現プロセスを参照されたいので、ここで説明を省略する。
【０１７４】
ステップ７０２、ブレの度合いに基づいて、露出時間を調整する。
【０１７５】
露出時間は、光がレンズを通過する時間を意味する。
【０１７６】
本開示の実施例では、電子機器が撮影モジュールのブレの度合いを取得した後、撮影モジュールのブレの度合いに基づいて、露出時間を調整することができる。
【０１７７】
１つの可能な場合として、撮影モジュールのブレの度合いが大きい場合、露出時間をより長く設定すれば、全体の撮影時間が延長され、イメージングデバイスのブレの度合いが大きくなることを引き起こす恐れがあるため、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけという状況が現れる可能性がある。そのため、撮影モジュールのブレの度合いが大きい場合、撮影の画像にゴーストまたはピンぼけという状況の発生を回避するように、より短い露出時間を設定することができる。
【０１７８】
もう１つの可能な場合として、撮影モジュールのブレの度合いが小さい場合、撮影のプロセスにおいてより多くの画像情報を取得することによって、撮影して品質のより高い画像を得るように、露出時間を長く設定することができる。
【０１７９】
ステップ７０３、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定する。
【０１８０】
本開示の実施例において、撮影シーンの輝度情報は、撮影モジュール内の測光モジュールを用いて測光して得ることができ、撮影シーンの照度であってもよく、プレビュー画像の輝度情報によって得られるものであってもよく、ここで限定されない。
【０１８１】
具体的に、露出量は絞り、露出時間および感光度と関連付けられている。絞りは即ちアパーチャであり、単位時間内に光が通過する量を決定する。複数フレームの収集対象画像の露出時間が決定され、かつ絞りの大きさが同じである場合、撮影シーンの輝度情報に基づいて各フレームの収集対象画像に対応する露出量を決定した後、各フレームの収集対象画像の露出時間に基づいて、各フレームの収集対象画像の感光度を決定することができる。
【０１８２】
ステップ７０４、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集する。
【０１８３】
本開示の実施例では、複数フレームの収集対象画像の感光度および露出時間を決定した後、各フレームの収集対象画像の感光度および露出時間に基づいて画像を収集するように撮影モジュールを制御し、ここで具体的な説明を省略する。
【０１８４】
なお、露出時間によって複数フレームの収集対象画像の感光度を低い値に限定する際には、複数フレームの画像のノイズを低減することに寄与するだけではなく、感光度の向上により、収集された複数フレームの画像のノイズが増加するという技術的課題を回避する。
【０１８５】
ステップ７０５、目標画像を生成するように、収集された複数フレームの画像を合成する。
【０１８６】
本開示の実施例では、ステップ７０５の実現プロセスは、上記実施例のステップ１０５の実現プロセスを参照されたいので、ここで説明を省略する。
【０１８７】
本開示の実施例の夜景撮影方法は、撮影モジュールのブレの度合いを取得することにより、ブレの度合いに基づいて、露出時間を調整し、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、露出時間が決定された後、撮影シーンの輝度情報および露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【０１８８】
図８に記載の実施例をもとに、１つの可能なシーンでは、上記ステップ７０２において、各フレームの収集対象画像の露出時間を決定して、異なるダイナミックレンジの画像を得て、合成された画像がより高いダイナミックレンジを有し、画像全体の輝度および品質を向上させるように、ブレの度合いに基づいて各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間を決定することもできる。
【０１８９】
以下、図９と併せて上記プロセスを詳しく説明する。図９は本開示の実施例が提供する第９の夜景撮影方法のフローチャートである。図９に示すように、ステップ７０２は具体的に以下をさらに含んでも良い。
【０１９０】
ステップ８０１、ブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定する。
【０１９１】
露出補正は、露出の制御方法の１つであり、電子機器を介して被写体を測光した後、得られたシャッターと絞りとを組み合わせたパラメータであり、さらに露出補正によって今回の測光によって得られたシャッター速度を人為的に変更する。露出補正レベルは高補償レベルと、高補償レベルより低い低補償レベルと、高補償レベルおよび低補償レベルの間の移行レベルとを含む。
【０１９２】
本開示の実施例では、撮影モジュールの現在のブレの度合いが異なれば、複数フレームの収集対象画像に対応する露出補正レベルは異なり、異なる露出補正レベルに対応する露出時間も異なる。そのため、各露出補正レベルと露出時間との対応関係を確立するように、ブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定することができる。
【０１９３】
例えば、撮影モジュールのブレの度合いを「ブレなし」とし、対応する露出補正レベルのＥＶ値の範囲を−６〜２に予め設定し、隣接するＥＶ値の間の差を０．５とするとともに、より長い露出時間を設定したり、撮影モジュールのブレの度合いを「微ブレ」とし、対応する露出補正レベルのＥＶ値の範囲を−５〜１に予め設定し、隣接するＥＶ値の間の差を１とするとともに、より短い露出時間を設定したりすることができる。
【０１９４】
ステップ８０２、ブレの度合いに基づいて、露出補正モードを調整する。
【０１９５】
露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる。
【０１９６】
なお、撮影モジュールの現在のブレの度合いが異なれば、決定された収集対象画像の数は異なってもよく、収集対象画像の数が異なる場合、異なる露出補正モードを用いる必要がある。そのため、本開示の実施例の１つの可能な実現形態では、撮影モジュールの現在のブレの度合いに基づいて、現在の収集対象画像の数のフレーム数および各フレームの収集対象画像の設定された露出補正モードを決定するように、撮影モジュールのブレの度合いと露出補正モードとのマッピング関係を確立することができる。
【０１９７】
例えば、撮影モジュールのブレの度合いを「ブレなし」とし、対応する露出補正モードのＥＶ値の範囲を−６〜２に予め設定し、隣接するＥＶ値の間の差を０．５としたり、撮影モジュールのブレの度合いを「微ブレ」とし、対応する露出補正モードのＥＶ値の範囲を−５〜１に予め設定し、隣接するＥＶ値の間の差を１としたりするなどができる。
【０１９８】
一つの可能な実現形態として、撮影モジュールのブレの度合いおよび手ブレ防止性能と併せて露出補正モードを調整するように、撮影モジュールの手ブレ防止性能を先に決定してもよい。
【０１９９】
なお、撮影モジュールの手ブレ防止性能が撮影モジュール内の各部品の属性情報と一定の関係を持つため、撮影モジュール内の各部品の属性情報に基づいて撮影モジュールの手ブレ防止性能を決定することができ、従って撮影モジュールのブレの度合いおよび手ブレ防止性能を組み合わせて露出補正モードを調整する。
【０２００】
例えば、撮影モジュール内の光学部品が光学式手ブレ防止のように配置される場合、予め設定された時間範囲を適当に拡大することができ、光学式手ブレ防止機能を実現できる撮影モジュールは、撮影時に振れると、その自身が一部のブレを相殺することができるため、光学式手ブレ防止を実現できない撮影モジュールと比べて、同じブレの度合いの下で、光学式手ブレ防止機能を実現できる撮影モジュールが収集した画像内のゴーストおよびピンぼけの度合いは小さい。そのため、光学式手ブレ防止を実現できない撮影モジュールと比べて、より品質の高い画像を得るように、予め設定された時間範囲、特に時間範囲の上限を適当に拡大してもよい。
【０２０１】
もう１つの可能な実現形態として、撮影モジュールのブレの度合いに基づいて収集対象画像のフレーム数を調整することができ、さらに、撮影モジュールは各フレームの露出補正モードを調整するように、収集された画像に顔が含まれているか否かを検出する。
【０２０２】
なお、収集対象画像のフレーム数および収集された画像の感光度が全体の撮影時間に影響し、撮影時間が長すぎると、手持ち撮影時の撮影モジュールのブレの度合いが大きくなる可能性があり、さらには画像の品質に影響する。即ち、収集対象画像のフレーム数とブレの度合いとは逆関係を持つ。そのため、撮影時間を適切な範囲内に制御するように、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像のフレーム数を調整することができる。
【０２０３】
具体的に、撮影モジュールの現在のブレの度合いが小さい場合、各フレームの画像のノイズを効果的に抑制して、撮影画像の品質を向上させるように、より多くのフレームの画像を収集してもよく、撮影モジュールの現在のブレの度合いが大きい場合、撮影時間を短縮するように、より少ないフレームの画像を収集してもよい。
【０２０４】
例えば、撮影モジュールの現在のブレの度合いが「ブレなし」であると決定する場合、現在が三脚撮影モードである可能性があると決定することができ、この時、品質のより高い画像をできる限り取得するように、より多くのフレームの画像を収集してもよく、例えば、収集対象画像の数を１７フレームに決定する。撮影モジュールの現在のブレの度合いが「微ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、より少ないフレームを収集してもよく、例えば、収集対象画像の数を７フレームに決定する。撮影モジュールの現在のブレの度合いが「弱ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らしてもよく、例えば、収集対象画像の数を５フレームに決定する。撮影モジュールの現在のブレの度合いが「強ブレ」であると決定する場合、現在のブレの度合いが大きすぎると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らすか、または複数フレームの画像を収集する方式を用いずに撮影してもよく、例えば、収集対象画像を３フレームに決定する。
【０２０５】
なお、上記例は例示に過ぎず、本開示を限定するものではない。実際の適用では、撮影モジュールのブレの度合いが変化すると、最適な解決案を得るように、収集対象画像のフレーム数を変えることができる。撮影モジュールのブレの度合いと収集対象画像のフレーム数とのマッピング関係は、実際の必要に応じて予め設定することができる。
【０２０６】
本開示の実施例では、被写体に顔が含まれているか否かは顔認識技術によって決定することができる。顔認識技術は、顔の視覚的特徴情報を分析および比較することによって身分認識を行い、生体認証技術に属しており、生体（一般的に人を指す）自身の生物学的特性に対して生体個体を区別するものである。現在、顔認識技術は、デジタルカメラのフェイスオートフォーカスやスマイルシャッター技術、企業、住宅の安全と管理、入退室管理システム、およびカメラ監視システムなど、数多くの分野に適用されている。よく用いられる顔認識アルゴリズムは、顔特徴点に基づく認識アルゴリズム（Ｆｅａｔｕｒｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、顔全体画像に基づく認識アルゴリズム（Ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、テンプレートに基づく認識アルゴリズム（Ｔｅｍｐｌａｔｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、ニューラルネットワークを用いる認識アルゴリズム（Ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ  ｕｓｉｎｇ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）などを含む。
【０２０７】
なお、撮影モジュールの現在収集している画像に顔が含まれていること検出した場合、撮影モジュールの測光モジュールは自動的に顔の領域を主として測光を行い、顔の領域の測光結果に基づいて基準露出量を決定する。しかしながら、夜景モードでは、顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高くなり、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、目標画像の効果が悪くなる。そのため、同じブレの度合いに対して、撮影モジュールが収集した画像に顔が含まれている場合は、顔が含まれていない場合と比べて、対応する露出補正モードがより低い露出補正範囲を有する必要がある。
【０２０８】
１つの可能なシーンでは、収集された画像に顔が含まれていることを検出する場合、露出補正モードが調整後のフレーム数に適合する第１のモードであると決定する。
【０２０９】
もう１つの可能なシーンでは、収集された画像に顔が含まれていない場合、露出補正モードが調整後のフレーム数に適合する第２のモードであると決定する。
【０２１０】
第２のモードに対応する露出補正レベルの値の範囲が、第１のモードに対応する露出補正レベルの値の範囲より大きい。
【０２１１】
本開示の実施例の１つの可能な実現形態では、同じブレの度合いに対して、撮影モジュールの現在収集している画像に顔が含まれているか否かに基づいて、異なる露出補正策を用いることができる。そのため、同じブレの度合いに対しては、複数の露出補正モードに対応することができる。例えば、撮影モジュールのブレの度合いが「微ブレ」である場合、対応する予め設定された露出補正モードは第１のモードおよび第２のモードがあり、第１のモードに対応する各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、第２のモードに対応する各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］である。撮影モジュールの現在のブレの度合い、および撮影モジュールの現在収集している画像に顔が含まれているか否かが決定されると、現在の実際の状況に適合する予め設定された露出補正モードを決定することができる。
【０２１２】
例えば、撮影モジュールの現在のブレの度合いが「微ブレ」であるとすると、対応する予め設定された露出補正モードは第１のモードおよび第２のモードがあり、第１のモードに対応する各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、第２のモードに対応する各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］であり、以上から分かるように、第１のモードの露出補正範囲は第２のモードの露出補正範囲より小さい。撮影モジュールの現在収集している画像に顔が含まれていることを検出した場合、予め設定された露出補正モードが調整後のフレーム数に適合する第１のモードであると決定し、即ち各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、撮影モジュールの現在収集している画像に顔が含まれていないことを検出した場合、予め設定された露出補正モードが調整後のフレーム数に適合する第２のモードであると決定し、即ち各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］である。
【０２１３】
ステップ８０３、各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間に基づいて、各フレームの収集対象画像の露出時間を決定する。
【０２１４】
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間を決定した後、各フレームの収集対象画像の露出時間を決定することができる。
【０２１５】
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定し、および露出補正モードを調整し、従って、各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間に基づいて、各フレームの収集対象画像の露出時間を決定する。以上により、異なる露出時間で複数フレームの画像を収集することにより、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらし、ブレによって画面ピンぼけが発生し、および撮影時間が長すぎるという状況を回避する。
【０２１６】
図８に記載の実施例をもとに、一つの実現可能なシーンでは、ステップ７０３における撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するステップを実行した後、感光度が最大感光度より高い収集対象画像の感光度を低下させるように、決定された各フレームの収集対象画像の感光度を設定された最大感光度と比較する。画像を収集するプロセスにおいて、感光度の値が高いことによって引き起こされる画像ノイズの増加という技術的課題が回避される。以下、図１０と併せて上記プロセスを詳しく説明する。図１０に示すように、ステップ７０３の後は以下をさらに含んでも良い。
【０２１７】
ステップ９０１、撮影モジュールのブレの度合いに基づいて、最大感光度を決定する。
【０２１８】
具体的に、ブレの度合いを決定するために、電子機器内に配置される変位センサに基づいて変位情報を収集することができ、さらには、収集された電子機器の変位情報に基づいて、撮影モジュールのブレの度合いを決定する。各フレームの収集対象画像の予め設定された感光度が異なる場合、撮影モジュールのブレの度合いに基づいて、各フレームの収集対象画像の最大感光度を決定することができる。
【０２１９】
一つの可能な実現形態として、撮影モジュールのブレの度合いを決定した後、ブレの度合いに基づいて最大感光度を決定するように、撮影モジュールのブレの度合いと予め設定されたブレのしきい値とを比較することができる。ブレのしきい値は、ブレの度合いを判断する値である。
【０２２０】
１つの可能な場合として、撮影モジュールのブレの度合いを決定した後、決定された撮影モジュールのブレの度合いがブレのしきい値以上である。この場合、最大感光度が第１の感光値であると決定する。
【０２２１】
なお、撮影モジュールのブレの度合いが大きい場合、感光値を８００に決定するなど、感光度を向上させることによって、撮影時間を短縮することができることを理解されたい。
【０２２２】
もう１つの可能な場合として、撮影モジュールのブレの度合いを決定した後、決定された撮影モジュールのブレの度合いがブレのしきい値より小さい。この場合、最大感光度が第２の感光値であると決定する。
【０２２３】
第１の感光値は第２の感光値より高く、第１の感光値は第２の感光値の予め設定された倍数であり、予め設定された倍数の値が２以上である。
【０２２４】
例えば、より低いノイズを得るために、第２の感光値はイメージングデバイスの最低感光度であってもよく、即ち第２の感光値の値は１００ＩＳＯである。これに対応して、第１の感光値の範囲は２００、４００、８００またはそれ以上であってもよい。
【０２２５】
なお、撮影モジュールのブレの度合いが小さい場合、感光度を１００に決定するなど、より小さい感光度を設定することによって、品質のより高い画像をできる限り取得することができる。
【０２２６】
ステップ９０２、各フレームの収集対象画像の感光度を設定された最大感光度と比較する。
【０２２７】
本開示の実施例では、撮影シーンの輝度情報および露出時間によって各フレームの収集対象画像の感光度が決定されると、各フレームの収集対象画像の感光度を調整するように、各フレームの収集対象画像の感光度を設定された最大感光度と比較することにより、収集された各フレームの画像のノイズを低減することに役立ち、感光度向上時に引き起こされる画像ノイズの増加という状況を回避する。
【０２２８】
ステップ９０３、収集対象画像に感光度が最大感光度より高い第１の画像が存在する場合、最大感光度に基づいて、第１の画像の感光度を低下させる。
【０２２９】
本実施例では、収集対象画像において、対応する感光度が最大感光度より高い状況が存在する場合、画像を撮影するプロセスに多くのノイズが導入されることになる可能性があり、撮影して最終的に得られた画像内のノイズが酷くなる。
【０２３０】
そのため、各フレームの収集対象画像の感光度を決定した後、収集対象画像に感光度が最大感光度より高い第１の画像が存在するか否かを判断するように、各フレームの収集対象画像の感光度を最大感光度と比較することができる。
【０２３１】
１つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値以上である場合、決定された収集対象画像内の感光度を最大感光度と比較し、収集対象画像に感光度が最大感光度より高い第１の画像が存在する場合、最大感光度に基づいて、第１の画像の感光度を低下させる。この時、最大感光度は第１の感光値である。
【０２３２】
もう１つの可能な状況として、撮影モジュールのブレの度合いがブレのしきい値より小さい場合、決定された収集対象画像の感光度を最大感光度と比較し、収集対象画像において第１の画像に対応する感光度が最大感光度より高い状況が存在する場合、最大感光度に基づいて、第１の画像の感光度を低下させる。この時、最大感光度は第２の感光値である。
【０２３３】
ステップ９０４、第１の画像の低減前の感光度と低減後の感光度との比の値に基づいて、第１の画像の露出時間を延長する。
【０２３４】
具体的に、露出量が感光度と露出時間との積であるため、第１の画像の露出量が決定されると、撮影画像の輝度を維持するように、第１の画像の低減前の感光度と低減後の感光度との比の値に基づいて、第１の画像の露出時間を延長することができる。
【０２３５】
以上により、該フレームの収集対象画像の露出時間を更新することによって、露出量を確保すると共に、画像の輝度を向上させ、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらすことを回避する。
【０２３６】
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、最大感光度を決定し、各フレームの収集対象画像の感光度を設定された最大感光度と比較し、収集対象画像に感光度が最大感光度より高い第１の画像が存在する場合、最大感光度に基づいて、第１の画像の感光度を低下させ、第１の画像の低減前の感光度と低減後の感光度との比の値に基づいて、第１の画像の露出時間を延長する。以上により、収集対象画像における感光度が最大感光度より高い画像の感光度を最大感光度まで低減することによって、感光度が高いため、撮影された画像に多くのノイズが導入されて、最終的に撮影された画像にピンぼけが発生するという現象を回避する。
【０２３７】
図８に記載の実施例をもとに、もう１つの実現可能なシーンでは、ステップ７０３における撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するステップを実行した後、最低感光度に基づいて、収集対象画像に存在する、感光度が最低感光度より低い第２の画像の感光度を調整するように、各フレームの収集対象画像の感光度を最低感光度と比較する。以下、図１１と併せて上記プロセスを詳しく説明する。図１１は本開示の実施例が提供する第１１の夜景撮影方法のフローチャートである。図１１に示すように、ステップ７０３の後は以下のステップをさらに含む。
【０２３８】
ステップ１００１、各フレームの収集対象画像の感光度を設定された最低感光度と比較する。
【０２３９】
最低感光度は、撮影モジュール内のセンサの光に対する感度に基づいて決定されるものであり、例えば、８０とすることができる。
【０２４０】
本開示の実施例では、各フレームの収集対象画像の感光度は、撮影モジュールのブレの度合いによって決定される露出時間によって決定されるものであり、具体的な実現プロセスは上記実施例のステップ７０３の実現プロセスを参照されたいので、ここで説明を省略する。
【０２４１】
撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定した後、最低感光度に基づいて、最低感光度より低い感光度を調整するように、各フレームの収集対象画像の感光度を設定された最低感光度と比較する。
【０２４２】
ステップ１００２、収集対象画像に感光度が最低感光度より小さい第２の画像が存在する場合、最低感光度に基づいて、第２の画像の感光度を向上させる。
【０２４３】
本開示の実施例では、収集対象画像に感光度が最低感光度より低い第２の画像が存在する場合、夜景で撮影される画像にピンぼけという現象が発生する可能性がある。そのため、特定のフレームの収集対象画像に対応する感光度が最低感光度より低い場合、該フレームの収集対象画像に対応する感光度を最低感光度まで向上させる。
【０２４４】
夜景シーンにおいて画像を収集する場合、露出量を一定とすると感光度が低く、露出時間を長くする必要があるため、全体の撮影時間が延長され、撮影モジュールのブレの度合いが大きくなり、最終的に撮影された画像においてブレによるゴーストや画像の明らかなピンぼけが現れる可能性がある。そのため、収集対象画像に感光度が最低感光度より低い第２の画像が存在する場合、第２の画像に対応する感光度を最低感光度に向上させる。
【０２４５】
ステップ１００３、第２の画像の増加後の感光度と増加前の感光度との比を決定する。
【０２４６】
例えば、予め設定された最低感光度が８０、第２の画像の増加前の感光度が２０、第２の画像の増加後の感光度が８０である場合、第２の画像の増加後の感光度と増加前の感光度との比が８／２であると決定することができる。
【０２４７】
ステップ１００４、感光度が最低感光度以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。
【０２４８】
具体的に、感光度が最低感光度以上である残りの各フレームの収集対象画像に対して、最低感光度より低い収集対象画像の更新後の感光度と更新前の感光度との間の比を決定した後、該比と残りの各フレームの収集対象画像の更新前の感光度または露出時間との積を、残りの各フレームの収集対象画像の更新後の感光度または露出時間とする。
【０２４９】
露出時間に対する更新方法は感光度の更新方法と類似するものであり、感光度を露出時間に置き換えるだけでよい。しかしながら、前記最低感光度より短い収集対象画像の更新後の感光度と更新前の感光度との比の値に基づいて、露出時間および感光度のいずれか一方のみ更新することができ、露出時間および感光度を同時に更新する必要がある場合、重みに応じて該比を割り当てた後に更新する必要があることを留意されたい。例えば、露出時間および感光度にそれぞれ半分の重みが付けられている場合に対して、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比がＲである場合、露出時間を従来のＲ／２倍に延長し、感光度を従来のＲ／２倍に向上させる。
【０２５０】
本開示の実施例では、各フレームの収集対象画像の感光度を設定された最低感光度と比較し、収集対象画像に感光度が最低感光度より小さい第２の画像が存在する場合、最低感光度に基づいて、第２の画像の感光度を向上させ、第２の画像の増加後の感光度と増加前の感光度との比を決定し、感光度が最低感光度以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。以上により、各フレームの収集対象画像の感光度が決定され、最低感光度に基づいて各フレームの収集対象画像の感光度および露出時間を更新し、最終的に、更新された各フレームの収集対象画像の露出時間および感光度に基づいて、露出制御を行い、さらにはイメージングを行い、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０２５１】
本開示の実施例の更なる可能な実現形態として、夜景撮影時に、撮影モジュールのブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集することもできる。以下、図１２と併せて上記プロセスを詳しく説明する。図１２に示すように、該方法は撮影モジュールに適用され、具体的に以下のステップを含む。
【０２５２】
ステップ１１０１、撮影モジュールのブレの度合いを取得する。
【０２５３】
本開示の実施例では、ステップ１１０１の実現プロセスは、前記実施例のステップ１０１の実現プロセスを参照されたいので、ここで説明を省略する。
【０２５４】
ステップ１１０２、ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整する。
【０２５５】
撮影シーンの輝度情報は、撮影モジュール内の測光モジュールを用いて測光して得ることができ、撮影シーンの照度であってもよく、プレビュー画像の輝度情報によって得られるものであってもよく、ここで限定されない。
【０２５６】
具体的に、ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および感光度を順次調整することができ、露出時間および感光度を同時に調整してもよい。
【０２５７】
第１の可能な実現形態として、露出時間および感光度を同時に調整することができる。まず、前記撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計を検索して、対応する収集対象画像の露出時間および感光度を得る。さらに、前記ブレの度合いに基づいて、対応する収集対象画像の感光度が前記ブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整する。露出計に異なる撮影シーンの輝度情報に対応する露出パラメータが記録されている。露出パラメータは絞りパラメータ、露出補正レベル、露出時間および感光度などを含む。撮影モジュールのブレの度合いを決定した後、ブレの度合いに基づいて感光度しきい値を決定するように、撮影モジュールのブレの度合いを予め設定されたブレのしきい値と比較することができる。ブレのしきい値は、ブレの度合いを判断する値である。
【０２５８】
なお、撮影モジュールのブレの度合いに基づいて、露出補正モードを調整するステップの具体的な実現プロセスは、前記実施例を参照されたいので、ここで説明を省略する。
【０２５９】
本実施例では、露出計を検索することによって、各フレームの収集対象画像の露出時間および感光度を得た後、ブレの度合いに基づいて、対応する収集対象画像の感光度がブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整する。以上により、画像を収集する際に、感光度が高いため撮影された画像にノイズが多く、さらには最終的に撮影された画像にピンぼけという現象が現れることを回避する。
【０２６０】
第２の可能な実現形態として、露出時間を先に決定して、その後に感光度を決定しても良い。まず、撮影モジュールのブレの度合いを取得し、前記ブレの度合いに基づいて、露出時間を調整する。さらに、撮影シーンの輝度情報および前記露出時間に基づいて、複数フレームの収集対象画像の感光度を決定する。具体的な実現形態は図８に対応する実施例を参照されたいので、本実施例では説明を省略する。
【０２６１】
第３の可能な実現形態として、感光度を先に決定して、その後に露出時間を決定しても良い。まず、前記撮影モジュールのブレの度合いを取得する。さらに、前記ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定する。具体的な実現形態は図１に対応する実施例を参照されたいので、本実施例では説明を省略する。
【０２６２】
ステップ１１０３、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集する。
【０２６３】
ステップ１１０４、目標画像を生成するように、収集された複数フレームの画像を合成する。
【０２６４】
本開示の実施例では、ステップ１１０３およびステップ１１０４の実現プロセスは、それぞれ前記実施例のステップ１０１およびステップ１０５の実現プロセスを参照されたいので、ここで説明を省略する。
【０２６５】
本開示の実施例では、撮影モジュールのブレの度合いを取得することにより、ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【０２６６】
図１２に記載の実施例をもとに、１つの可能なシーンでは、ステップ１１０２におけるブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップを実行した後、露出時間が最大時間より長い収集対象画像の露出時間を短縮するように、決定された露出時間を、撮影モジュールのブレの度合いに基づいて決定された最大時間と比較することができ、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらし、ブレが画面ピンぼけを引き起こし、および撮影時間が長すぎるという状況を回避する。以下、図１３と併せて上記プロセスを詳しく説明する。図１３に示すように、ステップ１１０２の後は以下のステップをさらに含む。
【０２６７】
ステップ１２０１、ブレの度合いに基づいて、最大時間を決定する。
【０２６８】
１つの可能な場合として、ブレの度合いを決定するために、イメージングデバイス内に配置される変位センサを介して変位情報を収集し、さらに、収集されたイメージングデバイスの変位情報に基づいて、撮影モジュールのブレの度合いを決定することができる。さらに、決定された撮影モジュールのブレの度合いに基づいて予め設定されたブレのしきい値と比較することによって、最大露出時間を決定する。
【０２６９】
１つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値以上である場合、現在の撮影シーンにおける各フレームの収集対象画像の最大露出時間が第１の時間であると決定する。ブレのしきい値は、イメージングデバイスにおいて予め設定された、予め設定された感光度の値を決定するためのブレ値である。
【０２７０】
なお、撮影モジュールのブレの度合いが大きい場合、露出時間を短く設定することにより、全体の撮影時間が延長され、イメージングデバイスのブレの度合いが大きくなることを引き起こす恐れがあるため、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけという状況が現れる可能性があることを理解されたい。
【０２７１】
もう一つの可能な場合として、イメージングデバイスのブレの度合いがブレのしきい値より小さい場合、現在の撮影シーンにおける各フレームの収集対象画像の最大露出時間が第２の時間であると決定する。
【０２７２】
なお、撮影モジュールのブレの度合いが小さい場合、撮影して品質のより高い画像を得るように、より長い露出時間を設定することができることを理解されたい。
【０２７３】
第１の時間は第２の時間より短く、第１の時間の値の範囲は１５０ｍｓ〜３００ｍｓであり、第２の時間の値の範囲は４．５ｓ〜５．５ｓである。
【０２７４】
ステップ１２０２、各フレームの収集対象画像の露出時間を設定された最大時間と比較する。
【０２７５】
本開示の実施例では、各フレームの収集対象画像の露出時間は、撮影シーンの輝度情報に基づいて、露出計を検索することによって決定可能であり、具体的な実現プロセスは上記実施例のステップ１１０２の実現プロセスを参照されたいので、ここで説明を省略する。
【０２７６】
撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計を検索して、対応する集対象の画像の露出時間を得た後、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらすという状況を回避するように、各フレームの収集対象画像の露出時間を設定された最大時間と比較する。
【０２７７】
ステップ１２０３、収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、最大時間に基づいて、第１の画像の露出時間を短縮する。
【０２７８】
ステップ１２０４、第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させる。
【０２７９】
本開示の実施例では、ステップ１２０３およびステップ１２０４の具体的な実現プロセスは、前記実施例のステップ５０３およびステップ５０４の実現プロセスを参照されたいので、ここで贅言しない。
【０２８０】
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、最大時間を決定することによって、各フレームの収集対象画像の露出時間を設定された最大時間と比較し、収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、最大時間に基づいて、第１の画像の露出時間を短縮し、第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させる。以上により、収集対象画像の露出時間が最大時間より長い画像の露出時間を最大時間に短縮することによって、露出時間が長すぎて全体の撮影時間が延長され、撮影モジュールのブレの度合いが大きくなって、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけが現れることを回避する。
【０２８１】
図１２に記載の実施例をもとに、１つの可能なシーンでは、ステップ１１０２におけるブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップを実行した後、最短露出時間に基づいて最短時間より短い露出時間を調整するように、決定された露出時間を、撮影モジュールのブレの度合いに基づいて決定された最短時間と比較する。以下、図１４と併せて上記プロセスを詳しく説明する。図１４に示すように、ステップ１１０２の後は以下のステップをさらに含む。
【０２８２】
ステップ１３０１、各フレームの収集対象画像の露出時間を設定された最短時間と比較する。
【０２８３】
本開示の実施例では、各フレームの収集対象画像の露出時間は、撮影シーンの輝度情報に基づいて露出計を検索することによって決定可能であり、具体的な実現プロセスは上記実施例のステップ１１０２の実現プロセスを参照されたいので、ここで説明を省略する。
【０２８４】
基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、最短時間に基づいて、最短時間より短い露出時間を調整するように、各フレームの収集対象画像の露出時間を設定された最短時間と比較する。最短時間は１０ｍｓ以上である。
【０２８５】
なお、最短露出時間もまた撮影モジュールのブレの度合いに基づいて決定され、具体的な実現プロセスは上記実施例のステップ１２０１の実現プロセスを参照されたいので、ここで説明を省略する。
【０２８６】
ステップ１３０２、収集対象画像に露出時間が最短時間より短い第２の画像が存在する場合、最短時間に基づいて、第２の画像の露出時間を延長する。
【０２８７】
本開示の実施例では、収集対象画像に対応する露出時間が最短時間の画像より短い場合、画像内のノイズが大きすぎて除去が困難になる恐れがある。そのため、特定フレームの収集対象画像に対応する露出時間が最短時間より短い場合、該フレームの収集対象画像に対応する露出時間を最短時間まで延長する。
【０２８８】
ステップ１３０３、第２の画像の延長後の露出時間と延長前の露出時間との比を決定する。
【０２８９】
例えば、予め設定された最短時間が１０ｍｓであり、第２の画像の延長前の露出時間が８ｍｓである場合、第２の画像の露出時間を予め設定された最短時間の１０ｍｓまで延長すると、第２の画像の延長後の露出時間と延長前の露出時間との比が１０／８であると決定することができる。
【０２９０】
ステップ１３０４、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。
【０２９１】
具体的に、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、最短時間より短い収集対象画像の更新後の露出時間と、更新前の露出時間との比が決定されると、該比と残りの各フレームの収集対象画像の更新前の感光度または露出時間との積を、残りの各フレームの収集対象画像の更新後の感光度または露出時間とする。
【０２９２】
なお、感光度の更新方法は露出時間の更新方法と類似するものであり、露出時間を感光度に置き換えるだけでよい。しかしながら、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比の値に基づいて、露出時間および感光度のいずれか一方のみ更新することができ、露出時間および感光度を同時に更新する必要がある場合、重みに応じて該比を割り当てた後に更新する必要があることを留意されたい。例えば、露出時間および感光度にそれぞれ半分の重みが付けられている場合に対して、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比がＲである場合、露出時間を従来のＲ／２倍に延長し、感光度を従来のＲ／２倍に向上させる。
【０２９３】
本開示の実施例では、ブレの度合いに基づいて、対応する収集対象画像の感光度がブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整した後、各フレームの収集対象画像の露出時間を設定された最短時間と比較し、収集対象画像に露出時間が最短時間より短い第２の画像が存在する場合、最短時間に基づいて、第２の画像の露出時間を延長し、第２の画像の延長後の露出時間と延長前の露出時間との比を決定し、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。以上により、各フレームの収集対象画像の露出時間が決定され、最短露出時間に基づいて各フレームの収集対象画像の感光度および露出時間を更新し、最終的に、更新された各フレームの収集対象画像の露出時間および感光度に基づいて、露出制御を行い、さらにはイメージングを行い、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０２９４】
上記実施例を実現するために、本開示は夜景撮影装置をさらに提供する。
【０２９５】
図１５は本開示の実施例が提供する夜景撮影装置の構造概略図である。
【０２９６】
図１５に示すように、該夜景撮影装置１００は、撮影モジュールに適用され、取得モジュール１１０、調整モジュール１２０、決定モジュール１３０、収集モジュール１４０および生成モジュール１５０を含む。
【０２９７】
取得モジュール１１０は、撮影モジュールのブレの度合いを取得することに用いられ、
調整モジュール１２０は、ブレの度合いに基づいて、基準感光度を調整することに用いられ、
決定モジュール１３０は、撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定することに用いられ、
収集モジュール１４０は、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集することに用いられ、
生成モジュール１５０は、目標画像を生成するように、収集された複数フレームの画像を合成することに用いられる。
【０２９８】
一つの可能な実現形態として、決定モジュール１３０は、
撮影シーンの輝度情報に基づいて、基準露出量を決定するための第１の決定ユニットと、
基準露出量および基準感光度に基づいて、基準露出時間を決定するための第２の決定ユニットと、
各フレームの収集対象画像の設定された露出補正レベルに基づいて、基準露出時間を補正して各フレームの収集対象画像の露出時間を得るための露出補正ユニットと、を含む。
【０２９９】
もう１つの可能な実現形態として、決定モジュール１３０は、
ブレの度合いに基づいて、露出補正モードを調整するための第３の決定ユニットをさらに含む。
【０３００】
露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる。
【０３０１】
もう１つの可能な実現形態として、第３の決定ユニットは、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整し、前記撮影モジュールが収集した画像に顔が含まれているか否かを検出し、顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第１のモードであると決定し、顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第２のモードであると決定することに用いられる。前記第２のモードの露出補正レベルの値の範囲が前記第１のモードの露出補正レベルの値の範囲より大きい。
【０３０２】
もう１つの可能な実現形態として、前記収集対象画像のフレーム数と前記ブレの度合いとは逆関係を持つ。
【０３０３】
もう１つの可能な実現形態として、調整モジュール１２０は、
ブレの度合いがブレのしきい値以上である場合、基準感光度が第１の感光値であると決定するための第１の調整ユニットと、
ブレの度合いがブレのしきい値より小さい場合、基準感光度が第２の感光値であると決定するための第２の調整ユニットと、を含み、第１の感光値が第２の感光値より高い。
【０３０４】
もう１つの可能な実現形態として、第１の感光値は第２の感光値の予め設定された倍数であり、予め設定された倍数の値が２以上である。第２の感光値は撮影モジュールの最低感光度である。
【０３０５】
もう１つの可能な実現形態として、夜景撮影装置１００は、
各フレームの収集対象画像の露出時間を設定された最大時間と比較するための第１の比較モジュールと、
収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、第１の画像の露出時間を最大時間まで短縮するための露出時間短縮モジュールと、をさらに含む。
【０３０６】
もう１つの可能な実現形態として、夜景撮影装置１００は、
撮影モジュールのブレの度合いに基づいて、前記最大時間を決定するための最大時間決定モジュールをさらに含む。
【０３０７】
もう１つの可能な実現形態として、最大時間決定モジュールは、
ブレの度合いがブレのしきい値以上である場合、最大時間が第１の時間であると決定するための第５の決定ユニットと、
ブレの度合いがブレのしきい値より小さい場合、最大時間が第２の時間であると決定するための第６の決定ユニットと、を含み、第１の時間が第２の時間より短い。
【０３０８】
もう１つの可能な実現形態として、第１の時間の値の範囲は１５０ｍｓ〜  ３００ｍｓであり、前記第２の時間の値の範囲は４．５ｓ〜５．５ｓである。
【０３０９】
もう１つの可能な実現形態として、夜景撮影装置１００は、
第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させるための感光度向上モジュールをさらに含む。
【０３１０】
もう１つの可能な実現形態として、夜景撮影装置１００は、
各フレームの収集対象画像の露出時間を設定された最短時間と比較するための第２の比較モジュールと、
収集対象画像に露出時間が最短時間より短い第２の画像が存在する場合、第２の画像の露出時間を最短時間まで延長するための露出時間延長モジュールと、をさらに含む。
【０３１１】
もう１つの可能な実現形態として、夜景撮影装置１００は、
第２の画像の延長後の露出時間と延長前の露出時間との比を決定するための比率決定モジュールと、
露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新するための更新モジュールと、をさらに含む。
【０３１２】
もう１つの可能な実現形態として、更新モジュールは、
露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比と前記残りの各フレームの収集対象画像の更新前の感光度との積を、前記残りの各フレームの収集対象画像の更新後の感光度とすることに用いられ、
または、露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比と前記残りの各フレームの収集対象画像の更新前の露出時間との積を、前記残りの各フレームの収集対象画像の更新後の露出時間とすることに用いられる。
【０３１３】
もう１つの可能な実現形態として、更新モジュールはさらに、残りの各フレームの収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、最大時間に基づいて、第１の画像の露出時間を短縮したり、第１の画像の短縮前後の露出時間の比の値に基づいて、第１の画像の感光度を向上させたりすることに用いられても良い。
【０３１４】
もう１つの可能な実現形態として、最短時間は１０ｍｓ以上である。
【０３１５】
本開示の実施例の夜景撮影装置は、撮影モジュールのブレの度合いを取得することによって、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、各フレームの収集対象画像の基準感光度および露出時間に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【０３１６】
上記実施例を実現するために、本開示はもう１つの夜景撮影装置を提供する。
【０３１７】
図１６は本開示の実施例が提供するもう１つの夜景撮影装置の構造概略図である。
【０３１８】
図１６に示すように、該夜景撮影装置２００は、撮影モジュールに適用され、取得モジュール２１０、調整モジュール２２０、決定モジュール２３０、収集モジュール２４０および生成モジュール２５０を含む。
【０３１９】
取得モジュール２１０は、撮影モジュールのブレの度合いを取得することに用いられ、
調整モジュール２２０は、ブレの度合いに基づいて、露出時間を調整することに用いられ、
決定モジュール２３０は、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定することに用いられ、
収集モジュール２４０は、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集することに用いられ、
生成モジュール２５０は、目標画像を生成するように、収集された複数フレームの画像を合成することに用いられる。
【０３２０】
一つの可能な実現形態として、調整モジュール２２０は、
ブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定するための第１の調整ユニットと、
各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間に基づいて、各フレームの収集対象画像の露出時間を決定するための第２の調整ユニットと、を含む。
【０３２１】
もう１つの可能な実現形態として、調整モジュール２２０は、
ブレの度合いに基づいて、露出補正モードを調整するための第３の調整ユニットをさらに含んでもよい。
【０３２２】
露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる。
【０３２３】
もう１つの可能な実現形態として、第３の調整ユニットは具体的に、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整し、
前記撮影モジュールが収集した画像に顔が含まれているか否かを検出し、
顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第１のモードであると決定し、
顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第２のモードであると決定することに用いられ、
前記第２のモードの露出補正レベルの値の範囲は前記第１のモードの露出補正レベルの値の範囲より大きい。
【０３２４】
もう１つの可能な実現形態として、収集対象画像のフレーム数とブレの度合いとは逆関係を持つ。
【０３２５】
もう１つの可能な実現形態として、夜景撮影装置２００は、
各フレームの収集対象画像の感光度を設定された最大感光度と比較するための比較モジュールと、
収集対象画像に感光度が最大感光度より高い第１の画像が存在する場合、最大感光度に基づいて、第１の画像の感光度を低下させるための感光度低下モジュールと、をさらに含む。
【０３２６】
もう１つの可能な実現形態として、夜景撮影装置２００は、
撮影モジュールのブレの度合いに基づいて、最大感光度を決定するための最大感光度決定モジュールをさらに含む。
【０３２７】
もう１つの可能な実現形態として、最大感光度決定モジュールは具体的に、
ブレの度合いがブレのしきい値以上である場合、最大感光度が第１の感光値であると決定し、
ブレの度合いがブレのしきい値より小さい場合、最大感光度が第２の感光値であると決定することに用いられ、
第１の感光値が第２の感光値より高い。
【０３２８】
もう１つの可能な実現形態として、第１の感光値は第２の感光値の予め設定された倍数であり、予め設定された倍数の値が２以上である。第２の感光値は撮影モジュールの最低感光度である。
【０３２９】
もう１つの可能な実現形態として、夜景撮影装置２００は、
第１の画像の低減前の感光度と低減後の感光度との比の値に基づいて、第１の画像の露出時間を延長するための露出時間延長モジュールをさらに含む。
【０３３０】
もう１つの可能な実現形態として、夜景撮影装置２００は、
各フレームの収集対象画像の感光度を設定された最低感光度と比較するための比較モジュールと、
収集対象画像に感光度が最低感光度より小さい第２の画像が存在する場合、最低感光度に基づいて、第２の画像の感光度を向上させるための感光度向上モジュールと、をさらに含む。
【０３３１】
もう１つの可能な実現形態として、夜景撮影装置２００は、
第２の画像の増加後の感光度と増加前の感光度との比を決定するための比率決定モジュールと、
感光度が最低感光度以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新するための更新モジュールと、をさらに含む。
【０３３２】
本開示の実施例の夜景撮影装置は、撮影モジュールのブレの度合いを取得することによって、ブレの度合いに基づいて、露出時間を調整し、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、露出時間が決定された後、撮影シーンの輝度情報および露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【０３３３】
上記実施例を実現するために、本開示は更なる夜景撮影装置をさらに提供する。
【０３３４】
図１７は本開示の実施例が提供する更なる夜景撮影装置の構造概略図である。
【０３３５】
図１７に示すように、該夜景撮影装置３００は、撮影モジュールに適用され、取得モジュール３１０、調整モジュール３２０、収集モジュール３３０および生成モジュール３４０を含む。
【０３３６】
取得モジュール３１０は、撮影モジュールのブレの度合いを取得することに用いられ、
調整モジュール３２０は、ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間と、対応する収集対象画像に必要な感光度とを調整することに用いられ、
収集モジュール３３０は、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集することに用いられ、
生成モジュール３４０は、目標画像を生成するように、収集された複数フレームの画像を合成することに用いられる。
【０３３７】
一つの可能な実現形態として、調整モジュール３２０は、
撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計を検索して、対応する収集対象画像の露出時間および感光度を得るための検索ユニットと、
ブレの度合いに基づいて、対応する収集対象画像の感光度がブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整するための第１の調整ユニットと、を含んでも良い。
【０３３８】
もう１つの可能な実現形態として、調整モジュール３２０は、
ブレの度合いに基づいて、露出補正モードを調整するための第２の調整ユニットをさらに含んでも良く、
露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる。
【０３３９】
もう１つの可能な実現形態として、第２の調整ユニットは具体的に、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整し、
前記撮影モジュールが収集した画像に顔が含まれているか否かを検出し、
顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第１のモードであると決定し、
顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第２のモードであると決定することに用いられ、
前記第２のモードの露出補正レベルの値の範囲は前記第１のモードの露出補正レベルの値の範囲より大きい。
【０３４０】
もう１つの可能な実現形態として、該夜景撮影装置３００は、
各フレームの収集対象画像の露出時間を設定された最大時間と比較するための比較モジュールと、
収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、最大時間に基づいて、第１の画像の露出時間を短縮するための短縮モジュールと、をさらに含む。
【０３４１】
もう１つの可能な実現形態として、該夜景撮影装置３００は、
ブレの度合いに基づいて、前記最大時間を決定するための最大時間決定モジュールをさらに含む。
【０３４２】
もう１つの可能な実現形態として、最大時間決定モジュールは具体的に、
ブレの度合いがブレのしきい値以上である場合、最大時間が第１の時間であると決定し、
ブレの度合いがブレのしきい値より小さい場合、最大時間が第２の時間であると決定することに用いられ、
第１の時間が第２の時間より短い。
【０３４３】
もう１つの可能な実現形態として、第１の時間の値の範囲は１５０ｍｓ〜３００ｍｓであり、第２の時間の値の範囲は４．５ｓ〜５．５ｓである。
【０３４４】
もう１つの可能な実現形態として、該夜景撮影装置３００は、
第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させるための感光度向上モジュールをさらに含む。
【０３４５】
もう１つの可能な実現形態として、該夜景撮影装置３００は、
各フレームの収集対象画像の露出時間を設定された最短時間と比較するための比較モジュールと、
収集対象画像に露出時間が最短時間より短い第２の画像が存在する場合、最短時間に基づいて、第２の画像の露出時間を延長するための延長モジュールと、をさらに含む。
【０３４６】
もう１つの可能な実現形態として、該夜景撮影装置３００は、
前記第２の画像の延長後の露出時間と延長前の露出時間との比を決定するための比率決定モジュールと、
露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新するための更新モジュールと、をさらに含む。
【０３４７】
本開示の実施例の夜景撮影装置、撮影モジュールのブレの度合いを取得することによって、ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【０３４８】
図１８は本開示の実施例が提供する撮影モジュールの夜景撮影処理方法のフローチャートである。
【０３４９】
図１８に示すように、該撮影モジュールの夜景撮影処理方法は、以下のステップを含む。
【０３５０】
ステップ１８０１、夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出する。
【０３５１】
本開示の実施例では、電子機器現在のジャイロスコープ（Ｇｙｒｏ−ｓｅｎｓｏｒ）情報を取得することによって、携帯電話現在のブレの度合い、即ち撮影モジュールの現在のブレの度合いを取得することができる。
【０３５２】
ジャイロスコープは角速度センサとも呼ばれ、物理量偏移、傾斜時の回転角速度を測定することができる。電子機器において、ジャイロスコープは回転、偏移の動作を良好に測定できることによって、使用者の実際の動作を正確に分析して判断することができる。電子機器のジャイロスコープ情報（ｇｙｒｏ情報）は三次元空間の３つの次元の方向における携帯電話の動作情報を含んでもよく、三次元空間の３つの次元はそれぞれＸ軸、Ｙ軸、Ｚ軸の３つの方向で表すことができ、Ｘ軸、Ｙ軸、Ｚ軸は２つずつ垂直な関係にある。
【０３５３】
なお、本開示の実施例の１つの可能な実現形態では、電子機器現在のｇｙｒｏ情報に基づいて、撮影モジュールの現在のブレの度合いを決定することができる。電子機器は３つの方向におけるｇｙｒｏ動作の絶対値が大きければ大きいほど、撮影モジュールのブレの度合いが大きい。具体的に、３つの方向におけるｇｙｒｏ動作の絶対値のしきい値を予め設定し、取得した現在の３つの方向におけるｇｙｒｏ動作の絶対値の和と、予め設定されたしきい値との関係に基づいて、撮影モジュールの現在のブレの度合いを決定することができる。
【０３５４】
例えば、予め設定されたしきい値を第１のしきい値のＡ、第２のしきい値のＢ、第３のしきい値のＣ（Ａ＜Ｂ＜Ｃ）とし、現在取得された３つの方向におけるｇｙｒｏ動作の絶対値の和をＳとすると、Ｓ＜Ａの場合、撮影モジュールの現在のブレの度合いを「ブレなし」に、Ａ＜Ｓ＜Ｂの場合、撮影モジュールの現在のブレの度合いを「微ブレ」に、Ｂ＜Ｓ＜Ｃの場合、撮影モジュールの現在のブレの度合いを「弱ブレ」に、Ｓ＞Ｃの場合、撮影モジュールの現在のブレの度合いを「強ブレ」に決定することができる。
【０３５５】
なお、上記例は例示に過ぎず、本開示を限定するものではない。実際の適用では、実際の必要に応じてしきい値の数および各しきい値の具体的な数値を予め設定することができ、およびｇｙｒｏ情報と各しきい値との関係に基づいて、ｇｙｒｏ情報と撮影モジュールのブレの度合いとのマッピング関係を予め設定することができる。
【０３５６】
ステップ１８０２、前記撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定する。
【０３５７】
感光度は、ＩＳＯ値とも呼ばれ、光に対するネガフィルムの感度を判断する指標を意味する。感光度の低いネガフィルムに対して、感光度の高いネガフィルムと同じイメージングを達成するために、より長い露出時間が必要とされる。デジタルカメラの感光度はフィルムの感光度に類似する指標であり、デジタルカメラのＩＳＯは感光素子の感度を調整するまたは感光点を合併することによって調整することができ、即ち、感光素子の光感度を向上させるまたは隣接するいくつかの感光点を合併することによってＩＳＯを向上させるという目的を達成することができる。なお、デジタルにせよネガフィルム撮影にせよ、露出時間を短縮するために、比較的高い感光度を用いると、通常はより多くのノイズが引き起こされるため、画像品質の低下をもたらす。
【０３５８】
本開示の実施例において、基準感光度は、撮影モジュールの現在のブレの度合いに基づいて調整される、現在のブレの度合いに適合する最低感光度である。各フレームの収集対象画像に対応する基準感光度は同じであってもよく、異なっても良い。具体的な数値は、該フレームの画像を収集する撮影モジュールの現在のブレの度合いと関連付けられている。
【０３５９】
なお、本開示の実施例において、感光度が低い複数フレームの画像を同時に収集して、目標画像を生成するように、収集された複数フレームの画像を合成する方法によって、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させられるだけではなく、感光度の値を制御することによって、画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させる。
【０３６０】
なお、収集された画像の数および収集された画像の感光度が全体の撮影時間に影響し、撮影時間が長すぎると、手持ち撮影時の撮影モジュールのブレの度合いが大きくなる可能性があり、さらには画像の品質に影響する。そのため、撮影時間を適切な範囲内に制御するように、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数、および各フレームの収集対象画像に対応する基準感光度を決定することができる。
【０３６１】
具体的に、撮影モジュールの現在のブレの度合いが小さい場合、各フレームの画像のノイズを効果的に抑制して、撮影画像の品質を向上させるように、より多くの複数フレームの画像を収集してもよく、かつ各フレームの収集対象画像に対応する基準感光度をより低い値に適当に圧縮してもよい。撮影モジュールの現在のブレの度合いが大きい場合、撮影時間を短縮するように、より少ないフレームの画像を収集してもよく、かつ各フレームの収集対象画像に対応する基準感光度をより高い値に適宜に向上してもよい。
【０３６２】
例えば、撮影モジュールの現在のブレの度合いが「ブレなし」であると決定する場合、現在が三脚撮影モードである可能性があると決定することができ、この時、品質のより高い画像をできる限り取得するように、より多くのフレームの画像を取得して、基準感光度をより低い値に決定してもよく、例えば、収集対象画像の数を１７フレームに、基準感光度を１００に決定する。撮影モジュールの現在のブレの度合いが「微ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、より少ないフレームの画像を収集した、基準感光度を高い値に決定してもよく、例えば、収集対象画像の数を７フレームに、基準感光度を２００に決定する。撮影モジュールの現在のブレの度合いが「弱ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時に、撮影時間を短縮するように、収集対象画像の数をさらに減らして、基準感光度をさらに向上させてもよく、例えば、収集対象画像の数を５フレームに、基準感光度を２２０に決定する。撮影モジュールの現在のブレの度合いが「強ブレ」であると決定する場合、現在のブレの度合いが大きすぎると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らすか、または複数フレームの画像を収集する方式を用いずに撮影し、かつ基準感光度をさらに向上させてもよく、例えば、収集対象画像を３フレームに、基準感光度を２５０に決定する。
【０３６３】
なお、上記例は単なる例示であり、本開示を制限するものではない。実際の適用では、撮影モジュールのブレの度合いが変化する際に、最適な解決案を得るように、収集対象画像の数および基準感光度を同時に変更してもよく、そのうちのいずれか一方を変更してもよい。撮影モジュールのブレの度合いと収集対象画像の数および各フレームの収集対象画像に対応する基準感光度とのマッピング関係は、実際の必要に応じて予め設定することができる。
【０３６４】
ステップ１８０３、現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定する。
【０３６５】
露出時間は、光がレンズを通過する時間を意味する。
【０３６６】
本開示の実施例では、撮影モジュール内の測光モジュールを用いて、現在の撮影シーンの照度を取得し、自動露出制御（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ  Ｃｏｎｔｒｏｌ、ＡＥＣと略称される）アルゴリズムを用いて、現在の照度に対応する露出量を決定し、さらには、決定された露出量および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定する。
【０３６７】
なお、露出量は絞り、露出時間および感光度と関連付けられている。絞りは即ちアパーチャであり、単位時間内に光が通過する量を決定する。各フレームの収集対象画像に対応する基準感光度が同じ、かつ絞りの大きさが同じである場合、現在の撮影シーンの照度に対応する露出量が大きければ大きいほど、各フレームの収集対象画像に対応する露出時間が長い。
【０３６８】
さらに、異なるダイナミックレンジの画像を得るように、各フレームの収集対象画像に対応する露出時間が異なるため、合成後の画像はより高いダイナミックレンジを有し、画像全体の輝度および品質が向上する。即ち、本開示の実施例の１つの可能な実現形態では、上記ステップ１８０３は、
前記現在の撮影シーンの照度に基づいて、基準露出量を決定するステップと、
前記基準露出量および前記各フレームの収集対象画像に対応する基準感光度に基づいて、基準露出時間を決定するステップと、
前記基準露出時間および予め設定された露出補正モードに基づいて、前記各フレームの収集対象画像に対応する露出時間を決定するステップと、を含んでも良い。
【０３６９】
基準露出量は、現在の撮影シーンの照度に基づいて決定された現在の撮影シーンの照度に対応する正常な露出量を指す。絞りの大きさが決定された場合、基準感光度および基準露出量に基づいて、基準露出時間を決定することができる。
【０３７０】
本開示の実施例では、収集対象画像を異なる露出量に対応させることによって、異なるダイナミックレンジを有する画像を得るように、露出補正モードを予め設定することによって、各フレームの収集対象画像に対してそれぞれ異なる露出補正策を用いることができる。
【０３７１】
なお、予め設定された露出補正モードは、各フレームの収集対象画像のためにそれぞれ予め設定した露出補正レベル（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ、ＥＶと略称される）の組み合わせを意味する。露出量の最初の定義では、露出量は１つの正確な数値を指すわけではなく、「同じ露出量を提供できるすべてのカメラの絞りと露出時間との組み合わせ」を意味する。感光度、絞りおよび露出時間はカメラの露出量を決定し、異なるパラメータの組み合わせは同じ露出量を生成することができる。露出補正レベルは露出量を調整するためのパラメータであり、一部の画像を露出アンダーにしたり、一部の画像を露出オーバーにしたり、一部の画像を適切に露出したりすることができる。
【０３７２】
ＥＶ値と感光度、絞りおよび露出時間の三者との間の関係を説明するために、以下は具体的なデータと併せて説明する。例えば、同じ撮影シーンでは、感光度が同じである場合、１／１２５秒の露出時間およびｆ１１の絞りの組み合わせを用いて得られた露出量と、１／２５０秒の露出時間およびｆ８シャッターの組み合わせを用いて得られた露出量とは同じであり、即ちＥＶ値は同じである。従来のカメラでは、ＥＶ値が０である場合は、常に感光度が１００、絞り係数がｆ１、露出時間が１秒である際に得られた露出量を指す。露出量が１段増加すると、露出時間が倍になる。感光度が倍になるまたは絞りが１段増加すると、ＥＶ値が１増加する。即ち、ＥＶ１に対応する露出量はＥＶ０に対応する露出量の２倍である。具体的な露出時間、絞り、感光度がそれぞれ単独で変化する際に、ＥＶ値との対応関係は表１を参照されたい。
【０３７３】
なお、デジタルカメラのＥＶ値が０である場合の露出量は、撮影シーンにおいて環境光を測光して得られるものであってもよい。
【０３７４】
撮影技術がデジタル時代に入ると、カメラ内部の測光機能が非常に高くなっており、ＥＶは、露出目盛りにおける１つの段差を示すためによく用いられており、多くのカメラでは露出補正の設定が許容され、通常ＥＶで表される。この場合、ＥＶはカメラの測光データに対応する露出量と実際の露出量との差を指し、例えば、ＥＶ＋１の露出補正は、カメラの測光データに対応する露出量に対して、露出が１段増加すると、実際の露出量はカメラの測光データに対応する露出量の２倍になること指す。
【０３７５】
本開示の実施例では、露出補正モードを予め設定する際に、決定された基準露出量に対応するＥＶ値を予め０に設定することができ、ＥＶ＋１は露出が１段増加することを指し、即ち露出量が基準露出量の２倍になり、ＥＶ＋２は露出が２段増加することを指し、即ち露出量が基準露出量の４倍になり、ＥＶ−１は露出が１段減ることを指し、即ち露出量が基準露出量の０．５倍になるなど。
【０３７６】
例えば、収集対象画像の数が７フレームである場合、予め設定された露出補正モードに対応するＥＶ値の範囲は［＋１、＋１、＋１、＋１、０、−３、−６］であってもよい。露出補正モードがＥＶ＋１であるフレームは、ノイズ問題が解決可能であり、輝度の高いフレームを介して時間領域のノイズリダクションを行い、暗い部分の細部を改善すると共にノイズを抑制する。露出補正モードがＥＶ−６であるフレームは、明るくて露出オーバーを引き起こすという課題を解決でき、明るい領域の細部を保持する。露出補正モードがＥＶ０およびＥＶ−３であるフレームは、明るい領域から暗い領域への移行に用いられてもよく、良好な明暗移行効果を維持することができる。なお、予め設定された露出補正モードに対応する各ＥＶ値は実際の必要に応じて具体的に設定するものであってもよく、設定されたＥＶ値の範囲に基づいて、各ＥＶ値の間の差が同じであるという原則に従って求められたものであってもよく、本開示の実施例では限定されない。
【０３７７】
本開示の実施例の１つの可能な実現形態では、絞りの大きさは一定であってもよく、決定された基準感光度に基づいて各収集対象画像を収集する。そのため、撮影モジュールの現在のブレの度合いに基づいて現在の収集対象画像の数が決定されると、現在の収集対象画像の数に適合する予め設定された露出補正モード、および基準露出時間に基づいて、各フレームの収集対象画像に対応する露出時間を決定することができる。具体的に、収集対象画像に対応する露出補正モードがＥＶ＋１である場合、該収集対象画像に対応する露出時間は基準時間の２倍になり、収集対象画像に対応する露出補正モードがＥＶ−１である場合、該収集対象画像に対応する露出時間は基準時間の０．５倍になり、これによって類推する。
【０３７８】
例えば、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数が７フレームであると決定する場合、対応する予め設定された露出補正モードに対応するＥＶ範囲は［＋１、＋１、＋１、＋１、０、−３、−６］であってもよく、基準露出量および基準感光度に基づいて、基準露出時間が１００ミリ秒に決定されると、各フレームの収集対象画像に対応する露出時間は２００ミリ秒、２００ミリ秒、２００ミリ秒、２００ミリ秒、１００ミリ秒、１２．５ミリ秒、６．２５ミリ秒である。
【０３７９】
さらに、予め設定された露出補正モードは複数であってもよい。実際の適用では、撮影モジュールの実際の状況に基づいて、現在の状況に適合する露出補正モードを決定することができる。即ち、本開示の実施例の１つの可能な実現形態では、基準露出時間および予め設定された露出補正モードに基づいて、各フレームの収集対象画像に対応する露出時間を決定するステップの前は、
前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードを決定するステップをさらに含む。
【０３８０】
なお、撮影モジュールの現在のブレの度合いが異なれば、決定された収集対象画像の数は異なってもよく、収集対象画像の数が異なる場合、異なる露出補正モードを用いる必要がある。そのため、本開示の実施例の１つの可能な実現形態では、撮影モジュールの現在のブレの度合いに基づいて、現在の収集対象画像の数に適合する予め設定された露出補正モードを決定するように、撮影モジュールのブレの度合いと露出補正モードとのマッピング関係を予め設定することができる。
【０３８１】
例えば、撮影モジュールのブレの度合いを「ブレなし」とし、対応する露出補正モードのＥＶ値の範囲を−６〜２に予め設定し、隣接するＥＶ値の間の差を０．５としたり、撮影モジュールのブレの度合いを「微ブレ」とし、対応する露出補正モードのＥＶ値の範囲を−５〜１に予め設定し、隣接するＥＶ値の間の差を１としたりするなどができる。
【０３８２】
さらに、撮影された画像の効果をさらに向上させるように、顔の撮影と単なる景物の撮影とは異なる露出補正策を用いることができる。即ち、本開示の実施例の１つの可能な実現形態では、予め設定された露出補正モードを決定するステップは、
前記撮影モジュールが現在収集している画像に顔が含まれているか否かを検出するステップと、
顔が含まれている場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第１のモードであると決定するステップと、
顔が含まれていない場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第２のモードであると決定するステップであって、第２のモードに対応する露出補正範囲が、前記第１のモードに対応する露出補正範囲より大きいステップと、をさらに含んでも良い。
【０３８３】
本開示の実施例では、被写体に顔が含まれているか否かは顔認識技術によって決定することができる。顔認識技術は、顔の視覚的特徴情報を分析および比較することによって身分認識を行い、生体認証技術に属しており、生体（一般的に人を指す）自身の生物学的特性に対して生体個体を区別するものである。現在、顔認識技術は、デジタルカメラのフェイスオートフォーカスやスマイルシャッター技術、企業、住宅の安全と管理、入退室管理システム、およびカメラ監視システムなど、数多くの分野に適用されている。よく用いられる顔認識アルゴリズムは、顔特徴点に基づく認識アルゴリズム（Ｆｅａｔｕｒｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、顔全体画像に基づく認識アルゴリズム（Ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、テンプレートに基づく認識アルゴリズム（Ｔｅｍｐｌａｔｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、ニューラルネットワークを用いる認識アルゴリズム（Ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ  ｕｓｉｎｇ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）などを含む。
【０３８４】
なお、撮影モジュールの現在収集している画像に顔が含まれていること検出した場合、撮影モジュールの測光モジュールは自動的に顔の領域を主として測光を行い、顔の領域の測光結果に基づいて基準露出量を決定する。しかしながら、夜景モードでは、顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高くなり、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、目標画像の効果が悪くなる。そのため、同じブレの度合いに対して、撮影モジュールが現在収集している画像に顔が含まれている場合は、顔が含まれていない場合と比べて、対応する露出補正モードがより低い露出補正の範囲を有する必要がある。
【０３８５】
本開示の実施例の１つの可能な実現形態では、同じブレの度合いに対して、撮影モジュールの現在収集している画像に顔が含まれているか否かに基づいて、異なる露出補正策を用いることができる。そのため、同じブレの度合いに対しては、複数の露出補正モードに対応することができる。例えば、撮影モジュールのブレの度合いが「微ブレ」である場合、対応する予め設定された露出補正モードは第１のモードおよび第２のモードがあり、第１のモードに対応する各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、第２のモードに対応する各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］である。撮影モジュールの現在のブレの度合い、および撮影モジュールの現在収集している画像に顔が含まれているか否かが決定されると、現在の実際の状況に適合する予め設定された露出補正モードを決定することができる。
【０３８６】
例えば、撮影モジュールの現在のブレの度合いが「微ブレ」であるとすると、対応する予め設定された露出補正モードは第１のモードおよび第２のモードがあり、第１のモードに対応する各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、第２のモードに対応する各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］であり、以上から分かるように、第１のモードの露出補正範囲は第２のモードの露出補正範囲より小さい。撮影モジュールの現在収集している画像に顔が含まれていることを検出した場合、予め設定された露出補正モードが第１のモードであると決定し、即ち各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、撮影モジュールの現在収集している画像に顔が含まれていないことを検出した場合、予め設定された露出補正モードが第２のモードであると決定し、即ち各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］である。
【０３８７】
さらに、撮影モジュール内のコンポーネントの性能も、露出補正モードに影響を与える可能性がある。即ち、本開示の実施例の１つの可能な実現形態では、予め設定された露出補正モードを決定するステップの前に、撮影モジュール内の各部品の属性情報を決定することができ、さらには、各部品の属性情報および現在のブレの度合いに基づいて、予め設定された露出補正モードを決定する。例えば、異なるセンサ、絞り、シャッター、レンズ、および異なるＡＥＣアルゴリズムなどに対して、露出補正モードに対応する具体的なＥＶ値に差がある可能性がある。
【０３８８】
ステップ１８０４、前記各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集する。
【０３８９】
ステップ１８０５、目標画像を生成するように、前記収集された複数フレームの画像を合成する。
【０３９０】
本開示の実施例では、各フレームの収集対象画像に対応する基準感光度および露出時間を決定した後、基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、かつ目標画像を生成するように、収集された複数フレームの画像を合成することができる。
【０３９１】
さらに、収集された複数フレームの画像を合成する場合、効果が最も良好な目標画像を得るように、各フレームの画像のために異なる重みを設定しても良い。即ち、本開示の実施例の１つの可能な実現形態では、上記ステップ１８０５は、
予め設定された前記複数フレームの画像内の各フレームの収集対象画像に対応する重みに基づいて、前記複数フレームの画像を合成するステップを含んでも良い。
【０３９２】
本開示の実施例の撮影モジュールの夜景撮影処理方法は、夜景撮影モードにおいて、撮影モジュールの現在のブレの度合いを検出して、現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定することができ、その後、現在の撮影シーンの照度および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定し、さらに各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および基準感光度を決定し、かつ現在の撮影シーンの照度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することにより、異なる露出時間の複数枚の画像を撮って合成することによって夜景撮影モードにおける撮影画像のダイナミックレンジおよび全体の輝度を向上させて、撮影画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストおよびピンぼけを抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０３９３】
図１９は本開示の実施例が提供する撮影モジュールの夜景撮影処理装置の構造概略図である。
【０３９４】
図１９に示すように、該撮影モジュールの夜景撮影処理装置４００は、第１の検出モジュール４１０、第１の決定モジュール４２０、第２の決定モジュール４３０、第１の収集モジュール４４０および合成モジュール４５０を含む。
【０３９５】
第１の検出モジュール４１０は、夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出することに用いられ、
第１の決定モジュール４２０は、前記撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定することに用いられ、
第２の決定モジュール４３０は、現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することに用いられ、
第１の収集モジュール４４０は、前記各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集することに用いられ、
合成モジュール４５０は、目標画像を生成するように、前記収集された複数フレームの画像を合成することに用いられる。
【０３９６】
実際の適用では、本開示の実施例が提供する撮影モジュールの夜景撮影処理装置は、前記撮影モジュールの夜景撮影処理方法を実行するように、任意の電子機器に配置することができる。
【０３９７】
本開示の１つの可能な実現形態では、上記撮影モジュールの夜景撮影処理装置４００は、
前記各フレームの収集対象画像に対応する露出時間が予め設定された時間範囲内にあるか否かを検出するための第２の検出モジュールと、
少なくとも１フレームの収集対象画像の露出時間が前記予め設定された時間範囲内にない場合、前記少なくとも１フレームの収集対象画像の露出時間が前記予め設定された時間範囲内にあるように、前記予め設定された時間範囲に基づいて、前記少なくとも１フレームの収集対象画像の露出時間を更新するための第２の更新モジュールと、をさらに含む。
【０３９８】
さらに、本開示のもう１つの可能な実現形態では、上記撮影モジュールの夜景撮影処理装置４００は、
前記撮影モジュール内の光学部品の配置形態に基づいて、前記予め設定された時間範囲を決定するための第３の決定モジュールをさらに含む。
【０３９９】
さらに、本開示の更なる可能な実現形態では、上記撮影モジュールの夜景撮影処理装置４００は、
前記少なくとも１フレームの収集対象画像の更新前の露出時間と更新後の露出時間との差に基づいて、前記各フレームの収集対象画像に対応する露出量調整モードを決定するための露出量調整モード決定モジュールと、
前記露出量調整モードに基づいて、前記各フレームの収集対象画像の感光度および露出時間を調整するための調整モジュールと、をさらに含む。
【０４００】
本開示の１つの可能な実現形態では、上記第２の決定モジュール４３０は、
前記現在の撮影シーンの照度に基づいて、基準露出量を決定し、
前記基準露出量および前記各フレームの収集対象画像に対応する基準感光度に基づいて、基準露出時間を決定し、
前記基準露出時間および予め設定された露出補正モードに基づいて、前記各フレームの収集対象画像に対応する露出時間を決定することに用いられる。
【０４０１】
さらに、本開示のもう１つの可能な実現形態では、上記第２の決定モジュール４３０はさらに、
前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードを決定することに用いられても良い。
【０４０２】
さらに、本開示の更なる可能な実現形態では、上記第２の決定モジュール４３０はさらに、
前記撮影モジュールが現在収集している画像に顔が含まれているか否かを検出し、
顔が含まれている場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第１のモードであると決定し、
顔が含まれていない場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第２のモードであると決定することに用いられてもよく、第２のモードに対応する露出補正範囲が、前記第１のモードに対応する露出補正範囲より大きい。
【０４０３】
さらに、本開示の別の可能な実現形態では、上記第２の決定モジュール４３０はさらに、
前記撮影モジュール内の各部品の属性情報を決定し、
前記各部品の属性情報および前記現在のブレの度合いに基づいて、前記予め設定された露出補正モードを決定することに用いられても良い。
【０４０４】
本開示の１つの可能な実現形態では、上記合成モジュール４５０は、
予め設定された前記複数フレームの画像内の各フレームの収集対象画像に対応する重みに基づいて、前記複数フレームの画像を合成することに用いられる。
【０４０５】
本開示の実施例が提供する撮影モジュールの夜景撮影処理装置は、夜景撮影モードにおいて、撮影モジュールの現在のブレの度合いを検出して、現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定することができ、その後、現在の撮影シーンの照度および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定し、さらに各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および基準感光度を決定し、かつ現在の撮影シーンの照度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することにより、異なる露出時間の複数枚の画像を撮って合成することによって夜景撮影モードにおける撮影画像のダイナミックレンジおよび全体の輝度を向上させて、撮影画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストおよびピンぼけを抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０４０６】
上記実施例を実現するために、本開示は電子機器をさらに提供する。図２０に示すように、該電子機器５００は、撮影モジュール５１０、プロセッサ５２０、メモリ５３０、およびメモリに記憶されかつプロセッサにおいて実行可能なコンピュータプログラムを含み、前記プロセッサ５２０は前記撮影モジュール５１０に接続され、前記プロセッサは、前記コンピュータプログラムを実行する際に、上記実施例に記載の撮影モジュールの夜景撮影処理方法を実現する。
【０４０７】
一例として、図２１を参照されたい。図２０に記載の電子機器をもとに、図２１は本開示の実施例が提供する電子機器の原理図である。電子機器６００のメモリ５３０は不揮発性メモリ８０、メモリ８２およびプロセッサ５２０を含む。メモリ５３０にコンピュータ読み取り可能な命令が記憶されている。コンピュータ読み取り可能な命令はメモリによって実行される際に、プロセッサ５２０に上記いずれかの実施形態の撮影モジュールの夜景処理方法を実行させる。
【０４０８】
図２１に示すように、該電子機器６００は、システムバス８１によって接続されるプロセッサ５２０、撮影モジュール５１０、不揮発性メモリ８０、メモリ８２、ディスプレイ８３および入力装置８４を含む。電子機器６００の不揮発性メモリ８０にオペレーティングシステムおよびコンピュータ読み取り可能な命令が記憶されている。該コンピュータ読み取り可能な命令は、本開示の実施形態の露出制御方法を実現するように、プロセッサ５２０によって実行可能である。該プロセッサ５２０は計算および制御能力を提供して、電子機器６００全体の実行をサポートすることに用いられる。電子機器６００のメモリ８２は不揮発性メモリ８０内のコンピュータ読み取り可能な命令の実行のために環境を提供する。電子機器６００のディスプレイ８３は、液晶ディスプレイまたは電子インクディスプレイなどであってもよく、入力装置８４は、ディスプレイ８３上を覆うタッチ層、電子機器６００のハウジングに設けられるボタン、トラックボールやタッチパッド、または外部接続のキーボード、タッチパッドやマウスなどであっても良い。該電子機器６００は携帯電話、タブレット、ノートパソコン、パーソナルデジタルアシスタントまたはウェアラブルデバイス（例えば、スマートブレスレット、スマートウォッチ、スマートヘルメット、スマートグラス）などであっても良い。当業者であれば、図２１に示す構造は、本開示の解決案に関連する部分の構造の概略図だけであり、本開示の解決案が適用される電子機器６００を限定するものではないと理解するべきである。具体的な電子機器６００は、図面に示す部品より多いまたは図面に示す部品より少ない部品を含んでもよく、または一部の部品を組み合わせてもよく、あるいは異なる部品配置を有しても良い。
【０４０９】
一つの可能な実現形態として、図２２を参照されたい。図２２は本開示の実施例が提供する画像処理回路の原理図である。図２０内の電子機器は画像処理回路９０をさらに含んでもよい。画像処理回路９０はハードウェアおよび／またはソフトウェアコンポーネントによって実現可能であり、ＩＳＰ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ、画像信号処理）パイプラインを定義する様々な処理ユニットを含む。図２１は一実施例内の画像処理回路９０の概略図である。図２１に示すように、説明を容易にするために、本開示の実施例と関連する画像処理技術の各態様だけを示す。
【０４１０】
図２１に示すように、画像処理回路９０はＩＳＰプロセッサ９１（ＩＳＰプロセッサ９１はプロセッサ３２０とされる）およびロジックコントローラ９２を含む。カメラ９３が捉えた画像データはまずＩＳＰプロセッサ９１によって処理され、ＩＳＰプロセッサ９１は、カメラ９３の１つまたは複数の制御パラメータを決定することに用いられても良い画像統計情報を捉えるように、画像データを分析する。撮影モジュール３１０は１つまたは複数のレンズ９３２と画像センサ９３４とを含んでもよい。画像センサ９３４はカラーフィルタアレイ（例えばＢａｙｅｒフィルタ）を含んでもよく、画像センサ９３４は、各イメージングピクセルが捉えた光強度および波長情報を取得できるとともに、ＩＳＰプロセッサ９１によって処理可能な１組のオリジナル画像データを提供する。センサ９４（例えばジャイロスコープ）は、センサ９４インターフェースのタイプに基づいて、収集された画像処理のパラメータ（例えば手ブレ防止パラメータ）をＩＳＰプロセッサ９１に提供することができる。センサ９４インターフェースはＳＭＩＡ（Ｓｔａｎｄａｒｄ  Ｍｏｂｉｌｅ  Ｉｍａｇｉｎｇ  Ａｒｃｈｉｔｅｃｔｕｒｅ、標準モバイルイメージングアーキテクチャ）インターフェース、他のシリアルまたはパラレルカメラインターフェース、あるいは上記インターフェースの組み合わせであってもよい。
【０４１１】
また、画像センサ９３４はオリジナル画像データをセンサ９４に送信してもよい。センサ９４は、センサ９４インターフェースのタイプに基づいてオリジナル画像データをＩＳＰプロセッサ９１に提供するか、またはオリジナル画像データを画像メモリ９５に記憶してもよい。
【０４１２】
ＩＳＰプロセッサ９１は複数のフォーマットに応じて、ピクセルずつオリジナル画像データを処理する。例えば、各画像のピクセルは８、１０、１２または１４ビットのビット深度を有することができ、ＩＳＰプロセッサ９１はオリジナル画像データに対して１つまたは複数の画像処理操作を行って、画像データに関連する統計情報を収集することができる。画像処理操作は同じまたは異なるビット深度精度に基づいて実行することができる。
【０４１３】
ＩＳＰプロセッサ９１はさらに画像メモリ９５から画像データを受信することができる。例えば、センサ９４インターフェースはオリジナル画像データを画像メモリ９５に送信し、画像メモリ９５内のオリジナル画像データは、処理のためにさらにＩＳＰプロセッサ９１に提供される。画像メモリ９５はメモリ３３０、メモリ３３０の一部、記憶装置、または電子機器内の独立した専用メモリであってもよく、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ、ダイレクトメモリアクセス）特徴を含んでもよい。
【０４１４】
画像センサ９３４インターフェースまたはセンサ９４インターフェースまたは画像メモリ９５からのオリジナル画像データを受信した場合、ＩＳＰプロセッサ９１は１つまたは複数の画像処理操作、例えば時間領域フィルタリングを実行することができる。処理された画像データは、表示される前に追加の処理が行われるように、画像メモリ９５に送信することができる。ＩＳＰプロセッサ９１は画像メモリ９５から処理データを受信し、かつ処理データに対して、オリジナルドメイン内、およびＲＧＢやＹＣｂＣｒ色空間内における画像データ処理を行う。ＩＳＰプロセッサ９１によって処理された後の画像データは、ユーザが閲覧するおよび／またはグラフィックエンジンまたはＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、グラフィックプロセッサ）がさらに処理するように、モニタ９７（モニタ９７はディスプレイ８３を含んでもよい）に出力することができる。また、ＩＳＰプロセッサ９１の出力はさらに画像メモリ９５に送信することができ、モニタ９７は画像メモリ９５から画像データを読み取ることができる。一実施例では、画像メモリ９５は、１つまたは複数のフレームバッファを実現するように構成されてもよい。また、ＩＳＰプロセッサ９１の出力は、画像データを符号化／復号するように、エンコーダ／デコーダ９６に送信することができる。符号化された画像データは記憶されたり、モニタ９７デバイスに表示される前に解凍されたりすることができる。エンコーダ／デコーダ９６はＣＰＵまたはＧＰＵ或いはコプロセッサによって実現可能である。
【０４１５】
ＩＳＰプロセッサ９１によって決定された統計データはロジックコントローラ９２ユニットに送信することができる。例えば、統計データは自動露出、オートホワイトバランス、オートフォーカス、フリッカ検出、黒レベル補正、レンズ９３２シェーディング補正などの画像センサ９３４統計情報を含んでもよい。ロジックコントローラ９２は１つまたは複数のルーチン（例えばファームウェア）を実行する処理コンポーネントおよび／またはマイクロコントローラを含んでもよい。１つまたは複数のルーチンは、受信した統計データに基づいてカメラ９３の制御パラメータおよびＩＳＰプロセッサ９１の制御パラメータを決定することができる。例えば、カメラ９３の制御パラメータは、センサ９４制御パラメータ（例えばゲイン、露出制御の積分時間、手ブレ防止パラメータなど）、カメラフラッシュ制御パラメータ、レンズ９３２制御パラメータ（例えば、焦点距離またはズーム用焦点距離）、またはこれらのパラメータの組み合わせを含んでもよい。ＩＳＰ制御パラメータは、オートホワイトバランスおよびカラー調整（例えば、ＲＧＢ処理期間において）に用いられるゲインレベルおよび色補正行列、並びにレンズ９３２シェーディング補正パラメータを含んでもよい。
【０４１６】
以下は図２２の画像処理技術を応用して撮影モジュールの夜景撮影処理方法を実現するステップである。ＩＳＰプロセッサは撮影モジュールのブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、前記基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて、画像を収集するように前記撮影モジュールを制御し、ＧＰＵ目標画像を生成するように、収集された複数フレームの画像を合成する。
【０４１７】
上記実施例を実現するために、本開示の実施例は記憶媒体をさらに提供し、前記記憶媒体内の命令がプロセッサによって実行される場合、前記プロセッサは前記記憶媒体を実行する際に上記実施例に記載の夜景撮影方法以および撮影モジュールの夜景撮影処理方法を実現する。
【０４１８】
当業者であれば、上記実施例を実現する方法のすべてまたは一部のプロセスは、コンピュータプログラムを介して関連するハードウェアを命令することによって完成可能であり、前記プログラムは不揮発性コンピュータ読み取り可能な記憶媒体内に記憶することができ、該プログラムは実行時に、上記各方法の実施例のプロセスを含んでもよいと理解するべきである。前記記憶媒体は磁気ディスク、光ディスク、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）などであっても良い。
【０４１９】
以上に記載の実施例は、本発明の幾つかの実施形態を表すものに過ぎず、その説明は具体的かつ詳しいが、本発明の特許範囲を限定するものとして理解すべきではない。なお、当業者であれば、本発明の概念を逸脱しない限り、複数の変形と改良を行うことができ、これらは本発明の保護範囲に属していることを留意されたい。そのため、本発明の特許請求の範囲は添付の請求項に準ずるべきである。
【図１】
2021530911.tif 000004
【図２】
2021530911.tif 000005
【図３】
2021530911.tif 000006
【図４】
2021530911.tif 000007
【図５】
2021530911.tif 000008
【図６】
2021530911.tif 000009
【図７】
2021530911.tif 000010
【図８】
2021530911.tif 000011
【図９】
2021530911.tif 000012
【図１０】
2021530911.tif 000013
【図１１】
2021530911.tif 000014
【図１２】
2021530911.tif 000015
【図１３】
2021530911.tif 000016
【図１４】
2021530911.tif 000017
【図１５】
2021530911.tif 000018
【図１６】
2021530911.tif 000019
【図１７】
2021530911.tif 000020
【図１８】
2021530911.tif 000021
【図１９】
2021530911.tif 000022
【図２０】
2021530911.tif 000023
【図２１】
2021530911.tif 000024
【図２２】
2021530911.tif 000025
【手続補正書】
【提出日】令和3年1月12日(2021.1.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本開示はＯＰＰＯ広東移動通信有限公司が２０１８年８月２２日に提出した、発明名称「撮影モジュールの夜景撮影処理方法、装置、電子機器および記憶媒体」、中国特許出願番号「２０１８１０９６３３３１．３」の中国特許出願の優先権を請求する。
【技術分野】
【０００２】
本開示はイメージング技術分野に関し、特に夜景撮影方法、装置、電子機器および記憶媒体に関する。
【背景技術】
【０００３】
インテリジェント端末技術の発展につれて、モバイル端末デバイス（例えば、スマートフォン、タブレットなど）の使用はますます普及している。ほぼ全部のモバイル端末デバイスにカメラが内蔵されており、モバイル端末の処理能力の向上およびカメラ技術の発展につれて、内蔵カメラの性能も、撮影画像の品質もだんだん高くなる。現在、モバイル端末デバイスはどれも操作しやすくて持ち歩きやすく、日常生活では、スマートフォン、タブレットなどのモバイル端末デバイスで写真を撮るユーザもだんだん増えている。
【０００４】
スマートモバイル端末は人々の日常の撮影に利便性を提供するとともに、撮影する画像の品質に対する人々の期待もますます高くなっている。しかしながら、専門のレベルによって制限されるため、人々は撮影シーンに応じて適切な撮影パラメータを設定する方法が分からず、特に夜景という特殊なシーンにおいて、画像の品質が低い。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は少なくとも関連技術における技術的課題のうちの１つをある程度解決することを目的としている。
【課題を解決するための手段】
【０００６】
そのため、本開示が提供する夜景撮影方法、装置、電子機器および記憶媒体は、夜景シーンで撮影された画像のダイナミックレンジが限られているだけではなく、全体の輝度が低く、ユーザ体験に影響するという関連技術における課題を解決することに用いられる。
【０００７】
本開示の第１態様の実施例は撮影モジュールに適用される夜景撮影方法を提供し、前記方法は、
前記撮影モジュールのブレの度合いを取得するステップと、
前記ブレの度合いに基づいて、基準感光度を調整するステップと、
撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定するステップと、
前記基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集するステップと、
目標画像を生成するように、収集された複数フレームの画像を合成するステップと、を含む。
【０００８】
本開示の実施例の夜景撮影方法は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像露出時間を決定し、基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、画像ノイズを低い水準に制御するために、撮影された複数フレームの画像はいずれも基準感光度を用いる。同時に、基準感光度の値はブレの度合いも考慮して、撮影時間が長すぎず、画像内のスミアを回避する。該方法を用いて得られた複数フレームの画像は、画像品質が高く、これらの画像に対する合成処理はノイズをさらに低減することができ、ダイナミックレンジを向上させる。夜景撮影において、良好な撮影効果を得ることができる。
【０００９】
本開示の第２態様の実施例は撮影モジュールに適用される他の夜景撮影方法を提供し、前記方法は、
前記撮影モジュールのブレの度合いを取得するステップと、
前記ブレの度合いに基づいて、露出時間を調整するステップと、
撮影シーンの輝度情報および前記露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するステップと、
前記複数フレームの収集対象画像の感光度および前記露出時間に基づいて画像を収集するステップと、
目標画像を生成するように、収集された複数フレームの画像を合成するステップと、を含む。
【００１０】
本開示の実施例の夜景撮影方法は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、露出時間を調整し、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、露出時間が決定された後、撮影シーンの輝度情報および露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【００１１】
本開示の第３態様の実施例は撮影モジュールに適用される更なる夜景撮影方法を提供し、前記方法は、
前記撮影モジュールのブレの度合いを取得するステップと、
前記ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップと、
各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集するステップと、
目標画像を生成するように、収集された複数フレームの画像を合成するステップと、を含む。
【００１２】
本開示の実施例の夜景撮影方法は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【００１３】
本開示の第４態様の実施例は撮影モジュールに適用される夜景撮影装置を提供し、前記装置は、
前記撮影モジュールのブレの度合いを取得するための取得モジュールと、
前記ブレの度合いに基づいて、基準感光度を調整するための調整モジュールと、
撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定するための決定モジュールと、
前記基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集するための収集モジュールと、
目標画像を生成するように、収集された複数フレームの画像を合成するための生成モジュールと、を含む。
【００１４】
本開示の実施例の夜景撮影装置は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、基準感光度が決定された後、撮影シーンの輝度情報および基準感光度に基づいて複数フレームの収集対象画像の露出時間を決定し、複数フレームの収集対象画像の基準感光度および露出時間に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【００１５】
本開示の第５態様の実施例は撮影モジュールに適用される他の夜景撮影装置を提供し、前記装置は、
前記撮影モジュールのブレの度合いを取得するための取得モジュールと、
前記ブレの度合いに基づいて、露出時間を調整するための調整モジュールと、
撮影シーンの輝度情報および前記露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するための決定モジュールと、
前記複数フレームの収集対象画像の感光度および前記露出時間に基づいて画像を収集するための収集モジュールと、
目標画像を生成するように、収集された複数フレームの画像を合成するための生成モジュールと、を含む。
【００１６】
本開示の実施例の夜景撮影装置は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、露出時間を調整し、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、露出時間が決定された後、撮影シーンの輝度情報および露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【００１７】
本開示の第６態様の実施例は撮影モジュールに適用される更なる夜景撮影装置を提供し、前記装置は、
前記撮影モジュールのブレの度合いを取得するための取得モジュールと、
前記ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するための調整モジュールと、
各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集するための収集モジュールと、
目標画像を生成するように、収集された複数フレームの画像を合成するための生成モジュールと、を含む。
【００１８】
本開示の実施例の夜景撮影装置は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【００１９】
本開示の第７態様の実施例は撮影モジュールの夜景撮影処理方法を提供し、前記方法は、
夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出するステップと、
前記撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定するステップと、
現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定するステップと、
前記各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集するステップと、
目標画像を生成するように、前記収集された複数フレームの画像を合成するステップと、を含む。
【００２０】
本開示の実施例が提供する撮影モジュールの夜景撮影処理方法は、夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出し、現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定し、その後、現在の撮影シーンの照度および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定し、さらに各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および基準感光度を決定し、かつ現在の撮影シーンの照度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することにより、異なる露出時間の複数枚の画像を撮って合成することによって夜景撮影モードにおける撮影画像のダイナミックレンジおよび全体の輝度を向上させて、撮影画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストおよびピンぼけを抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【００２１】
本開示の第８態様の実施例は撮影モジュールの夜景撮影処理装置を提供し、前記装置は、
夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出するための第１の検出モジュールと、
前記撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定するための第１の決定モジュールと、
現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定するための第２の決定モジュールと、
前記各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集するための第１の収集モジュールと、
目標画像を生成するように、前記収集された複数フレームの画像を合成するための合成モジュールと、を含む。
【００２２】
本開示の実施例が提供する撮影モジュールの夜景撮影処理装置は、夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出して、現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定することができ、その後、現在の撮影シーンの照度および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定し、さらに各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および基準感光度を決定し、かつ現在の撮影シーンの照度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することにより、異なる露出時間の複数枚の画像を撮って合成することによって夜景撮影モードにおける撮影画像のダイナミックレンジおよび全体の輝度を向上させて、撮影画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストおよびピンぼけを抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【００２３】
本開示の第９態様の実施例は電子機器を提供し、撮影モジュール、メモリ、プロセッサおよびメモリに記憶されかつプロセッサにおいて実行できるコンピュータプログラムを含み、前記プロセッサは、前記撮影モジュールに接続され、前記コンピュータプログラムを実行する際に、上記実施例に記載の夜景撮影方法、または、撮影モジュールの夜景撮影処理方法を実現する。
【００２４】
本開示の第１０態様の実施例は画像処理回路を提供し、前記画像処理回路は画像信号処理ＩＳＰプロセッサおよびグラフィックプロセッサＧＰＵを含み、
前記ＩＳＰプロセッサは撮影モジュールに接続され、前記撮影モジュールのブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、前記基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて、画像を収集するように前記撮影モジュールを制御することに用いられ、
前記ＧＰＵは、前記ＩＳＰプロセッサに電気的に接続され、目標画像を生成するように、収集された複数フレームの画像を合成することに用いられる。
【００２５】
本開示の第１１態様の実施例は記憶媒体を提供し、前記記憶媒体内の命令は、プロセッサによって実行される際に、上記実施例に記載の夜景撮影方法、または、撮影モジュールの夜景撮影処理方法を実現する。
【図面の簡単な説明】
【００２６】
本開示の上記および／または追記の態様および利点は、添付の図面を参照した以下の実施例の説明から分かりやすくなりかつ理解しやすくなる。
【図１】本開示の実施例が提供する第１の夜景撮影方法のフローチャートである。
【図２】本開示の実施例が提供する第２の夜景撮影方法のフローチャートである。
【図３】本開示の実施例が提供する第３の夜景撮影方法のフローチャートである。
【図４】本開示の実施例が提供する第４の夜景撮影方法のフローチャートである。
【図５】本開示の実施例が提供する第５の夜景撮影方法のフローチャートである。
【図６】本開示の実施例が提供する第６の夜景撮影方法のフローチャートである。
【図７】本開示の実施例が提供する第７の夜景撮影方法のフローチャートである。
【図８】本開示の実施例が提供する第８の夜景撮影方法のフローチャートである。
【図９】本開示の実施例が提供する第９の夜景撮影方法のフローチャートである。
【図１０】本開示の実施例が提供する第１０の夜景撮影方法のフローチャートである。
【図１１】本開示の実施例が提供する第１１の夜景撮影方法のフローチャートである。
【図１２】本開示の実施例が提供する第１２の夜景撮影方法のフローチャートである。
【図１３】本開示の実施例が提供する第１３の夜景撮影方法のフローチャートである。
【図１４】本開示の実施例が提供する第１４の夜景撮影方法のフローチャートである。
【図１５】本開示の実施例が提供する夜景撮影装置の構造概略図である。
【図１６】本開示の実施例が提供する他の夜景撮影装置の構造概略図である。
【図１７】本開示の実施例が提供する更なる夜景撮影装置の構造概略図である。
【図１８】本開示の実施例が提供する撮影モジュールの夜景撮影処理方法のフローチャートである。
【図１９】本開示の実施例が提供する撮影モジュールの夜景撮影処理装置の構造概略図である。
【図２０】本開示の実施例が提供する電子機器の構造概略図である。
【図２１】本開示の実施例が提供する電子機器の原理図である。
【図２２】本開示の実施例が提供する画像処理回路の原理図である。
【発明を実施するための形態】
【００２７】
以下、本開示の実施例を詳しく説明し、前記実施例の例は図面に示されており、同じまたは類似の番号は終始同じまたは類似の部品、あるいは同じまたは類似の機能を有する部品を表す。図面を参照して説明した以下の実施例は例示に過ぎず、本開示を解釈することに用いられる、本開示を限定するものとして理解すべきではない。
【００２８】
関連技術では、絞りの小さいモバイル端末デバイスに対して、夜景シーンにおいて画像を撮る場合は照明が暗いため、収集対象画像の露出時間を延長することによって輝度を向上させると、ブレによって撮影された画像にスミアが存在する可能性がある。感光度の値を上げて画像を取得する場合、撮影のプロセスにおいてノイズが導入され、画像の画面のピンぼけを引き起こす。以上により、夜景シーンで撮影された画像はダイナミックレンジおよび全体の輝度が低く、ノイズレベルが高いだけではなく、ゴーストおよびピンぼけの状況が発生しやすく、ユーザ体験に影響する。
【００２９】
上記課題に対して、本開示の実施例は夜景撮影方法を提供し、撮影モジュールのブレの度合いを取得することにより、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。画像ノイズを低い水準に制御するために、撮影された複数フレームの画像はいずれも基準感光度を用いる。同時に、基準感光度の値はブレの度合いも考慮して、撮影時間が長すぎず、画像内のスミアを回避する。該方法を用いて得られた複数フレームの画像は、画像品質が高く、これらの画像に対する合成処理はノイズをさらに低減することができ、ダイナミックレンジを向上させる。夜景撮影において、良好な撮影効果を得ることができる。
【００３０】
以下は図面を参照しながら本開示が提供する夜景撮影方法、装置、電子機器および記憶媒体を詳しく説明する。
【００３１】
図１は本開示の実施例が提供する第１の夜景撮影方法のフローチャートである。
【００３２】
本開示の実施例の夜景撮影方法は撮影モジュールに適用され、該撮影モジュールは携帯電話、タブレット、パーソナルデジタルアシスタント、ウェアラブルデバイスなど、様々なオペレーティングシステム、イメージングデバイスを有するハードウェア機器であってもよい。
【００３３】
図１に示すように、該夜景撮影方法は、撮影モジュールに適用され、以下のステップを含む。
【００３４】
ステップ１０１、撮影モジュールのブレの度合いを取得する。
【００３５】
本開示の実施例において、撮影モジュールのブレの度合いを決定するために、電子機器内に配置される変位センサに基づいて変位情報を収集することができ、さらに、収集された電子機器の変位情報に基づいて、撮影モジュールのブレの度合いを決定する。
【００３６】
当業者であれば、連続して収集されたプレビュー画面内の同じ対象の変位度合いに基づいて、ブレの度合いが分かることができる。変位が大きければ大きいほどブレの度合いが大きくなり、これに反して、変位が小さければ小さいほど、ブレの度合いが小さくなる。
【００３７】
一例として、電子機器現在のジャイロスコープ（Ｇｙｒｏ−ｓｅｎｓｏｒ）情報を取得することによって、電子機器の現在のブレの度合い、即ち撮影モジュールの現在のブレの度合いを得ることができる。
【００３８】
ジャイロスコープは角速度センサとも呼ばれ、物理量偏移、傾斜時の回転角速度を測定することができる。電子機器において、ジャイロスコープは回転、偏移の動作を良好に測定できるため、使用者の実際の動作を正確に分析して判断することができる。電子機器のジャイロスコープ情報（ｇｙｒｏ情報）は三次元空間の３つの次元の方向における携帯電話の動作情報を含んでもよく、三次元空間の３つの次元はそれぞれＸ軸、Ｙ軸、Ｚ軸の３つの方向で表すことができ、Ｘ軸、Ｙ軸、Ｚ軸は２つずつ垂直な関係にある。
【００３９】
なお、本開示の実施例の１つの可能な実現形態では、電子機器現在のｇｙｒｏ情報に基づいて、撮影モジュールの現在のブレの度合いを決定することができる。電子機器は３つの方向におけるｇｙｒｏ動作の絶対値が大きければ大きいほど、撮影モジュールのブレの度合いが大きい。具体的に、３つの方向におけるｇｙｒｏ動作の絶対値のしきい値を予め設定し、取得した現在の３つの方向におけるｇｙｒｏ動作の絶対値の和と、予め設定されたしきい値との関係に基づいて、撮影モジュールの現在のブレの度合いを決定することができる。
【００４０】
例えば、予め設定されたしきい値を第１のしきい値のＡ、第２のしきい値のＢ、第３のしきい値のＣ（Ａ＜Ｂ＜Ｃ）とし、現在取得された３つの方向におけるｇｙｒｏ動作の絶対値の和をＳとすると、Ｓ＜Ａの場合、撮影モジュールの現在のブレの度合いを「ブレなし」に、Ａ＜Ｓ＜Ｂの場合、撮影モジュールの現在のブレの度合いを「微ブレ」に、Ｂ＜Ｓ＜Ｃの場合、撮影モジュールの現在のブレの度合いを「弱ブレ」に、Ｓ＞Ｃの場合、撮影モジュールの現在のブレの度合いを「強ブレ」に決定することができる。
【００４１】
なお、上記例は例示に過ぎず、本開示を限定するものではない。実際の適用では、実際の必要に応じてしきい値の数および各しきい値の具体的な数値を予め設定することができ、およびｇｙｒｏ情報と各しきい値との関係に基づいて、ｇｙｒｏ情報と撮影モジュールのブレの度合いとのマッピング関係を予め設定することができる。
【００４２】
ステップ１０２、ブレの度合いに基づいて、基準感光度を調整する。
【００４３】
感光度は、ＩＳＯ値とも呼ばれ、光に対するネガフィルムの感度を判断する指標を意味する。感光度の低いネガフィルムに対して、感光度の高いネガフィルムと同じイメージング効果を達成するために、より長い露出時間が必要とされる。デジタルカメラの感光度はフィルムの感光度に類似する指標であり、デジタルカメラのＩＳＯは感光素子の感度を調整するまたは感光点を合併することによって調整することができ、即ち、感光素子の光感度を向上させるまたは隣接するいくつかの感光点を合併することによってＩＳＯを向上させるという目的を達成することができる。なお、デジタルにせよネガフィルム撮影にせよ、露出時間を短縮するために、比較的高い感光度を用いると、通常はより多くのノイズが引き起こされるため、画像品質の低下をもたらす。
【００４４】
本開示の実施例において、基準感光度は、現在の撮影において、撮影モジュールの現在のブレの度合いに基づいて調整される、現在のブレの度合いに適合する最低の感光度であってもよい。例えば、ブレの度合いに基づいて、ブレの度合いに適合する基準感光度を調整する際に、現在の基準感光度がちょうどブレの度合いに適合する場合、基準感光度が変化しないという結果になる。この場合は本開示の実施例における「調整」という範囲にも属する。
【００４５】
また、他の可能な適合シーンでは、撮影モジュールは複数のレンズで構成されるため、異なるレンズが同一の撮影環境においても異なる感光度に対応することができる。本ステップにおける基準感光度の調整は、複数のレンズのうちの１つのレンズによって実行される撮影のプロセスに対するものであり、この撮影プロセスにおいて、複数フレームの画像の収集は同一の基準感光度を用いる。
【００４６】
本ステップでは、画像ノイズを低減するために基準感光度が低く、感光度が低い複数フレームの画像を同時に収集して、目標画像を生成するように、収集された複数フレームの画像を合成する方法によって、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させられるだけではなく、感光度の値を制御することによって、画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させる。
【００４７】
なお、収集された画像の感光度が全体の撮影時間に影響し、撮影時間が長すぎると、手持ち撮影時の撮影モジュールのブレの度合いが大きくなる可能性があり、さらには画像の品質に影響する。そのため、撮影時間を適切な範囲内に制御するように、撮影モジュールの現在のブレの度合いに基づいて、各フレームの収集対象画像に対応する基準感光度を調整することができる。
【００４８】
具体的に、撮影モジュールの現在のブレの度合いが小さい場合、各フレームの画像のノイズを効果的に抑制し、撮影画像の品質を向上させるように、各フレームの収集対象画像に対応する基準感光度をより低い値に適当に圧縮してもよい。撮影モジュールの現在のブレの度合いが大きい場合、撮影時間を短縮するように、各フレームの収集対象画像に対応する基準感光度を高い値に適宜に向上してもよい。
【００４９】
例えば、撮影モジュールの現在のブレの度合いが「ブレなし」であると決定する場合、品質のより高い画像をできる限り取得するように、基準感光度をより低い値、例えば１００に決定することができる。撮影モジュールの現在のブレの度合いが「微ブレ」であると決定する場合、撮影時間を短縮するように、基準感光度を高い値、例えば２００に決定することができる。撮影モジュールの現在のブレの度合いが「弱ブレ」であると決定する場合、撮影時間を短縮するように、基準感光度をさらに高め、例えば２２０に決定することができる。撮影モジュールの現在のブレの度合いが「強ブレ」であると決定する場合、現在のブレの度合いが大きすぎると決定でき、この際に、撮影時間を短縮するように、基準感光度をさらに高め、例えば２５０に決定することができる。
【００５０】
なお、上記例は単なる例示であり、本開示を限定するものではない。実際の適用では、撮影モジュールのブレの度合いが変化する場合、基準感光度を調整することによって最適な解決案を得ることができる。撮影モジュールのブレの度合いと各フレームの収集対象画像に対応する基準感光度とのマッピング関係は、実際の必要に応じて予め設定することができる。
【００５１】
しかしながら、本開示の実施例では、撮影モジュールのブレの度合いだけに基づいて基準感光度を調整することに限定されず、さらにブレの度合いおよび撮影シーンの輝度情報など、複数のパラメータに基づいて基準感光度を包括的に決定することができ、ここで限定されない。
【００５２】
ステップ１０３、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定する。
【００５３】
露出時間は、光がレンズを通過する時間を意味する。複数フレームの収集対象画像は２フレーム以上であり、これについて本開示の実施例では限定されない。
【００５４】
本開示の実施例では、撮影シーンの輝度情報は、撮影モジュール内の測光モジュールを用いて測光して得ることができ、プレビュー画像の輝度情報によって得られるものであってもよく、ここで限定されない。該輝度情報は通常、撮影シーンの照度を、輝度を判断する指標とし、当業者であれば、他の指標による輝度の判断がいずれも本実施例の範囲内にあると理解するべきである。
【００５５】
具体的に、自動露出制御（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ  Ｃｏｎｔｒｏｌ、ＡＥＣと略称される）アルゴリズムを用いて、現在の輝度情報に対応する露出量を決定し、さらには、撮影シーンの輝度情報および基準感光度との両方面の情報に基づいて、複数フレームの収集対象画像内の各フレームの収集対象画像のために露出時間を決定する。
【００５６】
なお、露出量は絞り、露出時間および感光度と関連付けられている。絞りは即ちアパーチャであり、単位時間内に光が通過する量を決定する。各フレームの収集対象画像に対応する基準感光度が同じ、かつ絞りの大きさが同じである場合、現在の撮影シーンの照度に対応する露出量が大きければ大きいほど、各フレームの収集対象画像に対応する露出時間が長い。
【００５７】
ステップ１０４、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集する。
【００５８】
本開示の実施例において、複数フレームの収集対象画像の基準感光度および露出時間を決定した後、各フレームの収集対象画像の基準感光度および露出時間に基づいて画像を収集するように撮影モジュールを制御し、ここで詳しい説明を省略する。
【００５９】
なお、複数フレームの画像を収集する場合、同一の基準感光度に基づく画像の収集は、複数フレームの画像のノイズを低減することに寄与するだけではなく、感光度の向上により、収集された複数フレームの画像のノイズが増加するという技術的課題を回避する。
【００６０】
ステップ１０５、目標画像を生成するように、収集された複数フレームの画像を合成する。
【００６１】
本開示の実施例において、複数フレームの収集対象画像に対応する基準感光度および露出時間を決定した後、基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、かつ収集された複数フレームの画像を合成して、目標画像を生成することができる。本開示の実施例の夜景撮影方法は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された各フレームの画像を合成する。以上により、複数フレームの収集対象画像の基準感光度および露出時間に基づいて画像を収集し、合成して目標画像を生成することは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【００６２】
図１に記載の実施例をもとに、１つの可能な場合では、上記ステップ１０２において、合成後の画像がより高いダイナミックレンジを有し、画像全体の輝度および品質を向上させるように、測光して決定された基準露出量および各フレームの露出補正レベルに基づいて、各フレームの収集対象画像の露出時間を決定して、異なるダイナミックレンジの画像を取得することができる。図２を参照すると、図２は本開示の実施例が提供する第２の夜景撮影方法のフローチャートである。図２に示すように、ステップ１０２は具体的に以下を含む。
【００６３】
ステップ２０１、撮影シーンの輝度情報に基づいて、基準露出量を決定する。
【００６４】
本開示の実施例において、基準露出量は、プレビュー画像を測光することによって現在の撮影シーンの輝度情報を取得した後、テーブルを参照するなどの方法によって決定された、現在の撮影シーンの輝度情報に適合する露出量を意味する。基準露出量の値は、基準感光度と基準露出時間との積であってもよい。
【００６５】
ステップ２０２、基準露出量および基準感光度に基づいて、基準露出時間を決定する。
【００６６】
本開示の実施例において、基準露出量が基準露出時間および基準感光度を含むため、撮影モジュールのブレの度合いに基づいて基準感光度を決定し、および撮影シーンの照度に基づいて基準露出量を決定した後、基準露出量および基準感光度に基づいて、基準露出時間を決定することができる。
【００６７】
ステップ２０３、ブレの度合いに基づいて、露出補正モードを調整する。
【００６８】
露出補正モードは、収集対象画像のフレーム数と、複数フレームの収集対象画像の設定された露出補正レベルとを示すことに用いられる。
【００６９】
なお、撮影モジュールの現在のブレの度合いが異なる場合、決定された収集対象画像の数は異なってもよく、収集対象画像の数が異なる場合、異なる露出補正モードを用いる必要がある。そのため、本開示の実施例の１つの可能な実現形態では、撮影モジュールのブレの度合いと露出補正モードとのマッピング関係により、撮影モジュールの現在のブレの度合いに基づいて、現在の収集対象画像の数のフレーム数と、複数フレームの収集対象画像の設定された露出補正モードとを決定することができる。
【００７０】
例えば、撮影モジュールのブレの度合いを「ブレなし」とし、対応する露出補正モードのＥＶ値の範囲を−６〜２に予め設定し、隣接するＥＶ値の間の差を０．５としたり、撮影モジュールのブレの度合いを「微ブレ」とし、対応する露出補正モードのＥＶ値の範囲を−５〜１に予め設定し、隣接するＥＶ値の間の差を１としたりするなどができる。
【００７１】
１つの可能な実現形態として、撮影モジュールのブレの度合いおよび手ブレ防止性能と組み合わせて露出補正モードを調整するように、撮影モジュールの手ブレ防止性能をまず決定してもよい。
【００７２】
なお、撮影モジュールの手ブレ防止性能は撮影モジュール内の各部品の属性情報と一定の関係を持つため、撮影モジュールのブレの度合いおよび手ブレ防止性能と組み合わせて露出補正モードを調整するように、撮影モジュール内の各部品の属性情報に基づいて撮影モジュールの手ブレ防止性能を決定することができる。
【００７３】
例えば、撮影モジュール内の光学部品が光学式手ブレ防止のように配置される場合、予め設定された時間範囲を適当に拡大することができ、光学式手ブレ防止機能を実現できる撮影モジュールは、撮影時に振れると、その自身が一部のブレを相殺することができるため、光学式手ブレ防止を実現できない撮影モジュールと比べて、同じブレの度合いの下で、光学式手ブレ防止機能を実現できる撮影モジュールが収集した画像内のゴーストおよびピンぼけの度合いは小さい。そのため、光学式手ブレ防止を実現できない撮影モジュールと比べて、より品質の高い画像を得るように、予め設定された時間範囲、特に時間範囲の上限を適当に拡大してもよい。
【００７４】
もう１つの可能な実現形態として、撮影モジュールのブレの度合い、および撮影モジュールが収集した画像に顔が含まれているか否かに基づいて、各フレームの露出補正モードを調整することができる。以下、図３と併せて上記プロセスを詳しく説明する。図３は本開示の実施例が提供する第３の夜景撮影方法のフローチャートであり、図３に示すように、ステップ２０３は以下のサブステップをさらに含んでも良い。
【００７５】
サブステップ２０３１、ブレの度合いに基づいて、収集対象画像のフレーム数を調整する。
【００７６】
なお、収集対象画像のフレーム数および収集された画像の感光度が全体の撮影時間に影響し、撮影時間が長すぎると、手持ち撮影時の撮影モジュールのブレの度合いが大きくなる可能性があり、さらには画像の品質に影響する。即ち、収集対象画像のフレーム数とブレの度合いとは逆関係を持つ。そのため、撮影時間を適切な範囲内に制御するように、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像のフレーム数を調整することができる。
【００７７】
具体的に、撮影モジュールの現在のブレの度合いが小さい場合、各フレームの画像のノイズを効果的に抑制して、撮影画像の品質を向上させるように、より多くのフレームの画像を収集してもよく、撮影モジュールの現在のブレの度合いが大きい場合、撮影時間を短縮するように、より少ないフレームの画像を収集してもよい。
【００７８】
例えば、撮影モジュールの現在のブレの度合いが「ブレなし」であると決定する場合、現在が三脚撮影モードである可能性があると決定することができ、この時、品質のより高い画像をできる限り取得するように、より多くのフレームの画像を収集してもよく、例えば、収集対象画像の数を１７フレームに決定する。撮影モジュールの現在のブレの度合いが「微ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、より少ないフレームを収集してもよく、例えば、収集対象画像の数を７フレームに決定する。撮影モジュールの現在のブレの度合いが「弱ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らしてもよく、例えば、収集対象画像の数を５フレームに決定する。撮影モジュールの現在のブレの度合いが「強ブレ」であると決定する場合、現在のブレの度合いが大きすぎると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らすか、または複数フレームの画像を収集する方式を用いずに撮影してもよく、例えば、収集対象画像を３フレームに決定する。
【００７９】
なお、上記例は例示に過ぎず、本開示を限定するものではない。実際の適用では、撮影モジュールのブレの度合いが変化すると、最適な解決案を得るように、収集対象画像のフレーム数を変えることができる。撮影モジュールのブレの度合いと収集対象画像のフレーム数とのマッピング関係は、実際の必要に応じて予め設定することができる。
【００８０】
サブステップ２０３２、撮影モジュールが収集した画像に顔が含まれているか否かを検出する。
【００８１】
本開示の実施例では、被写体に顔が含まれているか否かは顔認識技術によって決定することができる。顔認識技術は、顔の視覚的特徴情報を分析および比較することによって身分認識を行い、生体認証技術に属しており、生体（一般的に人を指す）自身の生物学的特性に対して生体個体を区別するものである。現在、顔認識技術は、デジタルカメラのフェイスオートフォーカスやスマイルシャッター技術、企業、住宅の安全と管理、入退室管理システム、およびカメラ監視システムなど、数多くの分野に適用されている。よく用いられる顔認識アルゴリズムは、顔特徴点に基づく認識アルゴリズム（Ｆｅａｔｕｒｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、顔全体画像に基づく認識アルゴリズム（Ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、テンプレートに基づく認識アルゴリズム（Ｔｅｍｐｌａｔｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、ニューラルネットワークを用いる認識アルゴリズム（Ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ  ｕｓｉｎｇ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）などを含む。
【００８２】
なお、撮影モジュールの現在収集している画像に顔が含まれていること検出した場合、撮影モジュールの測光モジュールは自動的に顔の領域を主として測光を行い、顔の領域の測光結果に基づいて基準露出量を決定する。しかしながら、夜景モードでは、顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高く、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、目標画像の効果が悪くなる。そのため、同じブレの度合いに対して、撮影モジュールが収集した画像に顔が含まれている場合は、顔が含まれていない場合と比べて、対応する露出補正モードがより低い露出補正範囲を有する必要がある。
【００８３】
サブステップ２０３３、顔が含まれている場合、露出補正モードが調整後のフレーム数にマッチングする第１のモードであると決定する。
【００８４】
サブステップ２０３４、顔が含まれていない場合、露出補正モードが調整後のフレーム数にマッチングする第２のモードであると決定する。
【００８５】
第２のモードに対応する露出補正レベルの値の範囲は第１のモードに対応する露出補正レベルの値の範囲より大きい。
【００８６】
本開示の実施例の１つの可能な実現形態では、同じブレの度合いに対して、撮影モジュールの現在収集している画像に顔が含まれているか否かに基づいて、異なる露出補正策を用いることができる。そのため、同じブレの度合いに対しては、複数の露出補正モードに対応することができる。例えば、撮影モジュールのブレの度合いが「微ブレ」である場合、対応する予め設定された露出補正モードは第１のモードおよび第２のモードがあり、第１のモードに対応する各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、第２のモードに対応する各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］である。撮影モジュールの現在のブレの度合い、および撮影モジュールの現在収集している画像に顔が含まれているか否かが決定されると、現在の実際の状況に適合する予め設定された露出補正モードを決定することができる。
【００８７】
例えば、撮影モジュールの現在のブレの度合いが「微ブレ」であるとすると、対応する予め設定された露出補正モードは第１のモードおよび第２のモードがあり、第１のモードに対応する各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、第２のモードに対応する各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］であり、以上から分かるように、第１のモードの露出補正範囲は第２のモードの露出補正範囲より小さい。撮影モジュールの現在収集している画像に顔が含まれていることを検出した場合、予め設定された露出補正モードが調整後のフレーム数に適合する第１のモードであると決定し、即ち各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、撮影モジュールの現在収集している画像に顔が含まれていないことを検出した場合、予め設定された露出補正モードが調整後のフレーム数に適合する第２のモードであると決定し、即ち各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］である。
【００８８】
ステップ２０４、各フレームの収集対象画像の設定された露出補正レベルに基づいて、基準露出時間を補正して各フレームの収集対象画像の露出時間を得る。
【００８９】
本開示の実施例において、収集対象画像を異なる露出量に対応させることによって、異なるダイナミックレンジを有する画像を得るように、露出補正レベルに応じて、各フレームの収集対象画像に対してそれぞれ異なる露出補正策を用いることができる。
【００９０】
なお、露出補正モードは、各フレームの収集対象画像のためにそれぞれ予め設定した露出補正レベル（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ、ＥＶと略称される）の組み合わせを意味する。露出量の最初の定義では、露出量は１つの正確な数値を指すわけではなく、「同じ露出量を提供できるすべてのカメラの絞りと露出時間との組み合わせ」を意味する。感光度、絞りおよび露出時間はカメラの露出量を決定し、異なるパラメータの組み合わせは同じ露出量を生成することができる。露出補正レベルは露出量を調整するパラメータであり、一部の画像を露出アンダーにしたり、一部の画像を露出オーバーにしたり、一部の画像を適切に露出したりすることができる。
【００９１】
ＥＶ値と感光度と、絞りと露出時間との間の関係を説明するために、以下は具体的なデータと併せて説明する。例えば、同じ撮影シーンでは、感光度が同じである場合、１／１２５秒の露出時間およびｆ１１の絞りの組み合わせを用いて得られた露出量と、１／２５０秒の露出時間およびｆ８シャッターの組み合わせを用いて得られた露出量とは同じであり、即ちＥＶ値は同じである。従来のカメラでは、ＥＶ値が０である場合は、常に感光度が１００、絞り係数がｆ１、露出時間が１秒である際に得られた露出量を指す。露出量が１段増加すると、露出時間が倍増になる。感光度が倍増になるまたは絞りが１段増加すると、ＥＶ値が１増加する。即ち、ＥＶ１に対応する露出量はＥＶ０に対応する露出量の２倍である。表１に示すのは、露出時間、絞り、感光度がそれぞれ単独で変化する場合、ＥＶ値との対応関係である。
【００９２】
なお、デジタルカメラのＥＶ値が０である場合の露出量は、撮影シーンにおいて環境光を測光して得られるものであってもよい。
【００９３】
【表１】
2021530911.tif 000026
【００９４】
撮影技術がデジタル時代に入ると、カメラ内部の測光機能が非常に高くなっており、ＥＶは、露出目盛りにおける１つの段差を示すためによく用いられており、多くのカメラでは露出補正の設定が許容され、通常ＥＶで表される。この場合、ＥＶはカメラの測光データに対応する露出量と実際の露出量との差を指し、例えば、ＥＶ＋１の露出補正は、カメラの測光データに対応する露出量に対して、露出が１段増加すると、実際の露出量はカメラの測光データに対応する露出量の２倍になること指す。
【００９５】
本開示の実施例では、露出補正モードを決定する場合は、決定された基準露出量に対応するＥＶ値を０に予め設定することができ、ＥＶ＋１は露出が１段増加することを指し、即ち露出量が基準露出量の２倍になり、ＥＶ＋２は露出が２段増加することを指し、即ち露出量が基準露出量の４倍になり、ＥＶ−１は露出が１段減ることを指し、即ち露出量が基準露出量の０．５倍になるなど。
【００９６】
例えば、収集対象画像の数が７フレーム場合、露出補正モードに対応するＥＶ値の範囲は［＋１、＋１、＋１、＋１、０、−３、−６］であってもよい。露出補正モードがＥＶ＋１であるフレームは、ノイズ問題が解決可能であり、輝度の高いフレームを介して時間領域のノイズリダクションを行い、暗い部分の細部を改善すると共にノイズを抑制する。露出補正モードがＥＶ−６であるフレームは、明るくて露出オーバーを引き起こすという課題を解決でき、明るい領域の細部を保持する。露出補正モードがＥＶ０およびＥＶ−３であるフレームは、明るい領域から暗い領域への移行に用いられてもよく、良好な明暗移行効果を維持することができる。
【００９７】
なお、露出補正モードに対応する各ＥＶ値は実際の必要に応じて具体的に設定するものであってもよく、設定されたＥＶ値の範囲に基づいて、各ＥＶ値の間の差が同じであるという原則に従って求められたものであってもよく、本開示の実施例では限定されない。
【００９８】
本開示の実施例の１つの可能な実現形態では、絞りの大きさは一定であってもよく、決定された基準感光度に基づいて各収集対象画像を収集する。そのため、撮影モジュールの現在のブレの度合いに基づいて現在の収集対象画像の数が決定されると、現在の収集対象画像の数に適合する予め設定された露出補正モード、および基準露出時間に基づいて、各フレームの収集対象画像に対応する露出時間を決定することができる。具体的に、収集対象画像に対応する露出補正モードがＥＶ＋１である場合、該収集対象画像に対応する露出時間は基準時間の２倍になり、収集対象画像に対応する露出補正モードがＥＶ−１である場合、該収集対象画像に対応する露出時間は基準時間の０．５倍になり、これによって類推する。
【００９９】
例えば、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数が７フレームであると決定する場合、対応する予め設定された露出補正モードに対応するＥＶ範囲は［＋１、＋１、＋１、＋１、０、−３、−６］であってもよく、基準露出量および基準感光度に基づいて、基準露出時間が１００ミリ秒に決定されると、各フレームの収集対象画像に対応する露出時間は２００ミリ秒、２００ミリ秒、２００ミリ秒、２００ミリ秒、１００ミリ秒、１２．５ミリ秒、６．２５ミリ秒である。
【０１００】
本開示の実施例の夜景撮影方法は、撮影シーンの輝度情報に基づいて、基準露出量を決定し、基準露出量および基準感光度に基づいて、基準露出時間を決定し、撮影モジュールのブレの度合いに基づいて、露出補正モードを調整し、各フレームの収集対象画像の設定された露出補正レベルに基づいて、基準露出時間を補正して各フレームの収集対象画像の露出時間を得る。以上により、各フレームの画像を収集する露出時間を決定するように、撮影シーンの輝度情報に基づいて基準露出および各フレームの露出補正レベルを決定し、異なる露出時間に基づいて各フレームの画像を収集する場合、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０１０１】
図２に記載の実施例をもとに、もう１つの可能な実現形態として、本開示の実施例では、複数の夜景モードが予め設定され、異なる夜景モードに異なる露出補正モードが対応付けられている。図４に示すのは、本開示の実施例が提供する第４の夜景撮影方法のフローチャートであり、具体的に以下のステップを含んでも良い。
【０１０２】
ステップ３０１、プレビュー画面の画面内容に基づいて、現在の撮影シーンが夜景シーンに属すると決定する。
【０１０３】
本開示の実施例では、現在の撮影シーンが夜景シーンに属するか否かを決定するために、イメージングデバイスを介して現在の撮影シーンのプレビュー画面を取得することができる。
【０１０４】
具体的に、異なるシーンにおける環境輝度値が異なるため、プレビュー画面の内容も異なり、現在の撮影シーンのプレビュー画面の画面内容および各領域の環境輝度値に基づいて、現在の撮影シーンが夜景シーンに属するかどうかを判断する。
【０１０５】
例えば、プレビュー画面の画面内容は夜空または夜景の灯による光源などを含むか、またはプレビュー画面の各領域の環境輝度値が夜景環境における画像の輝度分布特性に属する場合、現在の撮影シーンが夜景シーンに属すると決定することができる。
【０１０６】
ステップ３０２、撮影モジュールのブレの度合いおよび／またはプレビュー画面に顔が含まれているか否かに基づいて、現在の撮影シーンに適用する夜景モードを認識する。
【０１０７】
本開示の実施例では、イメージングデバイスに配置される変位センサを介して、撮影のプロセスにおけるイメージングデバイスの変位情報を収集して、得られた変位情報に基づいて撮影モジュールの現在のブレの度合いを決定することができる。以上により、撮影モジュールのブレの度合いに基づいて、使用者がイメージングデバイスを三脚に固定して撮影したかまたは手持ちモードで撮影したかを判断することができる。さらには、撮影モジュールの現在のブレの度合いに基づいて、現在の撮影シーンに適用する夜景モードを認識する。夜景モードは、即ち三脚を用いるモードまたは手持ちモードである。
【０１０８】
もう１つの可能な実現形態として、イメージングデバイスのプレビュー画面に顔が含まれているか否かを決定することによって、現在の撮影シーンに適用する夜景モードを認識することができる。
【０１０９】
なお、プレビュー画面に顔が含まれていることを検出する場合、撮影モジュールの測光モジュールは自動的に顔の領域を主として測光し、顔の領域の測光結果に基づいて基準露出量を決定する。しかしながら、夜景シーンにおいて、顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高くなり、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、収集された画像のイメージング効果が悪くなる。そのため、同じブレの度合いに対して、プレビュー画面に顔が含まれている場合と顔が含まれていない場合とを比較すると、用いる夜景モードは異なる。
【０１１０】
ステップ３０３、夜景モードに対応する露出補正モードに基づいて、各フレームの収集対象画像の予め設定された露出補正値を決定する。
【０１１１】
１つの可能な実現形態として、撮影モジュールのブレの度合いが異なれば、現在の撮影シーンに適用する夜景モードが異なるため、決定された各フレームの収集対象画像の予め設定された露出補正値も異なる。本開示の実施例では、撮影モジュールのブレの度合いに基づいて、現在各フレームの収集対象画像の予め設定された露出補正値を決定するように、撮影モジュールのブレの度合いと露出補正値との間のマッピング関係を予め設定することができる。
【０１１２】
例えば、撮影モジュールのブレの度合いが「ブレなし」である場合、各フレームの収集対象画像に対応する露出補正値のＥＶ値の範囲を−６〜２に予め設定し、隣接するＥＶ値の間の差を０．５としたり、撮影モジュールのブレの度合いが「微ブレ」である場合、各フレームの収集対象画像に対応する露出補正値のＥＶ値の範囲を−５〜１に予め設定し、隣接するＥＶ値の間の差を１としたりするなどができる。
【０１１３】
もう１つの可能な実現形態として、撮影モジュールのプレビュー画面に顔が含まれているか否かを検出し、プレビュー画面に顔が含まれている場合と顔が含まれていない場合とは、現在の撮影シーンに適用する夜景モードが異なるため、それによって決定される各フレームの収集対象画像の予め設定された露出補正値もまた異なる。
【０１１４】
別の可能な実現形態として、同じブレの度合いに対して、プレビュー画面に顔が含まれているか否かに基づいて、各フレームの収集対象画像が異なる露出補正値を用いると決定することができる。そのため、同じブレの度合いに対しては、複数の露出補正値に対応することができる。例えば、撮影モジュールのブレの度合いが「微ブレ」である場合、各フレームの収集対象画像の予め設定された露出補正値には、顔が含まれているおよび顔が含まれていないという２つの場合がある。
【０１１５】
夜景モードでは、収集対象画像に顔が含まれている場合は顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高くなり、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、収集された画像のイメージング効果が悪くなり、対応する露出補正モードは低い露出補正範囲が必要とされる。そのため、同じブレの度合いに対して、プレビュー画面に顔が含まれている場合と、顔が含まれていない場合とを比較して、撮影モジュールの現在のブレの度合い、およびプレビュー画面に顔が含まれているか否かを決定した後、現在の実際の状況に適合する予め設定された露出補正値を決定することができる。
【０１１６】
本開示の実施例では、プレビュー画面を取得することによって、プレビュー画面の画面内容に基づいて、現在の撮影シーンが夜景シーンに属することを決定し、イメージングデバイスのブレの度合いおよび／またはプレビュー画面に顔が含まれているか否かに基づいて、現在の撮影シーンに適用する夜景モードを認識し、さらには、夜景モードに基づいて、各フレームの収集対象画像の予め設定された露出補正値を決定する。以上により、イメージングデバイスのブレの度合いおよび／またはプレビュー画面に顔が含まれているか否かに基づいて、該撮影シーンにおける夜景モードを決定して、各フレームの収集対象画像の予め設定された露出補正値を決定し、さらには各フレームの収集対象画像の露出時間を決定するために使用し、最大時間に基づいて少なくとも１フレームの収集対象画像の露出時間を更新し、最終的に、更新された各フレームの収集対象画像の露出時間および感光度に基づいて、露出制御を行い、さらにはイメージングを行い、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０１１７】
図１に記載の実施例をもとに、一つの実現可能なシーンでは、撮影モジュールのブレの度合いに基づいて基準感光度を決定する際に、ブレの度合いと予め設定されたブレのしきい値との間の関係を判断することによって、各フレームの収集対象画像の基準感光度の感光値を決定することができ、従って撮影画像の品質を向上させる。以下、図５を参照しながら上記プロセスを詳しく紹介する。図５は本開示の実施例が提供する第５の夜景撮影方法のフローチャートである。図５に示すように、ステップ１０２は以下のステップをさらに含んでも良い。
【０１１８】
ステップ４０１、撮影モジュールのブレの度合いを決定する。
【０１１９】
具体的に、ブレの度合いを決定するために、電子機器内に配置される変位センサに基づいて変位情報を収集することができ、さらには、収集された電子機器の変位情報に基づいて、撮影モジュールのブレの度合いを決定する。各フレームの収集対象画像の予め設定された感光度が同じである場合、撮影モジュールのブレの度合いに基づいて、各フレームの収集対象画像の予め設定された感光度を決定することができる。
【０１２０】
ステップ４０２、撮影モジュールのブレの度合いがブレのしきい値以上であるか否かを判断する。
【０１２１】
本開示の実施例において、撮影モジュールのブレの度合いを決定した後、ブレの度合いに基づいて基準感光度の感光値を決定するように、撮影モジュールのブレの度合いを予め設定されたブレのしきい値と比較する。
【０１２２】
ステップ４０３、ブレの度合いがブレのしきい値以上である場合、基準感光度が第１の感光値であると決定する。
【０１２３】
１つの可能な場合として、撮影モジュールのブレの度合いを決定した後、決定された撮影モジュールのブレの度合いがブレのしきい値以上である場合、基準感光度が第１の感光値であると決定する。
【０１２４】
なお、撮影モジュールのブレの度合いが大きい場合、基準感光度を向上させることによって撮影時間を短縮することができ、例えば基準感光度を８００に決定することができることを理解されたい。
【０１２５】
ステップ４０４、ブレの度合いがブレのしきい値より小さい場合、基準感光度が第２の感光値であると決定する。
【０１２６】
１つの可能な場合として、撮影モジュールのブレの度合いを決定した後、決定された撮影モジュールのブレの度合いがブレのしきい値より小さい場合、基準感光度が第２の感光値であると決定する。
【０１２７】
第１の感光値は第２の感光値より高く、第１の感光値は第２の感光値の予め設定された倍数であり、予め設定された倍数の値が２以上である。一つの可能な実現形態として、より低いノイズを得るために、第２の感光値はイメージングデバイスの最低感光度であってもよく、即ち第２の感光値の値は１００ＩＳＯであり、これに対応して、第１の感光値の範囲は２００、４００、８００またはそれ以上であってもよい。
【０１２８】
なお、撮影モジュールのブレの度合いが小さい場合、基準感光度をより低く設定することによって品質のより高い画像をできる限り得ることができ、例えば、基準感光度を１００に決定することができることを理解されたい。
【０１２９】
本開示の実施例では、撮影モジュールのブレの度合いを決定することによって、ブレの度合いとブレのしきい値とを比較することによって、ブレの度合いがブレのしきい値以上である場合、基準感光度が第１の感光値であると決定し、ブレの度合いがブレのしきい値より小さい場合、基準感光度が第２の感光値であると決定する。以上により、撮影モジュールのブレの度合いに基づいて基準感光度の感光値を決定し、さらに感光値に基づいて露出時間を決定することによって、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０１３０】
図１に記載の実施例をもとに、もう１つの可能なシーンでは、ステップ１０２において基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、露出時間が最大時間より長い収集対象画像の露出時間を短縮するように、決定された露出時間と撮影モジュールのブレの度合いに基づいて決定された最大時間とを比較することができ、露出時間が長すぎることによって露出オーバーが発生して画像の歪みを引き起こしたいり、振れることによって画面ピンぼけが発生したりする状況、および撮影時間が長すぎる状況を回避する。次に、図６と併せて上記プロセスを詳しく説明し、図６は本開示の実施例が提供する第６の夜景撮影方法のフローチャートであり、図６に示すように、ステップ１０３の後は以下のステップをさらに含む。
【０１３１】
ステップ５０１、撮影モジュールのブレの度合いに基づいて、最大時間を決定する。
【０１３２】
１つの可能な場合として、ブレの度合いを決定するために、イメージングデバイス内に配置される変位センサを介して変位情報を収集し、さらに、収集されたイメージングデバイスの変位情報に基づいて、撮影モジュールのブレの度合いを決定することができる。さらに、決定された撮影モジュールのブレの度合いに基づいて予め設定されたブレのしきい値と比較することによって、最大露出時間を決定する。
【０１３３】
１つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値以上である場合、現在の撮影シーンにおける各フレームの収集対象画像の最大露出時間が第１の時間であると決定する。ブレのしきい値は、イメージングデバイスにおいて予め設定された、予め設定された感光度の値を決定するためのブレ値である。
【０１３４】
なお、撮影モジュールのブレの度合いが大きい場合、露出時間を長く設定すれば、全体の撮影時間が延長され、イメージングデバイスのブレの度合いが大きくなることを引き起こす恐れがあるため、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけという状況が現れる可能性がある。そのため、撮影モジュールのブレの度合いが大きい場合、撮影の画像にゴーストまたはピンぼけという状況の発生を回避するように、より短い露出時間を設定することができることを理解されたい。
【０１３５】
もう一つの可能な場合として、イメージングデバイスのブレの度合いがブレのしきい値より小さい場合、現在の撮影シーンにおける各フレームの収集対象画像の最大露出時間が第２の時間であると決定する。
【０１３６】
なお、撮影モジュールのブレの度合いが小さい場合、撮影して品質のより高い画像を得るように、より長い露出時間を設定することができることを理解されたい。
【０１３７】
第１の時間は第２の時間より短く、第１の時間の値の範囲は１５０ｍｓ〜３００ｍｓであり、第２の時間の値の範囲は４．５ｓ〜５．５ｓである。
【０１３８】
ステップ５０２、各フレームの収集対象画像の露出時間を設定された最大時間と比較する。
【０１３９】
本開示の実施例では、各フレームの収集対象画像の露出時間は、撮影モジュールによって決定された基準感光度に基づいて決定され、具体的な実現プロセスは上記実施例のステップ１０２の実現プロセスを参照されたいので、ここで説明を省略する。
【０１４０】
基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらすという状況を回避するように、各フレームの収集対象画像の露出時間を設定された最大時間と比較する。
【０１４１】
ステップ５０３、収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、第１の画像の露出時間を最大時間まで短縮する。
【０１４２】
具体的に、収集対象画像において、対応する露出時間が最大時間より長いという状況が存在する場合、全体の撮影時間が延長され、イメージングデバイスのブレの度合いが大きくなるという状況を引き起こす恐れがあるため、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけが現れる可能性がある。
【０１４３】
そのため、各フレームの収集対象画像に対応する露出時間が決定されると、各フレームの収集対象画像に対応する露出時間が最大時間より長いであるか否かを判断するように、各露出時間と予め設定された最大時間とを比較することができる。
【０１４４】
１つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値以上である場合、決定された収集対象画像内の露出時間と第１の最大時間とを比較し、収集対象画像内では、露出時間が第１の最大時間より長い第１の画像が存在する場合、第１の画像の露出時間を最大時間まで短縮する。第１の最大時間は３００ｍｓである。
【０１４５】
例えば、特定フレームの収集対象画像の露出時間が３５０ｍｓであるとすると、該フレームの画像の露出時間が第１の最大時間より長いため、該フレームの画像の露出時間を短縮し、該フレームの収集対象画像の露出時間を３００ｍｓに設定する。
【０１４６】
１つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値より小さい場合、決定された収集対象画像の露出時間と第２の最大時間とを比較し、収集対象画像内では、第１の画像に対応する露出時間が第２の時間の最大時間より長い状況が存在する場合、第１の画像に対応する露出時間を第２の時間の最大時間、即ち５．５ｓに設定する。
【０１４７】
例えば、特定フレームの収集対象画像の露出時間が６ｓであるとすると、該フレームの画像の露出時間が第２の最大時間より長いため、該フレームの画像の露出時間を短縮し、該フレームの収集対象画像の露出時間を５．５ｓに設定する。
【０１４８】
ステップ５０４、第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させる。
【０１４９】
具体的に、露出量が感光度と露出時間との積であるため、第１の画像の露出量が決定されると、撮影された画像の輝度を維持するように、第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させることができる。
【０１５０】
例えば、現在の撮影シーンの輝度情報に基づいて、露出補正レベルがＥＶ０である際の露出時間および基準露出量をそれぞれ２ｓおよび１００ＩＳＯに決定する。収集対象画像の露出補正レベルがＥＶ＋２である場合、露出時間および感光度はそれぞれ８ｓおよび１００ＩＳＯであり、露出時間が８ｓである際は最大時間の５ｓより長いため、ＥＶ＋２の露出時間の値を５ｓとし、ＩＳＯ値を８／５＊１００ＩＳＯ即ち１６０ＩＳＯに決定する。以上により、該フレームの収集対象画像の露出時間を更新することによって、露出量を確保すると共に、画像の輝度を向上させ、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらすことを回避する。
【０１５１】
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、最大時間を決定することによって、各フレームの収集対象画像の露出時間と設定された最大時間とを比較し、収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、第１の画像の露出時間を最大時間まで短縮し、第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させる。以上により、収集対象画像の露出時間が最大時間より長い画像の露出時間を最大時間に短縮することによって、露出時間が長すぎて全体の撮影時間が延長され、撮影モジュールのブレの度合いが大きくなって、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけが現れることを回避する。
【０１５２】
図１に記載の実施例をもとに、もう１つの可能なシーンでは、基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、決定された露出時間と、撮影モジュールのブレの度合いに基づいて決定された最短時間を比較することによって、最短露出時間に基づいて最短時間より短い露出時間を調整する。以下、図７と併せて上記プロセスを詳しく説明する。図７は本開示の実施例が提供する第７の夜景撮影方法のフローチャートであり、図７に示すように、ステップ１０３の後は以下のステップをさらに含む。
【０１５３】
ステップ６０１、各フレームの収集対象画像の露出時間を設定された最短時間と比較する。
【０１５４】
本開示の実施例において、各フレームの収集対象画像の露出時間は、撮影モジュールによって決定される基準感光度によって決定され、具体的な実現プロセスは上記実施例のステップ１０２の実現プロセスを参照されたいので、ここで説明を省略する。
【０１５５】
基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、最短時間に基づいて、最短時間より短い露出時間を調整するように、各フレームの収集対象画像の露出時間を設定された最短時間と比較する。最短時間は１０ｍｓ以上である。
【０１５６】
なお、最短露出時間も撮影モジュールのブレの度合いによって決定され、具体的な実現プロセスは上記実施例のステップ５０１の実現プロセスを参照されたいので、ここで説明を省略する。
【０１５７】
ステップ６０２、収集対象画像に露出時間が最短時間より短い第２の画像が存在する場合、第２の画像の露出時間を最短時間まで延長する。
【０１５８】
本開示の実施例では、収集対象画像に対応する露出時間が最短時間の画像より短い場合、画像内のノイズが大きすぎて除去が困難になる恐れがある。そのため、特定フレームの収集対象画像に対応する露出時間が最短時間より短い場合、該フレームの収集対象画像に対応する露出時間を最短時間まで延長する。
【０１５９】
ステップ６０３、第２の画像の延長後の露出時間と延長前の露出時間との比を決定する。
【０１６０】
例えば、予め設定された最短時間が１０ｍｓであり、第２の画像の延長前の露出時間が８ｍｓである場合、第２の画像の露出時間を予め設定された最短時間の１０ｍｓまで延長すると、第２の画像の延長後の露出時間と延長前の露出時間との比が１０／８であると決定することができる。
【０１６１】
ステップ６０４、残りの各フレームの収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、最大時間に基づいて、第１の画像の露出時間を短縮する。
【０１６２】
本開示の実施例において、収集対象画像に露出時間が最短時間より短い第２の画像が存在すると決定した後、残りの各フレームの収集対象画像に露出時間が最大時間より長い第１の画像が同時に存在する場合、第１の画像の露出時間を最大時間まで短縮することができる。具体的な実現プロセスは、上記実施例のステップ５０３の実現プロセスを参照されたいので、ここで説明を省略する。
【０１６３】
ステップ６０５、第１の画像の短縮前後の露出時間の比の値に基づいて、第１の画像の感光度を向上させる。
【０１６４】
本開示の実施例では、ステップ６０５の実現プロセスは、上記実施例のステップ５０４の実現プロセスを参照されたいので、ここで説明を省略する。
【０１６５】
ステップ６０６、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。
【０１６６】
具体的に、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、最短時間より短い収集対象画像の更新後の露出時間と、更新前の露出時間との比が決定されると、該比と残りの各フレームの収集対象画像の更新前の感光度または露出時間との積を、残りの各フレームの収集対象画像の更新後の感光度または露出時間とする。
【０１６７】
１つの例として、露出時間が最短時間以上である収集対象画像が４フレームであるとすると、撮影モジュールのブレの度合いに基づいて、各フレームの予め設定された感光度値がいずれも１００ＩＳＯであり、且つ４フレームの収集対象画像の露出時間がそれぞれ１００ｍｓ、２００ｍｓ、４００ｍｓおよび８００ｍｓであると決定する。最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比が１０ｍｓ／１．５ｍｓ、即ち２０／３であることにより、この４フレームの収集対象画像の露出時間が従来の１００ｍｓ、２００ｍｓ、４００ｍｓおよび８００ｍｓの２０／３倍に延長されると決定する。
【０１６８】
感光度の更新方法は露出時間の更新方法と類似するものであり、露出時間を感光度に置き換えるだけでよい。しかしながら、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比の値に基づいて、露出時間および感光度のいずれか一方のみ更新することができ、露出時間および感光度を同時に更新する必要がある場合、重みに応じて該比を割り当てた後に更新する必要があることを留意されたい。例えば、露出時間および感光度にそれぞれ半分の重みが付けられている場合に対して、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比がＲである場合、露出時間を従来のＲ／２倍に延長し、感光度を従来のＲ／２倍に向上させる。
【０１６９】
本開示の実施例では、基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、各フレームの収集対象画像の露出時間を設定された最短時間と比較し、収集対象画像に露出時間が最短時間より短い第２の画像が存在する場合、第２の画像の露出時間を最短時間まで延長し、第２の画像の延長後の露出時間と延長前の露出時間との比を決定し、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。以上により、各フレームの収集対象画像の露出時間が決定されたことにより、最短露出時間および最大露出時間に基づいて各フレームの収集対象画像の感光度および露出時間を更新し、最終的に、更新された各フレームの収集対象画像の露出時間および感光度に基づいて、露出制御を行い、さらにはイメージングを行い、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０１７０】
本開示の実施例のもう１つの可能な実現形態として、夜景撮影時に、撮影モジュールのブレの度合いに基づいて露出時間を調整することもでき、それによって露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、さらには複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集する。基準感光度に基づいて露出時間を調整するという図１が提供する実現形態と相違して、露出時間に基づいて感光度を調整し、同様に、ブレの度合いと組み合わせて、感光度を低い水準に制御することができる。以下、図８と併せて上記プロセスを詳しく説明し、図８は本出願の実施例が提供する第８の夜景撮影方法のフローチャートである。
【０１７１】
図８に示すように、該方法は具体的に以下のステップを含む。
【０１７２】
ステップ７０１、撮影モジュールのブレの度合いを取得する。
【０１７３】
本開示の実施例では、ステップ７０１の実現プロセスは、上記実施例のステップ１０１の実現プロセスを参照されたいので、ここで説明を省略する。
【０１７４】
ステップ７０２、ブレの度合いに基づいて、露出時間を調整する。
【０１７５】
露出時間は、光がレンズを通過する時間を意味する。
【０１７６】
本開示の実施例では、電子機器が撮影モジュールのブレの度合いを取得した後、撮影モジュールのブレの度合いに基づいて、露出時間を調整することができる。
【０１７７】
１つの可能な場合として、撮影モジュールのブレの度合いが大きい場合、露出時間をより長く設定すれば、全体の撮影時間が延長され、イメージングデバイスのブレの度合いが大きくなることを引き起こす恐れがあるため、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけという状況が現れる可能性がある。そのため、撮影モジュールのブレの度合いが大きい場合、撮影の画像にゴーストまたはピンぼけという状況の発生を回避するように、より短い露出時間を設定することができる。
【０１７８】
もう１つの可能な場合として、撮影モジュールのブレの度合いが小さい場合、撮影のプロセスにおいてより多くの画像情報を取得することによって、撮影して品質のより高い画像を得るように、露出時間を長く設定することができる。
【０１７９】
ステップ７０３、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定する。
【０１８０】
本開示の実施例において、撮影シーンの輝度情報は、撮影モジュール内の測光モジュールを用いて測光して得ることができ、撮影シーンの照度であってもよく、プレビュー画像の輝度情報によって得られるものであってもよく、ここで限定されない。
【０１８１】
具体的に、露出量は絞り、露出時間および感光度と関連付けられている。絞りは即ちアパーチャであり、単位時間内に光が通過する量を決定する。複数フレームの収集対象画像の露出時間が決定され、かつ絞りの大きさが同じである場合、撮影シーンの輝度情報に基づいて各フレームの収集対象画像に対応する露出量を決定した後、各フレームの収集対象画像の露出時間に基づいて、各フレームの収集対象画像の感光度を決定することができる。
【０１８２】
ステップ７０４、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集する。
【０１８３】
本開示の実施例では、複数フレームの収集対象画像の感光度および露出時間を決定した後、各フレームの収集対象画像の感光度および露出時間に基づいて画像を収集するように撮影モジュールを制御し、ここで具体的な説明を省略する。
【０１８４】
なお、露出時間によって複数フレームの収集対象画像の感光度を低い値に限定する際には、複数フレームの画像のノイズを低減することに寄与するだけではなく、感光度の向上により、収集された複数フレームの画像のノイズが増加するという技術的課題を回避する。
【０１８５】
ステップ７０５、目標画像を生成するように、収集された複数フレームの画像を合成する。
【０１８６】
本開示の実施例では、ステップ７０５の実現プロセスは、上記実施例のステップ１０５の実現プロセスを参照されたいので、ここで説明を省略する。
【０１８７】
本開示の実施例の夜景撮影方法は、撮影モジュールのブレの度合いを取得することにより、ブレの度合いに基づいて、露出時間を調整し、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、露出時間が決定された後、撮影シーンの輝度情報および露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【０１８８】
図８に記載の実施例をもとに、１つの可能なシーンでは、上記ステップ７０２において、各フレームの収集対象画像の露出時間を決定して、異なるダイナミックレンジの画像を得て、合成された画像がより高いダイナミックレンジを有し、画像全体の輝度および品質を向上させるように、ブレの度合いに基づいて各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間を決定することもできる。
【０１８９】
以下、図９と併せて上記プロセスを詳しく説明する。図９は本開示の実施例が提供する第９の夜景撮影方法のフローチャートである。図９に示すように、ステップ７０２は具体的に以下をさらに含んでも良い。
【０１９０】
ステップ８０１、ブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定する。
【０１９１】
露出補正は、露出の制御方法の１つであり、電子機器を介して被写体を測光した後、得られたシャッターと絞りとを組み合わせたパラメータであり、さらに露出補正によって今回の測光によって得られたシャッター速度を人為的に変更する。露出補正レベルは高補償レベルと、高補償レベルより低い低補償レベルと、高補償レベルおよび低補償レベルの間の移行レベルとを含む。
【０１９２】
本開示の実施例では、撮影モジュールの現在のブレの度合いが異なれば、複数フレームの収集対象画像に対応する露出補正レベルは異なり、異なる露出補正レベルに対応する露出時間も異なる。そのため、各露出補正レベルと露出時間との対応関係を確立するように、ブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定することができる。
【０１９３】
例えば、撮影モジュールのブレの度合いを「ブレなし」とし、対応する露出補正レベルのＥＶ値の範囲を−６〜２に予め設定し、隣接するＥＶ値の間の差を０．５とするとともに、より長い露出時間を設定したり、撮影モジュールのブレの度合いを「微ブレ」とし、対応する露出補正レベルのＥＶ値の範囲を−５〜１に予め設定し、隣接するＥＶ値の間の差を１とするとともに、より短い露出時間を設定したりすることができる。
【０１９４】
ステップ８０２、ブレの度合いに基づいて、露出補正モードを調整する。
【０１９５】
露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる。
【０１９６】
なお、撮影モジュールの現在のブレの度合いが異なれば、決定された収集対象画像の数は異なってもよく、収集対象画像の数が異なる場合、異なる露出補正モードを用いる必要がある。そのため、本開示の実施例の１つの可能な実現形態では、撮影モジュールの現在のブレの度合いに基づいて、現在の収集対象画像の数のフレーム数および各フレームの収集対象画像の設定された露出補正モードを決定するように、撮影モジュールのブレの度合いと露出補正モードとのマッピング関係を確立することができる。
【０１９７】
例えば、撮影モジュールのブレの度合いを「ブレなし」とし、対応する露出補正モードのＥＶ値の範囲を−６〜２に予め設定し、隣接するＥＶ値の間の差を０．５としたり、撮影モジュールのブレの度合いを「微ブレ」とし、対応する露出補正モードのＥＶ値の範囲を−５〜１に予め設定し、隣接するＥＶ値の間の差を１としたりするなどができる。
【０１９８】
一つの可能な実現形態として、撮影モジュールのブレの度合いおよび手ブレ防止性能と併せて露出補正モードを調整するように、撮影モジュールの手ブレ防止性能を先に決定してもよい。
【０１９９】
なお、撮影モジュールの手ブレ防止性能が撮影モジュール内の各部品の属性情報と一定の関係を持つため、撮影モジュール内の各部品の属性情報に基づいて撮影モジュールの手ブレ防止性能を決定することができ、従って撮影モジュールのブレの度合いおよび手ブレ防止性能を組み合わせて露出補正モードを調整する。
【０２００】
例えば、撮影モジュール内の光学部品が光学式手ブレ防止のように配置される場合、予め設定された時間範囲を適当に拡大することができ、光学式手ブレ防止機能を実現できる撮影モジュールは、撮影時に振れると、その自身が一部のブレを相殺することができるため、光学式手ブレ防止を実現できない撮影モジュールと比べて、同じブレの度合いの下で、光学式手ブレ防止機能を実現できる撮影モジュールが収集した画像内のゴーストおよびピンぼけの度合いは小さい。そのため、光学式手ブレ防止を実現できない撮影モジュールと比べて、より品質の高い画像を得るように、予め設定された時間範囲、特に時間範囲の上限を適当に拡大してもよい。
【０２０１】
もう１つの可能な実現形態として、撮影モジュールのブレの度合いに基づいて収集対象画像のフレーム数を調整することができ、さらに、撮影モジュールは各フレームの露出補正モードを調整するように、収集された画像に顔が含まれているか否かを検出する。
【０２０２】
なお、収集対象画像のフレーム数および収集された画像の感光度が全体の撮影時間に影響し、撮影時間が長すぎると、手持ち撮影時の撮影モジュールのブレの度合いが大きくなる可能性があり、さらには画像の品質に影響する。即ち、収集対象画像のフレーム数とブレの度合いとは逆関係を持つ。そのため、撮影時間を適切な範囲内に制御するように、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像のフレーム数を調整することができる。
【０２０３】
具体的に、撮影モジュールの現在のブレの度合いが小さい場合、各フレームの画像のノイズを効果的に抑制して、撮影画像の品質を向上させるように、より多くのフレームの画像を収集してもよく、撮影モジュールの現在のブレの度合いが大きい場合、撮影時間を短縮するように、より少ないフレームの画像を収集してもよい。
【０２０４】
例えば、撮影モジュールの現在のブレの度合いが「ブレなし」であると決定する場合、現在が三脚撮影モードである可能性があると決定することができ、この時、品質のより高い画像をできる限り取得するように、より多くのフレームの画像を収集してもよく、例えば、収集対象画像の数を１７フレームに決定する。撮影モジュールの現在のブレの度合いが「微ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、より少ないフレームを収集してもよく、例えば、収集対象画像の数を７フレームに決定する。撮影モジュールの現在のブレの度合いが「弱ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らしてもよく、例えば、収集対象画像の数を５フレームに決定する。撮影モジュールの現在のブレの度合いが「強ブレ」であると決定する場合、現在のブレの度合いが大きすぎると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らすか、または複数フレームの画像を収集する方式を用いずに撮影してもよく、例えば、収集対象画像を３フレームに決定する。
【０２０５】
なお、上記例は例示に過ぎず、本開示を限定するものではない。実際の適用では、撮影モジュールのブレの度合いが変化すると、最適な解決案を得るように、収集対象画像のフレーム数を変えることができる。撮影モジュールのブレの度合いと収集対象画像のフレーム数とのマッピング関係は、実際の必要に応じて予め設定することができる。
【０２０６】
本開示の実施例では、被写体に顔が含まれているか否かは顔認識技術によって決定することができる。顔認識技術は、顔の視覚的特徴情報を分析および比較することによって身分認識を行い、生体認証技術に属しており、生体（一般的に人を指す）自身の生物学的特性に対して生体個体を区別するものである。現在、顔認識技術は、デジタルカメラのフェイスオートフォーカスやスマイルシャッター技術、企業、住宅の安全と管理、入退室管理システム、およびカメラ監視システムなど、数多くの分野に適用されている。よく用いられる顔認識アルゴリズムは、顔特徴点に基づく認識アルゴリズム（Ｆｅａｔｕｒｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、顔全体画像に基づく認識アルゴリズム（Ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、テンプレートに基づく認識アルゴリズム（Ｔｅｍｐｌａｔｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、ニューラルネットワークを用いる認識アルゴリズム（Ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ  ｕｓｉｎｇ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）などを含む。
【０２０７】
なお、撮影モジュールの現在収集している画像に顔が含まれていること検出した場合、撮影モジュールの測光モジュールは自動的に顔の領域を主として測光を行い、顔の領域の測光結果に基づいて基準露出量を決定する。しかしながら、夜景モードでは、顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高くなり、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、目標画像の効果が悪くなる。そのため、同じブレの度合いに対して、撮影モジュールが収集した画像に顔が含まれている場合は、顔が含まれていない場合と比べて、対応する露出補正モードがより低い露出補正範囲を有する必要がある。
【０２０８】
１つの可能なシーンでは、収集された画像に顔が含まれていることを検出する場合、露出補正モードが調整後のフレーム数に適合する第１のモードであると決定する。
【０２０９】
もう１つの可能なシーンでは、収集された画像に顔が含まれていない場合、露出補正モードが調整後のフレーム数に適合する第２のモードであると決定する。
【０２１０】
第２のモードに対応する露出補正レベルの値の範囲が、第１のモードに対応する露出補正レベルの値の範囲より大きい。
【０２１１】
本開示の実施例の１つの可能な実現形態では、同じブレの度合いに対して、撮影モジュールの現在収集している画像に顔が含まれているか否かに基づいて、異なる露出補正策を用いることができる。そのため、同じブレの度合いに対しては、複数の露出補正モードに対応することができる。例えば、撮影モジュールのブレの度合いが「微ブレ」である場合、対応する予め設定された露出補正モードは第１のモードおよび第２のモードがあり、第１のモードに対応する各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、第２のモードに対応する各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］である。撮影モジュールの現在のブレの度合い、および撮影モジュールの現在収集している画像に顔が含まれているか否かが決定されると、現在の実際の状況に適合する予め設定された露出補正モードを決定することができる。
【０２１２】
例えば、撮影モジュールの現在のブレの度合いが「微ブレ」であるとすると、対応する予め設定された露出補正モードは第１のモードおよび第２のモードがあり、第１のモードに対応する各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、第２のモードに対応する各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］であり、以上から分かるように、第１のモードの露出補正範囲は第２のモードの露出補正範囲より小さい。撮影モジュールの現在収集している画像に顔が含まれていることを検出した場合、予め設定された露出補正モードが調整後のフレーム数に適合する第１のモードであると決定し、即ち各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、撮影モジュールの現在収集している画像に顔が含まれていないことを検出した場合、予め設定された露出補正モードが調整後のフレーム数に適合する第２のモードであると決定し、即ち各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］である。
【０２１３】
ステップ８０３、各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間に基づいて、各フレームの収集対象画像の露出時間を決定する。
【０２１４】
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間を決定した後、各フレームの収集対象画像の露出時間を決定することができる。
【０２１５】
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定し、および露出補正モードを調整し、従って、各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間に基づいて、各フレームの収集対象画像の露出時間を決定する。以上により、異なる露出時間で複数フレームの画像を収集することにより、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらし、ブレによって画面ピンぼけが発生し、および撮影時間が長すぎるという状況を回避する。
【０２１６】
図８に記載の実施例をもとに、一つの実現可能なシーンでは、ステップ７０３における撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するステップを実行した後、感光度が最大感光度より高い収集対象画像の感光度を低下させるように、決定された各フレームの収集対象画像の感光度を設定された最大感光度と比較する。画像を収集するプロセスにおいて、感光度の値が高いことによって引き起こされる画像ノイズの増加という技術的課題が回避される。以下、図１０と併せて上記プロセスを詳しく説明する。図１０に示すように、ステップ７０３の後は以下をさらに含んでも良い。
【０２１７】
ステップ９０１、撮影モジュールのブレの度合いに基づいて、最大感光度を決定する。
【０２１８】
具体的に、ブレの度合いを決定するために、電子機器内に配置される変位センサに基づいて変位情報を収集することができ、さらには、収集された電子機器の変位情報に基づいて、撮影モジュールのブレの度合いを決定する。各フレームの収集対象画像の予め設定された感光度が異なる場合、撮影モジュールのブレの度合いに基づいて、各フレームの収集対象画像の最大感光度を決定することができる。
【０２１９】
一つの可能な実現形態として、撮影モジュールのブレの度合いを決定した後、ブレの度合いに基づいて最大感光度を決定するように、撮影モジュールのブレの度合いと予め設定されたブレのしきい値とを比較することができる。ブレのしきい値は、ブレの度合いを判断する値である。
【０２２０】
１つの可能な場合として、撮影モジュールのブレの度合いを決定した後、決定された撮影モジュールのブレの度合いがブレのしきい値以上である。この場合、最大感光度が第１の感光値であると決定する。
【０２２１】
なお、撮影モジュールのブレの度合いが大きい場合、感光値を８００に決定するなど、感光度を向上させることによって、撮影時間を短縮することができることを理解されたい。
【０２２２】
もう１つの可能な場合として、撮影モジュールのブレの度合いを決定した後、決定された撮影モジュールのブレの度合いがブレのしきい値より小さい。この場合、最大感光度が第２の感光値であると決定する。
【０２２３】
第１の感光値は第２の感光値より高く、第１の感光値は第２の感光値の予め設定された倍数であり、予め設定された倍数の値が２以上である。
【０２２４】
例えば、より低いノイズを得るために、第２の感光値はイメージングデバイスの最低感光度であってもよく、即ち第２の感光値の値は１００ＩＳＯである。これに対応して、第１の感光値の範囲は２００、４００、８００またはそれ以上であってもよい。
【０２２５】
なお、撮影モジュールのブレの度合いが小さい場合、感光度を１００に決定するなど、より小さい感光度を設定することによって、品質のより高い画像をできる限り取得することができる。
【０２２６】
ステップ９０２、各フレームの収集対象画像の感光度を設定された最大感光度と比較する。
【０２２７】
本開示の実施例では、撮影シーンの輝度情報および露出時間によって各フレームの収集対象画像の感光度が決定されると、各フレームの収集対象画像の感光度を調整するように、各フレームの収集対象画像の感光度を設定された最大感光度と比較することにより、収集された各フレームの画像のノイズを低減することに役立ち、感光度向上時に引き起こされる画像ノイズの増加という状況を回避する。
【０２２８】
ステップ９０３、収集対象画像に感光度が最大感光度より高い第１の画像が存在する場合、最大感光度に基づいて、第１の画像の感光度を低下させる。
【０２２９】
本実施例では、収集対象画像において、対応する感光度が最大感光度より高い状況が存在する場合、画像を撮影するプロセスに多くのノイズが導入されることになる可能性があり、撮影して最終的に得られた画像内のノイズが酷くなる。
【０２３０】
そのため、各フレームの収集対象画像の感光度を決定した後、収集対象画像に感光度が最大感光度より高い第１の画像が存在するか否かを判断するように、各フレームの収集対象画像の感光度を最大感光度と比較することができる。
【０２３１】
１つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値以上である場合、決定された収集対象画像内の感光度を最大感光度と比較し、収集対象画像に感光度が最大感光度より高い第１の画像が存在する場合、最大感光度に基づいて、第１の画像の感光度を低下させる。この時、最大感光度は第１の感光値である。
【０２３２】
もう１つの可能な状況として、撮影モジュールのブレの度合いがブレのしきい値より小さい場合、決定された収集対象画像の感光度を最大感光度と比較し、収集対象画像において第１の画像に対応する感光度が最大感光度より高い状況が存在する場合、最大感光度に基づいて、第１の画像の感光度を低下させる。この時、最大感光度は第２の感光値である。
【０２３３】
ステップ９０４、第１の画像の低減前の感光度と低減後の感光度との比の値に基づいて、第１の画像の露出時間を延長する。
【０２３４】
具体的に、露出量が感光度と露出時間との積であるため、第１の画像の露出量が決定されると、撮影画像の輝度を維持するように、第１の画像の低減前の感光度と低減後の感光度との比の値に基づいて、第１の画像の露出時間を延長することができる。
【０２３５】
以上により、該フレームの収集対象画像の露出時間を更新することによって、露出量を確保すると共に、画像の輝度を向上させ、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらすことを回避する。
【０２３６】
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、最大感光度を決定し、各フレームの収集対象画像の感光度を設定された最大感光度と比較し、収集対象画像に感光度が最大感光度より高い第１の画像が存在する場合、最大感光度に基づいて、第１の画像の感光度を低下させ、第１の画像の低減前の感光度と低減後の感光度との比の値に基づいて、第１の画像の露出時間を延長する。以上により、収集対象画像における感光度が最大感光度より高い画像の感光度を最大感光度まで低減することによって、感光度が高いため、撮影された画像に多くのノイズが導入されて、最終的に撮影された画像にピンぼけが発生するという現象を回避する。
【０２３７】
図８に記載の実施例をもとに、もう１つの実現可能なシーンでは、ステップ７０３における撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するステップを実行した後、最低感光度に基づいて、収集対象画像に存在する、感光度が最低感光度より低い第２の画像の感光度を調整するように、各フレームの収集対象画像の感光度を最低感光度と比較する。以下、図１１と併せて上記プロセスを詳しく説明する。図１１は本開示の実施例が提供する第１１の夜景撮影方法のフローチャートである。図１１に示すように、ステップ７０３の後は以下のステップをさらに含む。
【０２３８】
ステップ１００１、各フレームの収集対象画像の感光度を設定された最低感光度と比較する。
【０２３９】
最低感光度は、撮影モジュール内のセンサの光に対する感度に基づいて決定されるものであり、例えば、８０とすることができる。
【０２４０】
本開示の実施例では、各フレームの収集対象画像の感光度は、撮影モジュールのブレの度合いによって決定される露出時間によって決定されるものであり、具体的な実現プロセスは上記実施例のステップ７０３の実現プロセスを参照されたいので、ここで説明を省略する。
【０２４１】
撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定した後、最低感光度に基づいて、最低感光度より低い感光度を調整するように、各フレームの収集対象画像の感光度を設定された最低感光度と比較する。
【０２４２】
ステップ１００２、収集対象画像に感光度が最低感光度より小さい第２の画像が存在する場合、最低感光度に基づいて、第２の画像の感光度を向上させる。
【０２４３】
本開示の実施例では、収集対象画像に感光度が最低感光度より低い第２の画像が存在する場合、夜景で撮影される画像にピンぼけという現象が発生する可能性がある。そのため、特定のフレームの収集対象画像に対応する感光度が最低感光度より低い場合、該フレームの収集対象画像に対応する感光度を最低感光度まで向上させる。
【０２４４】
夜景シーンにおいて画像を収集する場合、露出量を一定とすると感光度が低く、露出時間を長くする必要があるため、全体の撮影時間が延長され、撮影モジュールのブレの度合いが大きくなり、最終的に撮影された画像においてブレによるゴーストや画像の明らかなピンぼけが現れる可能性がある。そのため、収集対象画像に感光度が最低感光度より低い第２の画像が存在する場合、第２の画像に対応する感光度を最低感光度に向上させる。
【０２４５】
ステップ１００３、第２の画像の増加後の感光度と増加前の感光度との比を決定する。
【０２４６】
例えば、予め設定された最低感光度が８０、第２の画像の増加前の感光度が２０、第２の画像の増加後の感光度が８０である場合、第２の画像の増加後の感光度と増加前の感光度との比が８／２であると決定することができる。
【０２４７】
ステップ１００４、感光度が最低感光度以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。
【０２４８】
具体的に、感光度が最低感光度以上である残りの各フレームの収集対象画像に対して、最低感光度より低い収集対象画像の更新後の感光度と更新前の感光度との間の比を決定した後、該比と残りの各フレームの収集対象画像の更新前の感光度または露出時間との積を、残りの各フレームの収集対象画像の更新後の感光度または露出時間とする。
【０２４９】
露出時間に対する更新方法は感光度の更新方法と類似するものであり、感光度を露出時間に置き換えるだけでよい。しかしながら、前記最低感光度より短い収集対象画像の更新後の感光度と更新前の感光度との比の値に基づいて、露出時間および感光度のいずれか一方のみ更新することができ、露出時間および感光度を同時に更新する必要がある場合、重みに応じて該比を割り当てた後に更新する必要があることを留意されたい。例えば、露出時間および感光度にそれぞれ半分の重みが付けられている場合に対して、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比がＲである場合、露出時間を従来のＲ／２倍に延長し、感光度を従来のＲ／２倍に向上させる。
【０２５０】
本開示の実施例では、各フレームの収集対象画像の感光度を設定された最低感光度と比較し、収集対象画像に感光度が最低感光度より小さい第２の画像が存在する場合、最低感光度に基づいて、第２の画像の感光度を向上させ、第２の画像の増加後の感光度と増加前の感光度との比を決定し、感光度が最低感光度以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。以上により、各フレームの収集対象画像の感光度が決定され、最低感光度に基づいて各フレームの収集対象画像の感光度および露出時間を更新し、最終的に、更新された各フレームの収集対象画像の露出時間および感光度に基づいて、露出制御を行い、さらにはイメージングを行い、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０２５１】
本開示の実施例の更なる可能な実現形態として、夜景撮影時に、撮影モジュールのブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集することもできる。以下、図１２と併せて上記プロセスを詳しく説明する。図１２に示すように、該方法は撮影モジュールに適用され、具体的に以下のステップを含む。
【０２５２】
ステップ１１０１、撮影モジュールのブレの度合いを取得する。
【０２５３】
本開示の実施例では、ステップ１１０１の実現プロセスは、前記実施例のステップ１０１の実現プロセスを参照されたいので、ここで説明を省略する。
【０２５４】
ステップ１１０２、ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整する。
【０２５５】
撮影シーンの輝度情報は、撮影モジュール内の測光モジュールを用いて測光して得ることができ、撮影シーンの照度であってもよく、プレビュー画像の輝度情報によって得られるものであってもよく、ここで限定されない。
【０２５６】
具体的に、ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および感光度を順次調整することができ、露出時間および感光度を同時に調整してもよい。
【０２５７】
第１の可能な実現形態として、露出時間および感光度を同時に調整することができる。まず、前記撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計を検索して、対応する収集対象画像の露出時間および感光度を得る。さらに、前記ブレの度合いに基づいて、対応する収集対象画像の感光度が前記ブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整する。露出計に異なる撮影シーンの輝度情報に対応する露出パラメータが記録されている。露出パラメータは絞りパラメータ、露出補正レベル、露出時間および感光度などを含む。撮影モジュールのブレの度合いを決定した後、ブレの度合いに基づいて感光度しきい値を決定するように、撮影モジュールのブレの度合いを予め設定されたブレのしきい値と比較することができる。ブレのしきい値は、ブレの度合いを判断する値である。
【０２５８】
なお、撮影モジュールのブレの度合いに基づいて、露出補正モードを調整するステップの具体的な実現プロセスは、前記実施例を参照されたいので、ここで説明を省略する。
【０２５９】
本実施例では、露出計を検索することによって、各フレームの収集対象画像の露出時間および感光度を得た後、ブレの度合いに基づいて、対応する収集対象画像の感光度がブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整する。以上により、画像を収集する際に、感光度が高いため撮影された画像にノイズが多く、さらには最終的に撮影された画像にピンぼけという現象が現れることを回避する。
【０２６０】
第２の可能な実現形態として、露出時間を先に決定して、その後に感光度を決定しても良い。まず、撮影モジュールのブレの度合いを取得し、前記ブレの度合いに基づいて、露出時間を調整する。さらに、撮影シーンの輝度情報および前記露出時間に基づいて、複数フレームの収集対象画像の感光度を決定する。具体的な実現形態は図８に対応する実施例を参照されたいので、本実施例では説明を省略する。
【０２６１】
第３の可能な実現形態として、感光度を先に決定して、その後に露出時間を決定しても良い。まず、前記撮影モジュールのブレの度合いを取得する。さらに、前記ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定する。具体的な実現形態は図１に対応する実施例を参照されたいので、本実施例では説明を省略する。
【０２６２】
ステップ１１０３、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集する。
【０２６３】
ステップ１１０４、目標画像を生成するように、収集された複数フレームの画像を合成する。
【０２６４】
本開示の実施例では、ステップ１１０３およびステップ１１０４の実現プロセスは、それぞれ前記実施例のステップ１０１およびステップ１０５の実現プロセスを参照されたいので、ここで説明を省略する。
【０２６５】
本開示の実施例では、撮影モジュールのブレの度合いを取得することにより、ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【０２６６】
図１２に記載の実施例をもとに、１つの可能なシーンでは、ステップ１１０２におけるブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップを実行した後、露出時間が最大時間より長い収集対象画像の露出時間を短縮するように、決定された露出時間を、撮影モジュールのブレの度合いに基づいて決定された最大時間と比較することができ、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらし、ブレが画面ピンぼけを引き起こし、および撮影時間が長すぎるという状況を回避する。以下、図１３と併せて上記プロセスを詳しく説明する。図１３に示すように、ステップ１１０２の後は以下のステップをさらに含む。
【０２６７】
ステップ１２０１、ブレの度合いに基づいて、最大時間を決定する。
【０２６８】
１つの可能な場合として、ブレの度合いを決定するために、イメージングデバイス内に配置される変位センサを介して変位情報を収集し、さらに、収集されたイメージングデバイスの変位情報に基づいて、撮影モジュールのブレの度合いを決定することができる。さらに、決定された撮影モジュールのブレの度合いに基づいて予め設定されたブレのしきい値と比較することによって、最大露出時間を決定する。
【０２６９】
１つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値以上である場合、現在の撮影シーンにおける各フレームの収集対象画像の最大露出時間が第１の時間であると決定する。ブレのしきい値は、イメージングデバイスにおいて予め設定された、予め設定された感光度の値を決定するためのブレ値である。
【０２７０】
なお、撮影モジュールのブレの度合いが大きい場合、露出時間を短く設定することにより、全体の撮影時間が延長され、イメージングデバイスのブレの度合いが大きくなることを引き起こす恐れがあるため、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけという状況が現れる可能性があることを理解されたい。
【０２７１】
もう一つの可能な場合として、イメージングデバイスのブレの度合いがブレのしきい値より小さい場合、現在の撮影シーンにおける各フレームの収集対象画像の最大露出時間が第２の時間であると決定する。
【０２７２】
なお、撮影モジュールのブレの度合いが小さい場合、撮影して品質のより高い画像を得るように、より長い露出時間を設定することができることを理解されたい。
【０２７３】
第１の時間は第２の時間より短く、第１の時間の値の範囲は１５０ｍｓ〜３００ｍｓであり、第２の時間の値の範囲は４．５ｓ〜５．５ｓである。
【０２７４】
ステップ１２０２、各フレームの収集対象画像の露出時間を設定された最大時間と比較する。
【０２７５】
本開示の実施例では、各フレームの収集対象画像の露出時間は、撮影シーンの輝度情報に基づいて、露出計を検索することによって決定可能であり、具体的な実現プロセスは上記実施例のステップ１１０２の実現プロセスを参照されたいので、ここで説明を省略する。
【０２７６】
撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計を検索して、対応する集対象の画像の露出時間を得た後、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらすという状況を回避するように、各フレームの収集対象画像の露出時間を設定された最大時間と比較する。
【０２７７】
ステップ１２０３、収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、最大時間に基づいて、第１の画像の露出時間を短縮する。
【０２７８】
ステップ１２０４、第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させる。
【０２７９】
本開示の実施例では、ステップ１２０３およびステップ１２０４の具体的な実現プロセスは、前記実施例のステップ５０３およびステップ５０４の実現プロセスを参照されたいので、ここで贅言しない。
【０２８０】
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、最大時間を決定することによって、各フレームの収集対象画像の露出時間を設定された最大時間と比較し、収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、最大時間に基づいて、第１の画像の露出時間を短縮し、第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させる。以上により、収集対象画像の露出時間が最大時間より長い画像の露出時間を最大時間に短縮することによって、露出時間が長すぎて全体の撮影時間が延長され、撮影モジュールのブレの度合いが大きくなって、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけが現れることを回避する。
【０２８１】
図１２に記載の実施例をもとに、１つの可能なシーンでは、ステップ１１０２におけるブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップを実行した後、最短露出時間に基づいて最短時間より短い露出時間を調整するように、決定された露出時間を、撮影モジュールのブレの度合いに基づいて決定された最短時間と比較する。以下、図１４と併せて上記プロセスを詳しく説明する。図１４に示すように、ステップ１１０２の後は以下のステップをさらに含む。
【０２８２】
ステップ１３０１、各フレームの収集対象画像の露出時間を設定された最短時間と比較する。
【０２８３】
本開示の実施例では、各フレームの収集対象画像の露出時間は、撮影シーンの輝度情報に基づいて露出計を検索することによって決定可能であり、具体的な実現プロセスは上記実施例のステップ１１０２の実現プロセスを参照されたいので、ここで説明を省略する。
【０２８４】
基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、最短時間に基づいて、最短時間より短い露出時間を調整するように、各フレームの収集対象画像の露出時間を設定された最短時間と比較する。最短時間は１０ｍｓ以上である。
【０２８５】
なお、最短露出時間もまた撮影モジュールのブレの度合いに基づいて決定され、具体的な実現プロセスは上記実施例のステップ１２０１の実現プロセスを参照されたいので、ここで説明を省略する。
【０２８６】
ステップ１３０２、収集対象画像に露出時間が最短時間より短い第２の画像が存在する場合、最短時間に基づいて、第２の画像の露出時間を延長する。
【０２８７】
本開示の実施例では、収集対象画像に対応する露出時間が最短時間の画像より短い場合、画像内のノイズが大きすぎて除去が困難になる恐れがある。そのため、特定フレームの収集対象画像に対応する露出時間が最短時間より短い場合、該フレームの収集対象画像に対応する露出時間を最短時間まで延長する。
【０２８８】
ステップ１３０３、第２の画像の延長後の露出時間と延長前の露出時間との比を決定する。
【０２８９】
例えば、予め設定された最短時間が１０ｍｓであり、第２の画像の延長前の露出時間が８ｍｓである場合、第２の画像の露出時間を予め設定された最短時間の１０ｍｓまで延長すると、第２の画像の延長後の露出時間と延長前の露出時間との比が１０／８であると決定することができる。
【０２９０】
ステップ１３０４、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。
【０２９１】
具体的に、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、最短時間より短い収集対象画像の更新後の露出時間と、更新前の露出時間との比が決定されると、該比と残りの各フレームの収集対象画像の更新前の感光度または露出時間との積を、残りの各フレームの収集対象画像の更新後の感光度または露出時間とする。
【０２９２】
なお、感光度の更新方法は露出時間の更新方法と類似するものであり、露出時間を感光度に置き換えるだけでよい。しかしながら、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比の値に基づいて、露出時間および感光度のいずれか一方のみ更新することができ、露出時間および感光度を同時に更新する必要がある場合、重みに応じて該比を割り当てた後に更新する必要があることを留意されたい。例えば、露出時間および感光度にそれぞれ半分の重みが付けられている場合に対して、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比がＲである場合、露出時間を従来のＲ／２倍に延長し、感光度を従来のＲ／２倍に向上させる。
【０２９３】
本開示の実施例では、ブレの度合いに基づいて、対応する収集対象画像の感光度がブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整した後、各フレームの収集対象画像の露出時間を設定された最短時間と比較し、収集対象画像に露出時間が最短時間より短い第２の画像が存在する場合、最短時間に基づいて、第２の画像の露出時間を延長し、第２の画像の延長後の露出時間と延長前の露出時間との比を決定し、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。以上により、各フレームの収集対象画像の露出時間が決定され、最短露出時間に基づいて各フレームの収集対象画像の感光度および露出時間を更新し、最終的に、更新された各フレームの収集対象画像の露出時間および感光度に基づいて、露出制御を行い、さらにはイメージングを行い、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０２９４】
上記実施例を実現するために、本開示は夜景撮影装置をさらに提供する。
【０２９５】
図１５は本開示の実施例が提供する夜景撮影装置の構造概略図である。
【０２９６】
図１５に示すように、該夜景撮影装置１００は、撮影モジュールに適用され、取得モジュール１１０、調整モジュール１２０、決定モジュール１３０、収集モジュール１４０および生成モジュール１５０を含む。
【０２９７】
取得モジュール１１０は、撮影モジュールのブレの度合いを取得することに用いられ、
調整モジュール１２０は、ブレの度合いに基づいて、基準感光度を調整することに用いられ、
決定モジュール１３０は、撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定することに用いられ、
収集モジュール１４０は、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集することに用いられ、
生成モジュール１５０は、目標画像を生成するように、収集された複数フレームの画像を合成することに用いられる。
【０２９８】
一つの可能な実現形態として、決定モジュール１３０は、
撮影シーンの輝度情報に基づいて、基準露出量を決定するための第１の決定ユニットと、
基準露出量および基準感光度に基づいて、基準露出時間を決定するための第２の決定ユニットと、
各フレームの収集対象画像の設定された露出補正レベルに基づいて、基準露出時間を補正して各フレームの収集対象画像の露出時間を得るための露出補正ユニットと、を含む。
【０２９９】
もう１つの可能な実現形態として、決定モジュール１３０は、
ブレの度合いに基づいて、露出補正モードを調整するための第３の決定ユニットをさらに含む。
【０３００】
露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる。
【０３０１】
もう１つの可能な実現形態として、第３の決定ユニットは、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整し、前記撮影モジュールが収集した画像に顔が含まれているか否かを検出し、顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第１のモードであると決定し、顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第２のモードであると決定することに用いられる。前記第２のモードの露出補正レベルの値の範囲が前記第１のモードの露出補正レベルの値の範囲より大きい。
【０３０２】
もう１つの可能な実現形態として、前記収集対象画像のフレーム数と前記ブレの度合いとは逆関係を持つ。
【０３０３】
もう１つの可能な実現形態として、調整モジュール１２０は、
ブレの度合いがブレのしきい値以上である場合、基準感光度が第１の感光値であると決定するための第１の調整ユニットと、
ブレの度合いがブレのしきい値より小さい場合、基準感光度が第２の感光値であると決定するための第２の調整ユニットと、を含み、第１の感光値が第２の感光値より高い。
【０３０４】
もう１つの可能な実現形態として、第１の感光値は第２の感光値の予め設定された倍数であり、予め設定された倍数の値が２以上である。第２の感光値は撮影モジュールの最低感光度である。
【０３０５】
もう１つの可能な実現形態として、夜景撮影装置１００は、
各フレームの収集対象画像の露出時間を設定された最大時間と比較するための第１の比較モジュールと、
収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、第１の画像の露出時間を最大時間まで短縮するための露出時間短縮モジュールと、をさらに含む。
【０３０６】
もう１つの可能な実現形態として、夜景撮影装置１００は、
撮影モジュールのブレの度合いに基づいて、前記最大時間を決定するための最大時間決定モジュールをさらに含む。
【０３０７】
もう１つの可能な実現形態として、最大時間決定モジュールは、
ブレの度合いがブレのしきい値以上である場合、最大時間が第１の時間であると決定するための第５の決定ユニットと、
ブレの度合いがブレのしきい値より小さい場合、最大時間が第２の時間であると決定するための第６の決定ユニットと、を含み、第１の時間が第２の時間より短い。
【０３０８】
もう１つの可能な実現形態として、第１の時間の値の範囲は１５０ｍｓ〜  ３００ｍｓであり、前記第２の時間の値の範囲は４．５ｓ〜５．５ｓである。
【０３０９】
もう１つの可能な実現形態として、夜景撮影装置１００は、
第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させるための感光度向上モジュールをさらに含む。
【０３１０】
もう１つの可能な実現形態として、夜景撮影装置１００は、
各フレームの収集対象画像の露出時間を設定された最短時間と比較するための第２の比較モジュールと、
収集対象画像に露出時間が最短時間より短い第２の画像が存在する場合、第２の画像の露出時間を最短時間まで延長するための露出時間延長モジュールと、をさらに含む。
【０３１１】
もう１つの可能な実現形態として、夜景撮影装置１００は、
第２の画像の延長後の露出時間と延長前の露出時間との比を決定するための比率決定モジュールと、
露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新するための更新モジュールと、をさらに含む。
【０３１２】
もう１つの可能な実現形態として、更新モジュールは、
露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比と前記残りの各フレームの収集対象画像の更新前の感光度との積を、前記残りの各フレームの収集対象画像の更新後の感光度とすることに用いられ、
または、露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比と前記残りの各フレームの収集対象画像の更新前の露出時間との積を、前記残りの各フレームの収集対象画像の更新後の露出時間とすることに用いられる。
【０３１３】
もう１つの可能な実現形態として、更新モジュールはさらに、残りの各フレームの収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、最大時間に基づいて、第１の画像の露出時間を短縮したり、第１の画像の短縮前後の露出時間の比の値に基づいて、第１の画像の感光度を向上させたりすることに用いられても良い。
【０３１４】
もう１つの可能な実現形態として、最短時間は１０ｍｓ以上である。
【０３１５】
本開示の実施例の夜景撮影装置は、撮影モジュールのブレの度合いを取得することによって、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、各フレームの収集対象画像の基準感光度および露出時間に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【０３１６】
上記実施例を実現するために、本開示はもう１つの夜景撮影装置を提供する。
【０３１７】
図１６は本開示の実施例が提供するもう１つの夜景撮影装置の構造概略図である。
【０３１８】
図１６に示すように、該夜景撮影装置２００は、撮影モジュールに適用され、取得モジュール２１０、調整モジュール２２０、決定モジュール２３０、収集モジュール２４０および生成モジュール２５０を含む。
【０３１９】
取得モジュール２１０は、撮影モジュールのブレの度合いを取得することに用いられ、
調整モジュール２２０は、ブレの度合いに基づいて、露出時間を調整することに用いられ、
決定モジュール２３０は、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定することに用いられ、
収集モジュール２４０は、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集することに用いられ、
生成モジュール２５０は、目標画像を生成するように、収集された複数フレームの画像を合成することに用いられる。
【０３２０】
一つの可能な実現形態として、調整モジュール２２０は、
ブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定するための第１の調整ユニットと、
各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間に基づいて、各フレームの収集対象画像の露出時間を決定するための第２の調整ユニットと、を含む。
【０３２１】
もう１つの可能な実現形態として、調整モジュール２２０は、
ブレの度合いに基づいて、露出補正モードを調整するための第３の調整ユニットをさらに含んでもよい。
【０３２２】
露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる。
【０３２３】
もう１つの可能な実現形態として、第３の調整ユニットは具体的に、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整し、
前記撮影モジュールが収集した画像に顔が含まれているか否かを検出し、
顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第１のモードであると決定し、
顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第２のモードであると決定することに用いられ、
前記第２のモードの露出補正レベルの値の範囲は前記第１のモードの露出補正レベルの値の範囲より大きい。
【０３２４】
もう１つの可能な実現形態として、収集対象画像のフレーム数とブレの度合いとは逆関係を持つ。
【０３２５】
もう１つの可能な実現形態として、夜景撮影装置２００は、
各フレームの収集対象画像の感光度を設定された最大感光度と比較するための比較モジュールと、
収集対象画像に感光度が最大感光度より高い第１の画像が存在する場合、最大感光度に基づいて、第１の画像の感光度を低下させるための感光度低下モジュールと、をさらに含む。
【０３２６】
もう１つの可能な実現形態として、夜景撮影装置２００は、
撮影モジュールのブレの度合いに基づいて、最大感光度を決定するための最大感光度決定モジュールをさらに含む。
【０３２７】
もう１つの可能な実現形態として、最大感光度決定モジュールは具体的に、
ブレの度合いがブレのしきい値以上である場合、最大感光度が第１の感光値であると決定し、
ブレの度合いがブレのしきい値より小さい場合、最大感光度が第２の感光値であると決定することに用いられ、
第１の感光値が第２の感光値より高い。
【０３２８】
もう１つの可能な実現形態として、第１の感光値は第２の感光値の予め設定された倍数であり、予め設定された倍数の値が２以上である。第２の感光値は撮影モジュールの最低感光度である。
【０３２９】
もう１つの可能な実現形態として、夜景撮影装置２００は、
第１の画像の低減前の感光度と低減後の感光度との比の値に基づいて、第１の画像の露出時間を延長するための露出時間延長モジュールをさらに含む。
【０３３０】
もう１つの可能な実現形態として、夜景撮影装置２００は、
各フレームの収集対象画像の感光度を設定された最低感光度と比較するための比較モジュールと、
収集対象画像に感光度が最低感光度より小さい第２の画像が存在する場合、最低感光度に基づいて、第２の画像の感光度を向上させるための感光度向上モジュールと、をさらに含む。
【０３３１】
もう１つの可能な実現形態として、夜景撮影装置２００は、
第２の画像の増加後の感光度と増加前の感光度との比を決定するための比率決定モジュールと、
感光度が最低感光度以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新するための更新モジュールと、をさらに含む。
【０３３２】
本開示の実施例の夜景撮影装置は、撮影モジュールのブレの度合いを取得することによって、ブレの度合いに基づいて、露出時間を調整し、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、露出時間が決定された後、撮影シーンの輝度情報および露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【０３３３】
上記実施例を実現するために、本開示は更なる夜景撮影装置をさらに提供する。
【０３３４】
図１７は本開示の実施例が提供する更なる夜景撮影装置の構造概略図である。
【０３３５】
図１７に示すように、該夜景撮影装置３００は、撮影モジュールに適用され、取得モジュール３１０、調整モジュール３２０、収集モジュール３３０および生成モジュール３４０を含む。
【０３３６】
取得モジュール３１０は、撮影モジュールのブレの度合いを取得することに用いられ、
調整モジュール３２０は、ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間と、対応する収集対象画像に必要な感光度とを調整することに用いられ、
収集モジュール３３０は、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集することに用いられ、
生成モジュール３４０は、目標画像を生成するように、収集された複数フレームの画像を合成することに用いられる。
【０３３７】
一つの可能な実現形態として、調整モジュール３２０は、
撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計を検索して、対応する収集対象画像の露出時間および感光度を得るための検索ユニットと、
ブレの度合いに基づいて、対応する収集対象画像の感光度がブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整するための第１の調整ユニットと、を含んでも良い。
【０３３８】
もう１つの可能な実現形態として、調整モジュール３２０は、
ブレの度合いに基づいて、露出補正モードを調整するための第２の調整ユニットをさらに含んでも良く、
露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる。
【０３３９】
もう１つの可能な実現形態として、第２の調整ユニットは具体的に、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整し、
前記撮影モジュールが収集した画像に顔が含まれているか否かを検出し、
顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第１のモードであると決定し、
顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第２のモードであると決定することに用いられ、
前記第２のモードの露出補正レベルの値の範囲は前記第１のモードの露出補正レベルの値の範囲より大きい。
【０３４０】
もう１つの可能な実現形態として、該夜景撮影装置３００は、
各フレームの収集対象画像の露出時間を設定された最大時間と比較するための比較モジュールと、
収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、最大時間に基づいて、第１の画像の露出時間を短縮するための短縮モジュールと、をさらに含む。
【０３４１】
もう１つの可能な実現形態として、該夜景撮影装置３００は、
ブレの度合いに基づいて、前記最大時間を決定するための最大時間決定モジュールをさらに含む。
【０３４２】
もう１つの可能な実現形態として、最大時間決定モジュールは具体的に、
ブレの度合いがブレのしきい値以上である場合、最大時間が第１の時間であると決定し、
ブレの度合いがブレのしきい値より小さい場合、最大時間が第２の時間であると決定することに用いられ、
第１の時間が第２の時間より短い。
【０３４３】
もう１つの可能な実現形態として、第１の時間の値の範囲は１５０ｍｓ〜３００ｍｓであり、第２の時間の値の範囲は４．５ｓ〜５．５ｓである。
【０３４４】
もう１つの可能な実現形態として、該夜景撮影装置３００は、
第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第１の画像の感光度を向上させるための感光度向上モジュールをさらに含む。
【０３４５】
もう１つの可能な実現形態として、該夜景撮影装置３００は、
各フレームの収集対象画像の露出時間を設定された最短時間と比較するための比較モジュールと、
収集対象画像に露出時間が最短時間より短い第２の画像が存在する場合、最短時間に基づいて、第２の画像の露出時間を延長するための延長モジュールと、をさらに含む。
【０３４６】
もう１つの可能な実現形態として、該夜景撮影装置３００は、
前記第２の画像の延長後の露出時間と延長前の露出時間との比を決定するための比率決定モジュールと、
露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新するための更新モジュールと、をさらに含む。
【０３４７】
本開示の実施例の夜景撮影装置、撮影モジュールのブレの度合いを取得することによって、ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
【０３４８】
図１８は本開示の実施例が提供する撮影モジュールの夜景撮影処理方法のフローチャートである。
【０３４９】
図１８に示すように、該撮影モジュールの夜景撮影処理方法は、以下のステップを含む。
【０３５０】
ステップ１８０１、夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出する。
【０３５１】
本開示の実施例では、電子機器現在のジャイロスコープ（Ｇｙｒｏ−ｓｅｎｓｏｒ）情報を取得することによって、携帯電話現在のブレの度合い、即ち撮影モジュールの現在のブレの度合いを取得することができる。
【０３５２】
ジャイロスコープは角速度センサとも呼ばれ、物理量偏移、傾斜時の回転角速度を測定することができる。電子機器において、ジャイロスコープは回転、偏移の動作を良好に測定できることによって、使用者の実際の動作を正確に分析して判断することができる。電子機器のジャイロスコープ情報（ｇｙｒｏ情報）は三次元空間の３つの次元の方向における携帯電話の動作情報を含んでもよく、三次元空間の３つの次元はそれぞれＸ軸、Ｙ軸、Ｚ軸の３つの方向で表すことができ、Ｘ軸、Ｙ軸、Ｚ軸は２つずつ垂直な関係にある。
【０３５３】
なお、本開示の実施例の１つの可能な実現形態では、電子機器現在のｇｙｒｏ情報に基づいて、撮影モジュールの現在のブレの度合いを決定することができる。電子機器は３つの方向におけるｇｙｒｏ動作の絶対値が大きければ大きいほど、撮影モジュールのブレの度合いが大きい。具体的に、３つの方向におけるｇｙｒｏ動作の絶対値のしきい値を予め設定し、取得した現在の３つの方向におけるｇｙｒｏ動作の絶対値の和と、予め設定されたしきい値との関係に基づいて、撮影モジュールの現在のブレの度合いを決定することができる。
【０３５４】
例えば、予め設定されたしきい値を第１のしきい値のＡ、第２のしきい値のＢ、第３のしきい値のＣ（Ａ＜Ｂ＜Ｃ）とし、現在取得された３つの方向におけるｇｙｒｏ動作の絶対値の和をＳとすると、Ｓ＜Ａの場合、撮影モジュールの現在のブレの度合いを「ブレなし」に、Ａ＜Ｓ＜Ｂの場合、撮影モジュールの現在のブレの度合いを「微ブレ」に、Ｂ＜Ｓ＜Ｃの場合、撮影モジュールの現在のブレの度合いを「弱ブレ」に、Ｓ＞Ｃの場合、撮影モジュールの現在のブレの度合いを「強ブレ」に決定することができる。
【０３５５】
なお、上記例は例示に過ぎず、本開示を限定するものではない。実際の適用では、実際の必要に応じてしきい値の数および各しきい値の具体的な数値を予め設定することができ、およびｇｙｒｏ情報と各しきい値との関係に基づいて、ｇｙｒｏ情報と撮影モジュールのブレの度合いとのマッピング関係を予め設定することができる。
【０３５６】
ステップ１８０２、前記撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定する。
【０３５７】
感光度は、ＩＳＯ値とも呼ばれ、光に対するネガフィルムの感度を判断する指標を意味する。感光度の低いネガフィルムに対して、感光度の高いネガフィルムと同じイメージングを達成するために、より長い露出時間が必要とされる。デジタルカメラの感光度はフィルムの感光度に類似する指標であり、デジタルカメラのＩＳＯは感光素子の感度を調整するまたは感光点を合併することによって調整することができ、即ち、感光素子の光感度を向上させるまたは隣接するいくつかの感光点を合併することによってＩＳＯを向上させるという目的を達成することができる。なお、デジタルにせよネガフィルム撮影にせよ、露出時間を短縮するために、比較的高い感光度を用いると、通常はより多くのノイズが引き起こされるため、画像品質の低下をもたらす。
【０３５８】
本開示の実施例において、基準感光度は、撮影モジュールの現在のブレの度合いに基づいて調整される、現在のブレの度合いに適合する最低感光度である。各フレームの収集対象画像に対応する基準感光度は同じであってもよく、異なっても良い。具体的な数値は、該フレームの画像を収集する撮影モジュールの現在のブレの度合いと関連付けられている。
【０３５９】
なお、本開示の実施例において、感光度が低い複数フレームの画像を同時に収集して、目標画像を生成するように、収集された複数フレームの画像を合成する方法によって、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させられるだけではなく、感光度の値を制御することによって、画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させる。
【０３６０】
なお、収集された画像の数および収集された画像の感光度が全体の撮影時間に影響し、撮影時間が長すぎると、手持ち撮影時の撮影モジュールのブレの度合いが大きくなる可能性があり、さらには画像の品質に影響する。そのため、撮影時間を適切な範囲内に制御するように、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数、および各フレームの収集対象画像に対応する基準感光度を決定することができる。
【０３６１】
具体的に、撮影モジュールの現在のブレの度合いが小さい場合、各フレームの画像のノイズを効果的に抑制して、撮影画像の品質を向上させるように、より多くの複数フレームの画像を収集してもよく、かつ各フレームの収集対象画像に対応する基準感光度をより低い値に適当に圧縮してもよい。撮影モジュールの現在のブレの度合いが大きい場合、撮影時間を短縮するように、より少ないフレームの画像を収集してもよく、かつ各フレームの収集対象画像に対応する基準感光度をより高い値に適宜に向上してもよい。
【０３６２】
例えば、撮影モジュールの現在のブレの度合いが「ブレなし」であると決定する場合、現在が三脚撮影モードである可能性があると決定することができ、この時、品質のより高い画像をできる限り取得するように、より多くのフレームの画像を取得して、基準感光度をより低い値に決定してもよく、例えば、収集対象画像の数を１７フレームに、基準感光度を１００に決定する。撮影モジュールの現在のブレの度合いが「微ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、より少ないフレームの画像を収集した、基準感光度を高い値に決定してもよく、例えば、収集対象画像の数を７フレームに、基準感光度を２００に決定する。撮影モジュールの現在のブレの度合いが「弱ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時に、撮影時間を短縮するように、収集対象画像の数をさらに減らして、基準感光度をさらに向上させてもよく、例えば、収集対象画像の数を５フレームに、基準感光度を２２０に決定する。撮影モジュールの現在のブレの度合いが「強ブレ」であると決定する場合、現在のブレの度合いが大きすぎると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らすか、または複数フレームの画像を収集する方式を用いずに撮影し、かつ基準感光度をさらに向上させてもよく、例えば、収集対象画像を３フレームに、基準感光度を２５０に決定する。
【０３６３】
なお、上記例は単なる例示であり、本開示を制限するものではない。実際の適用では、撮影モジュールのブレの度合いが変化する際に、最適な解決案を得るように、収集対象画像の数および基準感光度を同時に変更してもよく、そのうちのいずれか一方を変更してもよい。撮影モジュールのブレの度合いと収集対象画像の数および各フレームの収集対象画像に対応する基準感光度とのマッピング関係は、実際の必要に応じて予め設定することができる。
【０３６４】
ステップ１８０３、現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定する。
【０３６５】
露出時間は、光がレンズを通過する時間を意味する。
【０３６６】
本開示の実施例では、撮影モジュール内の測光モジュールを用いて、現在の撮影シーンの照度を取得し、自動露出制御（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ  Ｃｏｎｔｒｏｌ、ＡＥＣと略称される）アルゴリズムを用いて、現在の照度に対応する露出量を決定し、さらには、決定された露出量および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定する。
【０３６７】
なお、露出量は絞り、露出時間および感光度と関連付けられている。絞りは即ちアパーチャであり、単位時間内に光が通過する量を決定する。各フレームの収集対象画像に対応する基準感光度が同じ、かつ絞りの大きさが同じである場合、現在の撮影シーンの照度に対応する露出量が大きければ大きいほど、各フレームの収集対象画像に対応する露出時間が長い。
【０３６８】
さらに、異なるダイナミックレンジの画像を得るように、各フレームの収集対象画像に対応する露出時間が異なるため、合成後の画像はより高いダイナミックレンジを有し、画像全体の輝度および品質が向上する。即ち、本開示の実施例の１つの可能な実現形態では、上記ステップ１８０３は、
前記現在の撮影シーンの照度に基づいて、基準露出量を決定するステップと、
前記基準露出量および前記各フレームの収集対象画像に対応する基準感光度に基づいて、基準露出時間を決定するステップと、
前記基準露出時間および予め設定された露出補正モードに基づいて、前記各フレームの収集対象画像に対応する露出時間を決定するステップと、を含んでも良い。
【０３６９】
基準露出量は、現在の撮影シーンの照度に基づいて決定された現在の撮影シーンの照度に対応する正常な露出量を指す。絞りの大きさが決定された場合、基準感光度および基準露出量に基づいて、基準露出時間を決定することができる。
【０３７０】
本開示の実施例では、収集対象画像を異なる露出量に対応させることによって、異なるダイナミックレンジを有する画像を得るように、露出補正モードを予め設定することによって、各フレームの収集対象画像に対してそれぞれ異なる露出補正策を用いることができる。
【０３７１】
なお、予め設定された露出補正モードは、各フレームの収集対象画像のためにそれぞれ予め設定した露出補正レベル（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ、ＥＶと略称される）の組み合わせを意味する。露出量の最初の定義では、露出量は１つの正確な数値を指すわけではなく、「同じ露出量を提供できるすべてのカメラの絞りと露出時間との組み合わせ」を意味する。感光度、絞りおよび露出時間はカメラの露出量を決定し、異なるパラメータの組み合わせは同じ露出量を生成することができる。露出補正レベルは露出量を調整するためのパラメータであり、一部の画像を露出アンダーにしたり、一部の画像を露出オーバーにしたり、一部の画像を適切に露出したりすることができる。
【０３７２】
ＥＶ値と感光度、絞りおよび露出時間の三者との間の関係を説明するために、以下は具体的なデータと併せて説明する。例えば、同じ撮影シーンでは、感光度が同じである場合、１／１２５秒の露出時間およびｆ１１の絞りの組み合わせを用いて得られた露出量と、１／２５０秒の露出時間およびｆ８シャッターの組み合わせを用いて得られた露出量とは同じであり、即ちＥＶ値は同じである。従来のカメラでは、ＥＶ値が０である場合は、常に感光度が１００、絞り係数がｆ１、露出時間が１秒である際に得られた露出量を指す。露出量が１段増加すると、露出時間が倍になる。感光度が倍になるまたは絞りが１段増加すると、ＥＶ値が１増加する。即ち、ＥＶ１に対応する露出量はＥＶ０に対応する露出量の２倍である。具体的な露出時間、絞り、感光度がそれぞれ単独で変化する際に、ＥＶ値との対応関係は表１を参照されたい。
【０３７３】
なお、デジタルカメラのＥＶ値が０である場合の露出量は、撮影シーンにおいて環境光を測光して得られるものであってもよい。
【０３７４】
撮影技術がデジタル時代に入ると、カメラ内部の測光機能が非常に高くなっており、ＥＶは、露出目盛りにおける１つの段差を示すためによく用いられており、多くのカメラでは露出補正の設定が許容され、通常ＥＶで表される。この場合、ＥＶはカメラの測光データに対応する露出量と実際の露出量との差を指し、例えば、ＥＶ＋１の露出補正は、カメラの測光データに対応する露出量に対して、露出が１段増加すると、実際の露出量はカメラの測光データに対応する露出量の２倍になること指す。
【０３７５】
本開示の実施例では、露出補正モードを予め設定する際に、決定された基準露出量に対応するＥＶ値を予め０に設定することができ、ＥＶ＋１は露出が１段増加することを指し、即ち露出量が基準露出量の２倍になり、ＥＶ＋２は露出が２段増加することを指し、即ち露出量が基準露出量の４倍になり、ＥＶ−１は露出が１段減ることを指し、即ち露出量が基準露出量の０．５倍になるなど。
【０３７６】
例えば、収集対象画像の数が７フレームである場合、予め設定された露出補正モードに対応するＥＶ値の範囲は［＋１、＋１、＋１、＋１、０、−３、−６］であってもよい。露出補正モードがＥＶ＋１であるフレームは、ノイズ問題が解決可能であり、輝度の高いフレームを介して時間領域のノイズリダクションを行い、暗い部分の細部を改善すると共にノイズを抑制する。露出補正モードがＥＶ−６であるフレームは、明るくて露出オーバーを引き起こすという課題を解決でき、明るい領域の細部を保持する。露出補正モードがＥＶ０およびＥＶ−３であるフレームは、明るい領域から暗い領域への移行に用いられてもよく、良好な明暗移行効果を維持することができる。なお、予め設定された露出補正モードに対応する各ＥＶ値は実際の必要に応じて具体的に設定するものであってもよく、設定されたＥＶ値の範囲に基づいて、各ＥＶ値の間の差が同じであるという原則に従って求められたものであってもよく、本開示の実施例では限定されない。
【０３７７】
本開示の実施例の１つの可能な実現形態では、絞りの大きさは一定であってもよく、決定された基準感光度に基づいて各収集対象画像を収集する。そのため、撮影モジュールの現在のブレの度合いに基づいて現在の収集対象画像の数が決定されると、現在の収集対象画像の数に適合する予め設定された露出補正モード、および基準露出時間に基づいて、各フレームの収集対象画像に対応する露出時間を決定することができる。具体的に、収集対象画像に対応する露出補正モードがＥＶ＋１である場合、該収集対象画像に対応する露出時間は基準時間の２倍になり、収集対象画像に対応する露出補正モードがＥＶ−１である場合、該収集対象画像に対応する露出時間は基準時間の０．５倍になり、これによって類推する。
【０３７８】
例えば、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数が７フレームであると決定する場合、対応する予め設定された露出補正モードに対応するＥＶ範囲は［＋１、＋１、＋１、＋１、０、−３、−６］であってもよく、基準露出量および基準感光度に基づいて、基準露出時間が１００ミリ秒に決定されると、各フレームの収集対象画像に対応する露出時間は２００ミリ秒、２００ミリ秒、２００ミリ秒、２００ミリ秒、１００ミリ秒、１２．５ミリ秒、６．２５ミリ秒である。
【０３７９】
さらに、予め設定された露出補正モードは複数であってもよい。実際の適用では、撮影モジュールの実際の状況に基づいて、現在の状況に適合する露出補正モードを決定することができる。即ち、本開示の実施例の１つの可能な実現形態では、基準露出時間および予め設定された露出補正モードに基づいて、各フレームの収集対象画像に対応する露出時間を決定するステップの前は、
前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードを決定するステップをさらに含む。
【０３８０】
なお、撮影モジュールの現在のブレの度合いが異なれば、決定された収集対象画像の数は異なってもよく、収集対象画像の数が異なる場合、異なる露出補正モードを用いる必要がある。そのため、本開示の実施例の１つの可能な実現形態では、撮影モジュールの現在のブレの度合いに基づいて、現在の収集対象画像の数に適合する予め設定された露出補正モードを決定するように、撮影モジュールのブレの度合いと露出補正モードとのマッピング関係を予め設定することができる。
【０３８１】
例えば、撮影モジュールのブレの度合いを「ブレなし」とし、対応する露出補正モードのＥＶ値の範囲を−６〜２に予め設定し、隣接するＥＶ値の間の差を０．５としたり、撮影モジュールのブレの度合いを「微ブレ」とし、対応する露出補正モードのＥＶ値の範囲を−５〜１に予め設定し、隣接するＥＶ値の間の差を１としたりするなどができる。
【０３８２】
さらに、撮影された画像の効果をさらに向上させるように、顔の撮影と単なる景物の撮影とは異なる露出補正策を用いることができる。即ち、本開示の実施例の１つの可能な実現形態では、予め設定された露出補正モードを決定するステップは、
前記撮影モジュールが現在収集している画像に顔が含まれているか否かを検出するステップと、
顔が含まれている場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第１のモードであると決定するステップと、
顔が含まれていない場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第２のモードであると決定するステップであって、第２のモードに対応する露出補正範囲が、前記第１のモードに対応する露出補正範囲より大きいステップと、をさらに含んでも良い。
【０３８３】
本開示の実施例では、被写体に顔が含まれているか否かは顔認識技術によって決定することができる。顔認識技術は、顔の視覚的特徴情報を分析および比較することによって身分認識を行い、生体認証技術に属しており、生体（一般的に人を指す）自身の生物学的特性に対して生体個体を区別するものである。現在、顔認識技術は、デジタルカメラのフェイスオートフォーカスやスマイルシャッター技術、企業、住宅の安全と管理、入退室管理システム、およびカメラ監視システムなど、数多くの分野に適用されている。よく用いられる顔認識アルゴリズムは、顔特徴点に基づく認識アルゴリズム（Ｆｅａｔｕｒｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、顔全体画像に基づく認識アルゴリズム（Ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、テンプレートに基づく認識アルゴリズム（Ｔｅｍｐｌａｔｅ−ｂａｓｅｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）、ニューラルネットワークを用いる認識アルゴリズム（Ｒｅｃｏｇｎｉｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ  ｕｓｉｎｇ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）などを含む。
【０３８４】
なお、撮影モジュールの現在収集している画像に顔が含まれていること検出した場合、撮影モジュールの測光モジュールは自動的に顔の領域を主として測光を行い、顔の領域の測光結果に基づいて基準露出量を決定する。しかしながら、夜景モードでは、顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高くなり、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、目標画像の効果が悪くなる。そのため、同じブレの度合いに対して、撮影モジュールが現在収集している画像に顔が含まれている場合は、顔が含まれていない場合と比べて、対応する露出補正モードがより低い露出補正の範囲を有する必要がある。
【０３８５】
本開示の実施例の１つの可能な実現形態では、同じブレの度合いに対して、撮影モジュールの現在収集している画像に顔が含まれているか否かに基づいて、異なる露出補正策を用いることができる。そのため、同じブレの度合いに対しては、複数の露出補正モードに対応することができる。例えば、撮影モジュールのブレの度合いが「微ブレ」である場合、対応する予め設定された露出補正モードは第１のモードおよび第２のモードがあり、第１のモードに対応する各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、第２のモードに対応する各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］である。撮影モジュールの現在のブレの度合い、および撮影モジュールの現在収集している画像に顔が含まれているか否かが決定されると、現在の実際の状況に適合する予め設定された露出補正モードを決定することができる。
【０３８６】
例えば、撮影モジュールの現在のブレの度合いが「微ブレ」であるとすると、対応する予め設定された露出補正モードは第１のモードおよび第２のモードがあり、第１のモードに対応する各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、第２のモードに対応する各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］であり、以上から分かるように、第１のモードの露出補正範囲は第２のモードの露出補正範囲より小さい。撮影モジュールの現在収集している画像に顔が含まれていることを検出した場合、予め設定された露出補正モードが第１のモードであると決定し、即ち各ＥＶ値が［０、０、０、０、−２、−４、−６］であり、撮影モジュールの現在収集している画像に顔が含まれていないことを検出した場合、予め設定された露出補正モードが第２のモードであると決定し、即ち各ＥＶ値が［＋１、＋１、＋１、＋１、０、−３、−６］である。
【０３８７】
さらに、撮影モジュール内のコンポーネントの性能も、露出補正モードに影響を与える可能性がある。即ち、本開示の実施例の１つの可能な実現形態では、予め設定された露出補正モードを決定するステップの前に、撮影モジュール内の各部品の属性情報を決定することができ、さらには、各部品の属性情報および現在のブレの度合いに基づいて、予め設定された露出補正モードを決定する。例えば、異なるセンサ、絞り、シャッター、レンズ、および異なるＡＥＣアルゴリズムなどに対して、露出補正モードに対応する具体的なＥＶ値に差がある可能性がある。
【０３８８】
ステップ１８０４、前記各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集する。
【０３８９】
ステップ１８０５、目標画像を生成するように、前記収集された複数フレームの画像を合成する。
【０３９０】
本開示の実施例では、各フレームの収集対象画像に対応する基準感光度および露出時間を決定した後、基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、かつ目標画像を生成するように、収集された複数フレームの画像を合成することができる。
【０３９１】
さらに、収集された複数フレームの画像を合成する場合、効果が最も良好な目標画像を得るように、各フレームの画像のために異なる重みを設定しても良い。即ち、本開示の実施例の１つの可能な実現形態では、上記ステップ１８０５は、
予め設定された前記複数フレームの画像内の各フレームの収集対象画像に対応する重みに基づいて、前記複数フレームの画像を合成するステップを含んでも良い。
【０３９２】
本開示の実施例の撮影モジュールの夜景撮影処理方法は、夜景撮影モードにおいて、撮影モジュールの現在のブレの度合いを検出して、現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定することができ、その後、現在の撮影シーンの照度および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定し、さらに各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および基準感光度を決定し、かつ現在の撮影シーンの照度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することにより、異なる露出時間の複数枚の画像を撮って合成することによって夜景撮影モードにおける撮影画像のダイナミックレンジおよび全体の輝度を向上させて、撮影画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストおよびピンぼけを抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０３９３】
図１９は本開示の実施例が提供する撮影モジュールの夜景撮影処理装置の構造概略図である。
【０３９４】
図１９に示すように、該撮影モジュールの夜景撮影処理装置４００は、第１の検出モジュール４１０、第１の決定モジュール４２０、第２の決定モジュール４３０、第１の収集モジュール４４０および合成モジュール４５０を含む。
【０３９５】
第１の検出モジュール４１０は、夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出することに用いられ、
第１の決定モジュール４２０は、前記撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定することに用いられ、
第２の決定モジュール４３０は、現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することに用いられ、
第１の収集モジュール４４０は、前記各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集することに用いられ、
合成モジュール４５０は、目標画像を生成するように、前記収集された複数フレームの画像を合成することに用いられる。
【０３９６】
実際の適用では、本開示の実施例が提供する撮影モジュールの夜景撮影処理装置は、前記撮影モジュールの夜景撮影処理方法を実行するように、任意の電子機器に配置することができる。
【０３９７】
本開示の１つの可能な実現形態では、上記撮影モジュールの夜景撮影処理装置４００は、
前記各フレームの収集対象画像に対応する露出時間が予め設定された時間範囲内にあるか否かを検出するための第２の検出モジュールと、
少なくとも１フレームの収集対象画像の露出時間が前記予め設定された時間範囲内にない場合、前記少なくとも１フレームの収集対象画像の露出時間が前記予め設定された時間範囲内にあるように、前記予め設定された時間範囲に基づいて、前記少なくとも１フレームの収集対象画像の露出時間を更新するための第２の更新モジュールと、をさらに含む。
【０３９８】
さらに、本開示のもう１つの可能な実現形態では、上記撮影モジュールの夜景撮影処理装置４００は、
前記撮影モジュール内の光学部品の配置形態に基づいて、前記予め設定された時間範囲を決定するための第３の決定モジュールをさらに含む。
【０３９９】
さらに、本開示の更なる可能な実現形態では、上記撮影モジュールの夜景撮影処理装置４００は、
前記少なくとも１フレームの収集対象画像の更新前の露出時間と更新後の露出時間との差に基づいて、前記各フレームの収集対象画像に対応する露出量調整モードを決定するための露出量調整モード決定モジュールと、
前記露出量調整モードに基づいて、前記各フレームの収集対象画像の感光度および露出時間を調整するための調整モジュールと、をさらに含む。
【０４００】
本開示の１つの可能な実現形態では、上記第２の決定モジュール４３０は、
前記現在の撮影シーンの照度に基づいて、基準露出量を決定し、
前記基準露出量および前記各フレームの収集対象画像に対応する基準感光度に基づいて、基準露出時間を決定し、
前記基準露出時間および予め設定された露出補正モードに基づいて、前記各フレームの収集対象画像に対応する露出時間を決定することに用いられる。
【０４０１】
さらに、本開示のもう１つの可能な実現形態では、上記第２の決定モジュール４３０はさらに、
前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードを決定することに用いられても良い。
【０４０２】
さらに、本開示の更なる可能な実現形態では、上記第２の決定モジュール４３０はさらに、
前記撮影モジュールが現在収集している画像に顔が含まれているか否かを検出し、
顔が含まれている場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第１のモードであると決定し、
顔が含まれていない場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第２のモードであると決定することに用いられてもよく、第２のモードに対応する露出補正範囲が、前記第１のモードに対応する露出補正範囲より大きい。
【０４０３】
さらに、本開示の別の可能な実現形態では、上記第２の決定モジュール４３０はさらに、
前記撮影モジュール内の各部品の属性情報を決定し、
前記各部品の属性情報および前記現在のブレの度合いに基づいて、前記予め設定された露出補正モードを決定することに用いられても良い。
【０４０４】
本開示の１つの可能な実現形態では、上記合成モジュール４５０は、
予め設定された前記複数フレームの画像内の各フレームの収集対象画像に対応する重みに基づいて、前記複数フレームの画像を合成することに用いられる。
【０４０５】
本開示の実施例が提供する撮影モジュールの夜景撮影処理装置は、夜景撮影モードにおいて、撮影モジュールの現在のブレの度合いを検出して、現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定することができ、その後、現在の撮影シーンの照度および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定し、さらに各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および基準感光度を決定し、かつ現在の撮影シーンの照度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することにより、異なる露出時間の複数枚の画像を撮って合成することによって夜景撮影モードにおける撮影画像のダイナミックレンジおよび全体の輝度を向上させて、撮影画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストおよびピンぼけを抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
【０４０６】
上記実施例を実現するために、本開示は電子機器をさらに提供する。図２０に示すように、該電子機器５００は、撮影モジュール５１０、プロセッサ５２０、メモリ５３０、およびメモリに記憶されかつプロセッサにおいて実行可能なコンピュータプログラムを含み、前記プロセッサ５２０は前記撮影モジュール５１０に接続され、前記プロセッサは、前記コンピュータプログラムを実行する際に、上記実施例に記載の撮影モジュールの夜景撮影処理方法を実現する。
【０４０７】
一例として、図２１を参照されたい。図２０に記載の電子機器をもとに、図２１は本開示の実施例が提供する電子機器の原理図である。電子機器６００のメモリ５３０は不揮発性メモリ８０、メモリ８２およびプロセッサ５２０を含む。メモリ５３０にコンピュータ読み取り可能な命令が記憶されている。コンピュータ読み取り可能な命令はメモリによって実行される際に、プロセッサ５２０に上記いずれかの実施形態の撮影モジュールの夜景処理方法を実行させる。
【０４０８】
図２１に示すように、該電子機器６００は、システムバス８１によって接続されるプロセッサ５２０、撮影モジュール５１０、不揮発性メモリ８０、メモリ８２、ディスプレイ８３および入力装置８４を含む。電子機器６００の不揮発性メモリ８０にオペレーティングシステムおよびコンピュータ読み取り可能な命令が記憶されている。該コンピュータ読み取り可能な命令は、本開示の実施形態の露出制御方法を実現するように、プロセッサ５２０によって実行可能である。該プロセッサ５２０は計算および制御能力を提供して、電子機器６００全体の実行をサポートすることに用いられる。電子機器６００のメモリ８２は不揮発性メモリ８０内のコンピュータ読み取り可能な命令の実行のために環境を提供する。電子機器６００のディスプレイ８３は、液晶ディスプレイまたは電子インクディスプレイなどであってもよく、入力装置８４は、ディスプレイ８３上を覆うタッチ層、電子機器６００のハウジングに設けられるボタン、トラックボールやタッチパッド、または外部接続のキーボード、タッチパッドやマウスなどであっても良い。該電子機器６００は携帯電話、タブレット、ノートパソコン、パーソナルデジタルアシスタントまたはウェアラブルデバイス（例えば、スマートブレスレット、スマートウォッチ、スマートヘルメット、スマートグラス）などであっても良い。当業者であれば、図２１に示す構造は、本開示の解決案に関連する部分の構造の概略図だけであり、本開示の解決案が適用される電子機器６００を限定するものではないと理解するべきである。具体的な電子機器６００は、図面に示す部品より多いまたは図面に示す部品より少ない部品を含んでもよく、または一部の部品を組み合わせてもよく、あるいは異なる部品配置を有しても良い。
【０４０９】
一つの可能な実現形態として、図２２を参照されたい。図２２は本開示の実施例が提供する画像処理回路の原理図である。図２０内の電子機器は画像処理回路９０をさらに含んでもよい。画像処理回路９０はハードウェアおよび／またはソフトウェアコンポーネントによって実現可能であり、ＩＳＰ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ、画像信号処理）パイプラインを定義する様々な処理ユニットを含む。図２１は一実施例内の画像処理回路９０の概略図である。図２１に示すように、説明を容易にするために、本開示の実施例と関連する画像処理技術の各態様だけを示す。
【０４１０】
図２１に示すように、画像処理回路９０はＩＳＰプロセッサ９１（ＩＳＰプロセッサ９１はプロセッサ３２０とされる）およびロジックコントローラ９２を含む。カメラ９３が捉えた画像データはまずＩＳＰプロセッサ９１によって処理され、ＩＳＰプロセッサ９１は、カメラ９３の１つまたは複数の制御パラメータを決定することに用いられても良い画像統計情報を捉えるように、画像データを分析する。撮影モジュール３１０は１つまたは複数のレンズ９３２と画像センサ９３４とを含んでもよい。画像センサ９３４はカラーフィルタアレイ（例えばＢａｙｅｒフィルタ）を含んでもよく、画像センサ９３４は、各イメージングピクセルが捉えた光強度および波長情報を取得できるとともに、ＩＳＰプロセッサ９１によって処理可能な１組のオリジナル画像データを提供する。センサ９４（例えばジャイロスコープ）は、センサ９４インターフェースのタイプに基づいて、収集された画像処理のパラメータ（例えば手ブレ防止パラメータ）をＩＳＰプロセッサ９１に提供することができる。センサ９４インターフェースはＳＭＩＡ（Ｓｔａｎｄａｒｄ  Ｍｏｂｉｌｅ  Ｉｍａｇｉｎｇ  Ａｒｃｈｉｔｅｃｔｕｒｅ、標準モバイルイメージングアーキテクチャ）インターフェース、他のシリアルまたはパラレルカメラインターフェース、あるいは上記インターフェースの組み合わせであってもよい。
【０４１１】
また、画像センサ９３４はオリジナル画像データをセンサ９４に送信してもよい。センサ９４は、センサ９４インターフェースのタイプに基づいてオリジナル画像データをＩＳＰプロセッサ９１に提供するか、またはオリジナル画像データを画像メモリ９５に記憶してもよい。
【０４１２】
ＩＳＰプロセッサ９１は複数のフォーマットに応じて、ピクセルずつオリジナル画像データを処理する。例えば、各画像のピクセルは８、１０、１２または１４ビットのビット深度を有することができ、ＩＳＰプロセッサ９１はオリジナル画像データに対して１つまたは複数の画像処理操作を行って、画像データに関連する統計情報を収集することができる。画像処理操作は同じまたは異なるビット深度精度に基づいて実行することができる。
【０４１３】
ＩＳＰプロセッサ９１はさらに画像メモリ９５から画像データを受信することができる。例えば、センサ９４インターフェースはオリジナル画像データを画像メモリ９５に送信し、画像メモリ９５内のオリジナル画像データは、処理のためにさらにＩＳＰプロセッサ９１に提供される。画像メモリ９５はメモリ３３０、メモリ３３０の一部、記憶装置、または電子機器内の独立した専用メモリであってもよく、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ、ダイレクトメモリアクセス）特徴を含んでもよい。
【０４１４】
画像センサ９３４インターフェースまたはセンサ９４インターフェースまたは画像メモリ９５からのオリジナル画像データを受信した場合、ＩＳＰプロセッサ９１は１つまたは複数の画像処理操作、例えば時間領域フィルタリングを実行することができる。処理された画像データは、表示される前に追加の処理が行われるように、画像メモリ９５に送信することができる。ＩＳＰプロセッサ９１は画像メモリ９５から処理データを受信し、かつ処理データに対して、オリジナルドメイン内、およびＲＧＢやＹＣｂＣｒ色空間内における画像データ処理を行う。ＩＳＰプロセッサ９１によって処理された後の画像データは、ユーザが閲覧するおよび／またはグラフィックエンジンまたはＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、グラフィックプロセッサ）がさらに処理するように、モニタ９７（モニタ９７はディスプレイ８３を含んでもよい）に出力することができる。また、ＩＳＰプロセッサ９１の出力はさらに画像メモリ９５に送信することができ、モニタ９７は画像メモリ９５から画像データを読み取ることができる。一実施例では、画像メモリ９５は、１つまたは複数のフレームバッファを実現するように構成されてもよい。また、ＩＳＰプロセッサ９１の出力は、画像データを符号化／復号するように、エンコーダ／デコーダ９６に送信することができる。符号化された画像データは記憶されたり、モニタ９７デバイスに表示される前に解凍されたりすることができる。エンコーダ／デコーダ９６はＣＰＵまたはＧＰＵ或いはコプロセッサによって実現可能である。
【０４１５】
ＩＳＰプロセッサ９１によって決定された統計データはロジックコントローラ９２ユニットに送信することができる。例えば、統計データは自動露出、オートホワイトバランス、オートフォーカス、フリッカ検出、黒レベル補正、レンズ９３２シェーディング補正などの画像センサ９３４統計情報を含んでもよい。ロジックコントローラ９２は１つまたは複数のルーチン（例えばファームウェア）を実行する処理コンポーネントおよび／またはマイクロコントローラを含んでもよい。１つまたは複数のルーチンは、受信した統計データに基づいてカメラ９３の制御パラメータおよびＩＳＰプロセッサ９１の制御パラメータを決定することができる。例えば、カメラ９３の制御パラメータは、センサ９４制御パラメータ（例えばゲイン、露出制御の積分時間、手ブレ防止パラメータなど）、カメラフラッシュ制御パラメータ、レンズ９３２制御パラメータ（例えば、焦点距離またはズーム用焦点距離）、またはこれらのパラメータの組み合わせを含んでもよい。ＩＳＰ制御パラメータは、オートホワイトバランスおよびカラー調整（例えば、ＲＧＢ処理期間において）に用いられるゲインレベルおよび色補正行列、並びにレンズ９３２シェーディング補正パラメータを含んでもよい。
【０４１６】
以下は図２２の画像処理技術を応用して撮影モジュールの夜景撮影処理方法を実現するステップである。ＩＳＰプロセッサは撮影モジュールのブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、前記基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて、画像を収集するように前記撮影モジュールを制御し、ＧＰＵ目標画像を生成するように、収集された複数フレームの画像を合成する。
【０４１７】
上記実施例を実現するために、本開示の実施例は記憶媒体をさらに提供し、前記記憶媒体内の命令がプロセッサによって実行される場合、前記プロセッサは前記記憶媒体を実行する際に上記実施例に記載の夜景撮影方法以および撮影モジュールの夜景撮影処理方法を実現する。
【０４１８】
当業者であれば、上記実施例を実現する方法のすべてまたは一部のプロセスは、コンピュータプログラムを介して関連するハードウェアを命令することによって完成可能であり、前記プログラムは不揮発性コンピュータ読み取り可能な記憶媒体内に記憶することができ、該プログラムは実行時に、上記各方法の実施例のプロセスを含んでもよいと理解するべきである。前記記憶媒体は磁気ディスク、光ディスク、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）などであっても良い。
【０４１９】
以上に記載の実施例は、本発明の幾つかの実施形態を表すものに過ぎず、その説明は具体的かつ詳しいが、本発明の特許範囲を限定するものとして理解すべきではない。なお、当業者であれば、本発明の概念を逸脱しない限り、複数の変形と改良を行うことができ、これらは本発明の保護範囲に属していることを留意されたい。そのため、本発明の特許請求の範囲は添付の請求項に準ずるべきである。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影モジュールに適用される夜景撮影方法であって、前記方法は、
前記撮影モジュールのブレの度合いを取得するステップと、
前記ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップと、
各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集するステップと、
目標画像を生成するように、収集された複数フレームの画像を合成するステップと、を含む、
ことを特徴とする夜景撮影方法。
【請求項２】
前記ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップは、
前記撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計を検索して、対応する収集対象画像の露出時間および感光度を得るステップと、
前記ブレの度合いに基づいて、対応する収集対象画像の感光度が前記ブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整するステップと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計を検索して、対応する収集対象画像の露出時間および感光度を得るステップの前は、
前記ブレの度合いに基づいて、露出補正モードを調整するステップをさらに含み、
前記露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる、
ことを特徴とする請求項２に記載の方法。
【請求項４】
ブレの度合いに基づいて、露出補正モードを調整するステップは、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整するステップと、
前記撮影モジュールが収集した画像に顔が含まれているか否かを検出するステップと、
顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第１のモードであると決定するステップと、
顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第２のモードであると決定するステップと、を含み、
前記第２のモードの露出補正レベルの値の範囲が前記第１のモードの露出補正レベルの値の範囲より大きい、
ことを特徴とする請求項３に記載の方法。
【請求項５】
前記ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップの後は、
各フレームの収集対象画像の露出時間を設定された最大時間と比較するステップと、
収集対象画像に露出時間が最大時間より長い第１の画像が存在する場合、前記最大時間に基づいて、前記第１の画像の露出時間を短縮するステップと、をさらに含む、
ことを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
各フレームの収集対象画像の露出時間を設定された最大時間と比較するステップの前は、
前記ブレの度合いに基づいて、前記最大時間を決定するステップをさらに含む、
ことを特徴とする請求項５に記載の方法。
【請求項７】
ブレの度合いに基づいて、前記最大時間を決定するステップは、
前記ブレの度合いがブレのしきい値以上である場合、前記最大時間が第１の時間であると決定するステップと、
前記ブレの度合いがブレのしきい値より小さい場合、前記最大時間が第２の時間であると決定するステップと、を含み、
前記第１の時間が前記第２の時間より短い、
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記最大時間に基づいて、前記第１の画像の露出時間を短縮するステップの後は、
前記第１の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、前記第１の画像の感光度を向上させるステップをさらに含む、
ことを特徴とする請求項５〜７のいずれか一項に記載の方法。
【請求項９】
前記ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップの後は、
各フレームの収集対象画像の露出時間を設定された最短時間と比較するステップと、
収集対象画像に露出時間が前記最短時間より短い第２の画像が存在する場合、前記最短時間に基づいて、前記第２の画像の露出時間を延長するステップと、をさらに含む、
ことを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項１０】
前記最短時間に基づいて、前記第２の画像の露出時間を延長するステップの後は、
前記第２の画像の延長後の露出時間と延長前の露出時間との比を決定するステップと、
露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比の値に基づいて前記残りの各フレームの収集対象画像の感光度または露出時間を更新するステップと、をさらに含む、
ことを特徴とする請求項９に記載の方法。
【請求項１１】
撮影モジュールに適用される夜景撮影装置であって、前記装置は、
前記撮影モジュールのブレの度合いを取得するための取得モジュールと、
前記ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するための調整モジュールと、
各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集するための収集モジュールと、
目標画像を生成するように、収集された複数フレームの画像を合成するための生成モジュールと、を含む、
ことを特徴とする夜景撮影装置。
【請求項１２】
電子機器であって、
前記電子機器は、
撮影モジュールと、
メモリと、
プロセッサと、
メモリに記憶され且つプロセッサにおいて実行できるコンピュータプログラムとを含み、前記プロセッサは、請求項１〜１０のいずれか一項に記載の夜景撮影方法を実現する、
ことを特徴とする電子機器。
【請求項１３】
記憶媒体であって、
前記記憶媒体内の命令は、プロセッサによって実行される場合、請求項１〜１０のいずれか一項に記載の夜景撮影方法を実現する、
ことを特徴とする記憶媒体。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2021530911.tif 000027
【図２】
2021530911.tif 000028
【図３】
2021530911.tif 000029
【図４】
2021530911.tif 000030
【図５】
2021530911.tif 000031
【図６】
2021530911.tif 000032
【図７】
2021530911.tif 000033
【図８】
2021530911.tif 000034
【図９】
2021530911.tif 000035
【図１０】
2021530911.tif 000036
【図１１】
2021530911.tif 000037
【図１２】
2021530911.tif 000038
【図１３】
2021530911.tif 000039
【図１４】
2021530911.tif 000040
【図１５】
2021530911.tif 000041
【図１６】
2021530911.tif 000042
【図１７】
2021530911.tif 000043
【図１８】
2021530911.tif 000044
【図１９】
2021530911.tif 000045
【図２０】
2021530911.tif 000046
【図２１】
2021530911.tif 000047
【図２２】
2021530911.tif 000048
【国際調査報告】
2021530911.tif 000049
2021530911.tif 000050
2021530911.tif 000051
2021530911.tif 000052
2021530911.tif 000053