(57)【要約】  本明細書に記載されるシステムおよび方法は、フラッシュを使用して捕捉される画像における移動物体により生成される収差を補償し得る。いくつかの実施形態では、方法は、時間ｔ−Δｔ1において第１の画像を捕捉することと、ここにおいて、Δｔ1が第１の画像を捕捉することと第２の画像を捕捉することとの間の時間差を表す、時間ｔにおいて第２の画像を捕捉することと、第２の画像がフラッシュを使用して捕捉される、を含む。方法は、時間ｔ＋Δｔ2おいて第３の画像を捕捉することと、ここにおいて、Δｔ2は、第２の画像を捕捉することと第３の画像を捕捉することとの間の時間差を表す、第１、第２、および第３の画像中に描画される物体の動き情報を決定することと、動き情報と、第１の画像の部分、第３の画像の部分、または第１の画像の部分および第３の画像の部分とを使用して、第２の画像の少なくとも１つの部分を変更することとをやはり含む。【選択図】  図１Ａ
2018512751.tif 000002
【特許請求の範囲】
【請求項１】
画像における移動物体によって生成される収差を補償するための方法であって、
第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、
第２の露出と第２の外部照明とを有する前記シーンの第２の画像を生成することと、前記第２の露出および前記第２の外部照明が前記第１の露出および前記第１の外部照明と異なる、前記第２の画像が前記第１の画像の後の時間に捕捉される、
前記第１の露出と前記第１の外部照明とを有する前記シーンの第３の画像を生成することと、前記第３の画像が前記第２の画像の後の時間に捕捉される、
前記第１の画像と前記第３の画像とを使用して、１つまたは複数の動き領域を決定することと、前記１つまたは複数の動き領域が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す前記第１の画像、第２の画像、および第３の画像のうちの１つまたは複数の画像中の区域を示す
を備える方法。
【請求項２】
前記第１の画像および前記第３の画像が環境光を使用して生成され、前記第２の画像が前記シーンを照明するためのフラッシュを使用して生成される、請求項１に記載の方法。
【請求項３】
前記第１および第３の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを前記１つまたは複数の動き領域を決定する前と同じ値に調整することをさらに備える、請求項１に記載の方法。
【請求項４】
１つまたは複数の動き領域を前記決定することが、
前記第１の画像および前記第３の画像の１つまたは複数の画素を変更することと、
対応する画素の各組間の異なる値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の各組間の前記異なる値を閾値処理することと
を備える、請求項１に記載の方法。
【請求項５】
１つまたは複数の動き領域を前記決定することが、閾値より上の異なる値を有する対応する画素の各組の場所に少なくとも部分的に基づく、請求項１に記載の方法。
【請求項６】
前記第１の画像および前記第３の画像のうちの１つまたは複数の画像中の動き領域に対応する前記第２の画像の１つまたは複数の部分と前記第１の画像および前記第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成することをさらに備える、請求項１に記載の方法。
【請求項７】
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることをさらに備える、請求項１に記載の方法。
【請求項８】
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることが、
前記第１の画像、前記第２の画像、または前記第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを備え、ここにおいて前記１つまたは複数のセクションが画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、請求項７に記載の方法。
【請求項９】
実行されると、少なくとも１つの物理的なコンピュータプロセッサに、タッチ入力の位置を調整する方法を実施させる命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記方法が、
第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、
第２の露出と第２の外部照明とを有する前記シーンの第２の画像を生成することと、前記第２の露出および前記第２の外部照明が前記第１の露出および前記第１の外部照明と異なる、前記第２の画像が前記第１の画像の後の時間に捕捉される、
前記第１の露出と前記第１の外部照明とを有する前記シーンの第３の画像を生成することと、前記第３の画像が前記第２の画像の後の時間に捕捉される、
前記第１の画像と前記第３の画像とを使用して、１つまたは複数の動き領域を決定することと、前記１つまたは複数の動き領域が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す前記第１の画像、第２の画像、および第３の画像のうちの１つまたは複数の画像中の区域を示す
を備える、非一時的コンピュータ可読記憶媒体。
【請求項１０】
前記第１の画像および前記第３の画像が環境光を使用して生成され、前記第２の画像が前記シーンを照明するためのフラッシュを使用して生成される、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１１】
前記方法が、前記第１および第３の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを前記１つまたは複数の動き領域を決定する前と同じ値に調整することをさらに備える、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１２】
前記方法が、
前記第１の画像および前記第３の画像の１つまたは複数の画素を変更することと、
対応する画素の各組間の異なる値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の各組間の前記異なる値を閾値処理することと
を備える、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１３】
１つまたは複数の動き領域を前記決定することが、閾値より上の異なる値を有する対応する画素の各組の場所に少なくとも部分的に基づく、請求項１２に記載の非一時的コンピュータ可読記憶媒体。
【請求項１４】
前記方法が、前記第１の画像および前記第３の画像のうちの１つまたは複数の画像中の動き領域に対応する前記第２の画像の１つまたは複数の部分と前記第１の画像および前記第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成することをさらに備える、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１５】
前記方法が、前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることをさらに備える、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１６】
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分とマージすることが。
前記第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを備え、ここにおいて前記１つまたは複数のセクションが画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、請求項１５に記載の非一時的コンピュータ可読記憶媒体
【請求項１７】
画像における移動物体により生成される収差を補償するように構成される装置であって、
撮像のための照明を生成することが可能なフラッシュシステムと、
前記フラッシュシステムに結合されるカメラと、ここにおいて、前記カメラが、
第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、
第２の露出と第２の外部照明とを有する前記シーンの第２の画像を生成することと、前記第２の露出および前記第２の外部照明が前記第１の露出および前記第１の外部照明と異なる、前記第２の画像が前記第１の画像の後の時間に捕捉される、
前記第１の露出と前記第１の外部照明とを有する前記シーンの第３の画像を生成することと、前記第３の画像が前記第２の画像の後の時間に捕捉される
を行うように構成される、
前記カメラによって捕捉される画像を記憶するように構成されるメモリ構成要素と、
前記第１の画像と前記第３の画像とを使用して、１つまたは複数の動き領域を決定すること、前記１つまたは複数の動き領域が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す前記第１の画像、第２の画像、および第３の画像のうちの１つまたは複数の画像中の区域を示す、を行うように構成される、プロセッサと
を備える、装置。
【請求項１８】
前記第１の画像および前記第３の画像が環境光を使用して生成され、前記第２の画像が前記シーンを照明するためのフラッシュを使用して生成される、請求項１７に記載の装置。
【請求項１９】
前記プロセッサが、前記１つまたは複数の動き領域を決定する前に、前記第１の画像および前記第３の画像の、自動ホワイトバランス、自動露出、および自動焦点パラメータを調整するようにさらに構成される、請求項１７に記載の装置。
【請求項２０】
前記プロセッサが、
前記第１の画像および前記第３の画像の１つまたは複数の画素を変更することと、
対応する画素の各組間の異なる値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の各組間の前記異なる値を閾値処理することと
を行うように構成される、請求項１７に記載の装置。
【請求項２１】
前記プロセッサが、閾値より上の異なる値を有する対応する画素の各組の場所に少なくとも部分的に基づいて、１つまたは複数の動き領域を決定するように構成される、請求項２０に記載の装置。
【請求項２２】
前記プロセッサが、前記第１の画像および前記第３の画像のうちの１つまたは複数の画像中の動き領域に対応する前記第２の画像の１つまたは複数の部分と前記第１の画像および前記第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成するようにさらに構成される、請求項１７に記載の装置。
【請求項２３】
前記プロセッサが、前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージするようにさらに構成される、請求項１７に記載の装置。
【請求項２４】
前記プロセッサが、前記第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化するように構成され、ここにおいて前記１つまたは複数のセクションが画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、請求項２３に記載の装置。
【請求項２５】
フラッシュ照明システムを使用して捕捉された画像における移動物体によって生成される収差を補償するための方法であって、
時間ｔ−Δｔ1において第１の画像を捕捉することと、
時間ｔにおいて前記第１の画像の後に第２の画像を捕捉することと、前記第２の画像を前記捕捉することが前記フラッシュ照明システムを活動化することを含み、ここにおいて、Δｔ1が前記第１の画像を捕捉することと前記第２の画像を捕捉することとの間の時間を表す、
時間ｔ＋Δｔ2において前記第２の画像の後に第３の画像を捕捉することと、ここにおいて、Δｔ2が前記第２の画像を捕捉することと前記第３の画像を捕捉することとの間の時間を表す、
前記第１、第２、および第３の画像中に描画される物体の動き情報を決定することと、
前記動き情報と、前記第１の画像の部分、前記第３の画像の部分、または前記第１の画像の部分および前記第３の画像の部分とを使用して、前記第２の画像の少なくとも１つの部分を変更することと
を備える、方法。
【請求項２６】
前記第１の画像および前記第３の画像が、同じ露出と同じ外部照明とを使用して捕捉される、請求項２５に記載の方法。
【請求項２７】
前記第１および第３の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを前記動き情報を決定する前に調整することをさらに備える、請求項２５に記載の方法。
【請求項２８】
動き情報を前記決定することが、
前記第１の画像および前記第３の画像の１つまたは複数の画素を変更することと、
対応する画素の各組間の異なる値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の各組間の前記異なる値を閾値処理することと
を備える、請求項２５に記載の方法。
【請求項２９】
前記第２の画像の少なくとも１つの部分を変更することが、前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることを備える、請求項２５に記載の方法。
【請求項３０】
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、
または前記第１の画像の部分および前記第３の画像の部分
とマージすることが、
前記第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを備え、ここにおいて前記１つまたは複数のセクションが画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、請求項２５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本発明は、一般に、移動物体により引き起こされる画像中の収差を除去することに関する。より詳細には、本発明は、物体の動きを描く、フラッシュ光源を使用して生成される画像中の範囲を決定するために、一連の画像を使用することと、そのような収差を画像から除去することとに関する。
【背景技術】
【０００２】
[0002]画像を捕捉するとき、シーンを人工光で照明するために、フラッシュが使用され得る。フラッシュは、非常に短い時間期間にわたりシーンを照明し得るので、移動物体は、捕捉される画像の中で、静止して現れ得る。しかし、フラッシュを使用すると、シーンの背景は、前景よりも暗く現れ得る。対照的に、環境光だけを使用して捕捉される画像は、フラッシュを使用して捕捉される画像中に生成されるものより明るい背景描写を提供し得る。シーンの環境画像とフラッシュ画像の両方を捕捉して画像を融合することによって、各々の好ましい特徴を有した画像が生成され得る。しかし、第１の画像が捕捉される時間と第２の画像が捕捉される時間との間の物体の動きは、融合画像中に動き領域の出現を引き起こし得る。
【０００３】
[0003]従来、画像中の動きは、所望の画像を参照画像と比較して、画像間の画素の差異を決定することによって検出される。フラッシュと環境光とを使用する画像間の動き検出は困難であり、フラッシュおよび／またはフラッシュと環境の画像中で異なる可視区域を有することによって引き起こされる影の結果であり得る誤判定をしばしばもたらす。
【発明の概要】
【０００４】
[0004]１つの新機軸は、画像における移動物体によって生成される収差を補償するための方法である。いくつかの実施形態では、方法は、第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、第２の露出と第２の外部照明とを有するシーンの第２の画像を生成することと、第２の露出および第２の外部照明が第１の露出および第１の外部照明と異なる、第２の画像が第１の画像の後の時間に捕捉される、第１の露出と第１の外部照明とを有するシーンの第３の画像を生成することと、第３の画像が第２の画像の後の時間に捕捉される、を含む。方法は、第１の画像と第３の画像と使用して、１つまたは複数の動き領域を決定することをさらに含み得、１つまたは複数の動き領域が、第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す第１の画像、第２の画像、および第３の画像のうちの１つまたは複数の画像中の区域を示す。別の新機軸は、フラッシュ照明システムを使用して捕捉された画像における移動物体によって生成される収差を補償するための方法である。いくつかの実施形態では、方法は、時間ｔ−Δｔ１において第１の画像を捕捉することと、時間ｔにおいて第１の画像の後に第２の画像を捕捉することと、第２の画像を前記捕捉することがフラッシュ照明システムを活動化することを含み、ここにおいて、Δｔ１が第１の画像を捕捉することと第２の画像を捕捉することとの間の時間を表す、時間ｔ＋Δｔ２において第２の画像の後に第３の画像を捕捉することと、ここにおいて、Δｔ２が第２の画像を捕捉することと第３の画像を捕捉することとの間の時間を表す、を含む。方法は、第１、第２、および第３の画像中に描画される物体の動き情報を決定することと、動き情報と、第１の画像の部分、第３の画像の部分、または第１の画像の部分および第３の画像の部分とを使用して、第２の画像の少なくとも１つの部分を変更することとをさらに含む。
【０００５】
[0005]一例では、第１の画像および第３の画像は、環境光を使用して捕捉される。第２の画像は、フラッシュ照明システムを使用して捕捉され得る。方法は、第１の画像および第３の画像の１つまたは複数の画素を変更することと、対応する画素の各組間の異なる値を数量化することと、対応する画素の組が、画像中の同じ場所に対応する、第１の画像または第３の画像のうちの一方の中の画素と第１の画像または第３の画像のうちの他方の中の画素とを備える、対応する画素の各組間の異なる値を閾値処理することと、をさらに含み得る。一例では、１つまたは複数の動き領域を決定することは、閾値より上の異なる値を有する対応する画素の各組の場所に少なくとも部分的に基づく。いくつかの実施形態では、方法は、第１の画像および第３の画像のうちの１つまたは複数の画像中の動き領域に対応する第２の画像の１つまたは複数の部分と第１の画像および第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成することをさらに含み得る。いくつかの実施形態では、方法は、第２の画像の部分を、第１の画像の部分、第３の画像の部分、または第１の画像の部分および第３の画像の部分とマージすることをさらに含む。一例では、第２の画像の部分を、第１の画像の部分、第３の画像の部分、または第１の画像の部分および第３の画像の部分とマージすることは、第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを含み、ここにおいて１つまたは複数のセクションが画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、区域が動き領域によって隠されていなかった。
【０００６】
[0006]本発明の別の態様は、実行されると、画像における移動物体により生成される収差を補償するための方法を実施する命令をその上に記憶した、コンピュータ可読媒体である。
【０００７】
[0007]本発明の別の態様は、画像における移動物体により生成される収差を補償するように構成される装置である。いくつかの実施形態では、装置は、撮像のための照明を生成することが可能なフラッシュシステムを含み得る。いくつかの実施形態では、装置は、フラッシュシステムに結合されるカメラを含み得る。カメラは、第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、第２の露出と第２の外部照明とを有するシーンの第２の画像を生成することと、第２の露出および第２の外部照明が第１の露出および第１の外部照明と異なる、第２の画像が第１の画像の後の時間に捕捉される、第１の露出と第１の外部照明とを有するシーンの第３の画像を生成することと、第３の画像が第２の画像の後の時間に捕捉される、を行うように構成され得る。装置は、カメラによって捕捉される画像を記憶するように構成されるメモリ構成要素をも含み得る。いくつかの実施形態では、装置は、第１の画像と第３の画像とを使用して、１つまたは複数の動き領域を決定すること、１つまたは複数の動き領域が、第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す第１の画像、第２の画像、および第３の画像のうちの１つまたは複数の画像中の区域を示す、を行うように構成されるプロセッサをも含み得る。
【０００８】
[0008]一例では、第１の画像および第３の画像は、環境光を使用して生成され、第２の画像は、シーンを照明するためのフラッシュを使用して生成される。いくつかの実施形態では、プロセッサは、１つまたは複数の動き領域を決定する前に、第１の画像および第３の画像の、自動ホワイトバランス、自動露出、および自動焦点パラメータを調整するようにさらに構成される。いくつかの実施形態では、プロセッサは、第１の画像および第３の画像の１つまたは複数の画素を変更することと、対応する画素の各組間の異なる値を数量化することと、対応する画素の組が、画像中の同じ場所に対応する、第１の画像または第３の画像のうちの一方の中の画素と第１の画像または第３の画像のうちの他方の中の画素とを備え、対応する画素の各組間の異なる値を閾値処理することとを行うようにさらに構成される。いくつかの実施形態では、プロセッサは、閾値より上の異なる値を有する対応する画素の各組の場所に少なくとも部分的に基づいて、１つまたは複数の動き領域を決定するように構成される。いくつかの実施形態では、プロセッサは、第１の画像および第３の画像のうちの１つまたは複数の画像中の動き領域に対応する第２の画像の１つまたは複数の部分と第１の画像および第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成するようにさらに構成される。いくつかの実施形態では、プロセッサは、第２の画像の部分を、第１の画像の部分、第３の画像の部分、または第１の画像の部分および第３の画像の部分とマージするようにさらに構成される。いくつかの実施形態では、プロセッサは、第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化するように構成され、ここにおいて１つまたは複数のセクションが画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、その区域が動き領域によって隠されていなかった。
【図面の簡単な説明】
【０００９】
【図１Ａ】[0009]例示的な実施形態に従う、一連の環境−フラッシュ−環境画像の例を描く図。
【図１Ｂ】[0010]シーンおよびグラフィカルな図解中で動き領域を決定することを図示する画像の例を描く図。
【図１Ｃ】[0011]一連の環境−フラッシュ−環境画像中の２つの環境画像間の物体の動きを示す領域の例を描く図。
【図２】[0012]例示的な実施形態に従う、環境とフラッシュ画像のマージを図示する画像の組の例を描く図。
【図３】[0013]いくつかの動作可能な特徴を実装する撮像デバイスの実施形態の例を図示するブロック図。
【図４】[0014]画像中の収差を補償する方法の実施形態の例を示すフローチャートを描く図。
【図５】[0015]シーン中の動き領域を決定する方法の実施形態の例を示すフローチャートを描く図。
【図６】[0016]画像中の収差を補償する方法の実施形態の別の例を示すフローチャートを描く図。
【発明を実施するための形態】
【００１０】
[0017]以下の詳細な説明は、本発明のある特定の実施形態を対象とする。しかし、本発明は、数多くの異なる方法で具現化され得る。本明細書における態様が多種多様な形態で具現化され得、本明細書に開示される任意の特定の構造、機能、または両方が本発明の１つまたは複数の実施形態の単なる代表であることが明らかであるはずである。本明細書に開示される態様は、任意の他の態様と独立に実装され得、これらの態様のうちのその２つ以上が様々な方法で組み合わされ得る。たとえば、本明細書に記載される任意の数の態様を使用して、装置が実装され得、または方法が実施され得る。加えて、本明細書に記載される態様に加えて、または本明細書に記載される態様のうちの１つまたは複数以外の、他の構造、機能性、または構造および機能性を使用して、そのような装置が実装され得、またはそのような方法が実施され得る。
【００１１】
[0018]本明細書に記載される例、システム、および方法は、デジタルカメラ技術に関連して記載される。本明細書に記載されるシステムおよび方法は、様々な異なるデジタルカメラデバイス上に実装され得る。これらは、汎用もしくは専用のデジタルカメラシステム、環境、または構成を含む。本発明で使用するのに好適であり得るデジタルカメラシステム、環境、および構成の例としては、限定するものではないが、デジタルカメラ、ハンドヘルドまたはラップトップデバイス、およびモバイルデバイス（たとえば、電話、スマートフォン、携帯情報端末（ＰＤＡ）、ウルトラモバイルパーソナルコンピュータ（ＵＭＰＣ）、およびモバイルインターネットデバイス（ＭＩＤ））がある。
【００１２】
[0019]実施形態は、移動物体を含む画像中の動き収差を訂正するために使用され得る。実施形態は、立て続けに撮られた一連の３つの画像を使用し得、第１および第３の画像は、シーン中の動き領域を検出するために、同じ露出と外部照明とを有する。いくつかの実施形態は、一連の環境−フラッシュ−環境画像を使用する。「環境−フラッシュ−環境」とは、比較的短い時間枠で捕捉される一連の３つの画像のことを言い、ここにおいて、第１および第３の画像は環境光を使用して捕捉され、第２の画像は、フラッシュを使用して捕捉される。たとえば、第１の画像は、時間ｔ−Δｔ1における環境光を使用して露光され得、ここにおいてΔｔ1は第１の画像と第２の画像との間の時間を表す。第２の画像は、フラッシュ光源を使用して時間ｔにおいてその後露光され得る。第３の画像は、時間ｔ＋Δｔ2における環境光を使用してその後露光され得、ここにおいてΔｔ2は第２の画像と第３の画像との間の時間を表す。いくつかの実施形態では、Δｔ1はΔｔ2に等しい。いくつかの実施形態では、Δｔ1はΔｔ2よりも大きいまたは小さい。
【００１３】
[0020]１つまたは複数の移動物体を表す画像の部分は、フラッシュ画像を時間的に囲む２つの環境画像（フラッシュ画像の前に捕捉された第１の環境画像およびフラッシュ画像の後に捕捉された第２の環境画像）において決定され得る。いくつかの実施形態では、１つまたは複数の画像パラメータが、第１の画像のための環境光と、第２の画像のためのフラッシュ光源と、第３の画像のための環境光とを使用して捕捉される一連の画像中の環境光に照らされる画像を捕捉するために同じに設定され、２つの環境画像中の物体の動きを検出するのに役立つ。たとえば、いくつかの実施形態では、自動ホワイトバランス、自動露出、および自動焦点画像パラメータ（集合的に、本明細書では「３Ａパラメータ」と呼ばれる）のうちの１つまたは複数は、２つの環境画像について同じまたは同様の値に設定され得る。環境−フラッシュ−環境画像のうちの２つ以上の部分は、物体の動きによって引き起こされる画像の領域中の画像収差である、いわゆる「ゴースト領域」または動き領域の出現を除去するために融合され得る。
【００１４】
[0021]ある発明性のある態様に関する方法および装置の例示的な実施形態では、シーン中の動き領域を検出し、それらの動き領域の補償を可能にするために、３つの画像が連続的に捕捉される。他の実施形態は、２つの画像のみまたは３より多い画像を含み得る。図１Ａは、撮像デバイス（本明細書では、参照を簡単にするために「カメラ」としばしば呼ばれる）によって連続的に捕捉される、一連の３つの環境−フラッシュ−環境画像１０１、１０２、および１０３の例をそれぞれ図示し、画像は、シーン中の移動物体１０５を示す。画像１０１は、時間ｔ−Δｔ1において環境光を使用して捕捉された。画像１０１は、領域１０５A1として描かれる、時間ｔ−Δｔ1における物体１０５の位置を示す。画像１０２は、時間ｔにおいてフラッシュ光源を使用して捕捉された。Δｔ1は、画像１０１が捕捉された時間と画像１０２が捕捉された時間との間の時間期間を表す。画像１０２は、領域１０５Fとして描かれる、時間ｔにおける物体１０５の位置を示す。、画像１０３は、時間ｔ+Δｔ2において環境光を使用して捕捉された。Δｔ2は、画像１０２が捕捉された時間と画像１０３が捕捉された時間との間の時間期間を表す。画像１０３は、領域１０５A2として描かれる、時間ｔ＋Δｔ2における物体１０５の位置を示す。
【００１５】
[0022]２つ以上の画像の各々の特徴を有する結果として得られる画像を作り出すために、２つ以上の画像が融合（またはマージ）され得る。いくつかの実施形態では、融合画像の１つまたは複数のセクションがフラッシュ画像の特徴を有することとなり、融合画像の１つまたは複数のセクションが環境画像の特徴を有することとなるように、フラッシュ画像が環境画像と融合される。しかし、シーン中の移動物体を捕捉する２つ以上の画像を融合することは、時間的に異なる点における移動物体の位置を示す融合画像のいくつかの領域をもたらし得る。図１Ａは、画像１０１と、画像１０２と、画像１０３とを融合することによって生成される、融合した環境およびフラッシュ画像１０４の例を図示する。画像１０４は、それぞれ、時間ｔ−Δｔ1、ｔ、およびｔ＋Δｔ2における移動物体１０５の位置を描く領域１０５A1と、１０５Fと、１０５A2とを示す。これらの領域は、動き領域と呼ばれ得る。
【００１６】
[0023]いくつかの実施形態では、装置および方法は、一連の環境−フラッシュ−環境画像中の２つの環境画像からの情報を使用して、シーン中の動き領域を検出し得る。図１Ｂは、シーン中の動き領域を検出するために使用される画像の例を図示する。画像１０９および１１１は、それぞれ、画像１０１および１０３（図１Ａ）の変更バージョンを描いており、ここにおいて、画像１０１および１０３は、動きを示すと誤って決定され得る、たとえば、カメラのわずかな動きまたは環境照明の変化により引き起こされる差異といった、何らかの固有の差異を考慮するように処理された。画像の処理としては、画像をぼかすこと、画像をグレースケールに変換すること、モルフォロジカル（morphological）画像オープニング、およびモルフォロジカル画像クロージングがあり得る。画像１０９の領域１１８は、領域１０５A1に対応する画像１０１の処理領域を表す。画像１１１の領域１１９は、領域１０５A2に対応する画像１０３の処理領域を表す。画像１０９または１１１のうちの一方の中の、強度値などの各画素についての値は、２つの画像中の差異を数量化するため、対応する画素すなわち、画像１０９または１１１のうちの他方の中の、画像中の同じ場所に対応する画素についての値から減算され得る。対応する画素の対間の差異は、移動物体を表す領域を示し得る。差異の絶対値は、次いで、動きを示すと誤って決定され得る固有の差異をさらに考慮するように、所定の値において閾値処理され得る。画像１１２は、画像１０９および１１１中の対応する画素間の差異の絶対値を表すデータの例を示すグラフを描く。ｘ軸上の各位置は、画像１０９および１１１からの対応する画素の対を表す。ｙ軸は、対応する画素の各対中の画素間の差異についての絶対値を示す。画像１１２は、対応する画素間の差異についての閾値を表す線１１３をさらに示す。閾値レベルより上の値は、画像１０９と画像１１１の比較に基づいて、対応する画素の場所におけるシーン中の動きを示すと決定される。
【００１７】
[0024]動きを示すと決定された画素は、図１Ａでそれぞれ領域１０５A1および１０５A2により表される、画像１０１が捕捉された時間ｔ−Δｔ1における、および画像１０３が捕捉された時間ｔ＋Δｔ2における移動物体１０５の位置を示し得る。時間ｔ−Δｔ1およびｔ＋Δｔ2における移動物体１０５の位置は、時間ｔ−Δｔ1とｔ＋Δｔ2との間に移動物体が存在した可能性がある領域を推定するために使用され得る。図１Ｃは、一連の環境−フラッシュ−環境画像中の２つの環境画像間の物体の動きを示す推定領域の例を図示する。画像１１４および１１５は、図１Ｂを参照して上で記載されたように決定される、時間ｔ−Δｔ1とｔ＋Δｔ2との間の物体１０５の推定位置を表す領域２０５を描く。領域１１８および１１９は、説明の目的のために、画像１１４中に示される。環境−フラッシュ−環境画像のうちの２つ以上がマージされる場合、領域２０５は、動き領域が融合画像中に存在し得るシーンのセクションを表す。
【００１８】
[0025]いくつかの実施形態では、装置および方法は、フラッシュ画像１０２からの１つまたは複数の部分と、環境画像１０１の１つまたは複数の部分および／または環境画像１０３の１つまたは複数の部分とを有する画像を生成するために、画像１０１と、画像１０２と、画像１０３とをマージ（または融合）し得る。領域２０５または領域２０５の部分に対応する融合画像の部分は、融合画像が時間ｔ−Δｔ1、ｔ、およびｔ＋Δｔ2のうちのただ１つにおける移動物体１０５の位置を描くように、画像１０１、１０２、および１０３のうちの１つから取られ得る。
【００１９】
[0026]図２は、画像の組の例、画像１０６と、画像１０７と、画像１０８とを描き、各画像は、いくつかの実施形態に従って、物体１０５の動きにより引き起こされる収差を含有しない結果として得られる画像を形成するために、画像１０１、画像１０２、および画像１０３の部分を組み合わせることを図示する。
【００２０】
[0027]画像１０６は、画像１０１、１０２、および１０３（図１Ａ）のうちの２つ以上の部分を有する融合画像を描き、ここにおいて、領域２０５に対応する融合画像の部分は、画像１０１から取られている。したがって、画像１０６は、画像１０２および１０３が捕捉された時間における物体の位置を表す動き領域中の収差なしに、領域１０５A1により表される、時間ｔ−Δｔ1における物体１０５の位置を描く。
【００２１】
[0028]画像１０７は、画像１０１、１０２、および１０３のうちの２つ以上の部分を有する融合画像を描き、ここにおいて、領域２０５に対応する融合画像の部分は、画像１０２から取られている。したがって、画像１０７は、画像１０１および１０３が捕捉された時間における物体の位置を表す動き領域中の収差なしに、領域１０５Fにより表される、時間ｔにおける物体１０５の位置を描く。
【００２２】
[0029]画像１０８は、画像１０１、１０２、および１０３のうちの２つ以上の部分を有する融合画像を描き、ここにおいて、領域２０５に対応する融合画像の部分は、画像１０３から取られている。したがって、画像１０８は、画像１０１および１０３が捕捉された時間における物体の位置を表す動き領域中の収差なしに、領域１０５A2により表される、時間ｔ＋Δｔ2における物体１０５の位置を描く。
【００２３】
[0030]他の実装では、図示されたモジュールに関連すると記載された機能性は、当業者が了解するように、他のモジュール中に実装され得る。
【００２４】
[0031]図３は、いくつかの実施形態を実装するために使用され得る撮像デバイスの例を図示するブロック図である。撮像デバイス３００は、撮像センサ３１４と、レンズ３１０と、アクチュエータ３１２と、ワーキングメモリ３７０と、記憶装置３７５と、ディスプレイ３８０と、入力デバイス３９０と、フラッシュ３９５とに動作可能に接続されるプロセッサ３０５を含む。加えて、プロセッサ３０５は、メモリ３２０に接続される。図示されるメモリ３２０は、プロセッサ３０５が撮像デバイス３００の機能を実施するように構成する命令を規定するデータ値を記憶するいくつかのモジュールを記憶する。メモリ３２０は、レンズ制御モジュール３２５と、入力処理モジュール３３０と、パラメータモジュール３３５と、動き検出モジュール３４０と、画像レイヤモジュール３４５と、制御モジュール３６０と、オペレーティングシステム３６５とを含む。
【００２５】
[0032]例示的な実施形態では、光がレンズ３１０に入射し、撮像センサ３１４上に合焦される。いくつかの実施形態では、撮像センサ３１４は、電荷結合デバイス（ＣＣＤ）を含み得る。別の態様では、撮像センサ３１４は、相補型金属酸化膜半導体（ＣＭＯＳ）デバイスを含み得る。レンズ３１０は、アクチュエータ３１２に結合され、アクチュエータ３１２によって動かされ得る。アクチュエータ３１２は、ＡＦ動作期間に、一連の１つまたは複数のレンズ移動において、レンズ３１０を動かすように構成される。レンズ３１０がその移動範囲の境界に到達すると、レンズ３１０またはアクチュエータ３１２は、飽和したと呼ばれ得る。レンズ３１０は、ボイスコイルモータ（ＶＣＭ）、微小電子機械システム（ＭＥＭＳ）、または形状記憶許可（ＳＭＡ）を含む、当業界で知られている任意の方法によって作動され得る。
【００２６】
[0033]ディスプレイ３８０は、レンズ３１０を介して捕捉された画像を表示するように構成され、デバイス３００の構成機能を実装するようにやはり利用され得る。一実装では、ディスプレイ３８０は、ユーザによって、撮像デバイスの入力デバイス３９０を介して、選択される１つまたは複数の物体を表示するように構成され得る。
【００２７】
[0034]入力デバイス３９０は、実装に依存して、多くの形を取ることができる。いくつかの実装では、入力デバイス３９０は、タッチスクリーンディスプレイを形成するように、ディスプレイ３８０と一体化され得る。他の実装では、入力デバイス３９０は、撮像デバイス３００上に、別個のキーまたはボタンを含み得る。これらのキーまたはボタンは、ディスプレイ３８０上に表示されるメニューのナビゲーションのための入力を提供し得る。他の実装では、入力デバイス３９０は、入力ポートであり得る。たとえば、入力デバイス３９０は、撮像デバイス３００への別のデバイスの動作可能な結合を提供し得る。撮像デバイス３００は、次いで、入力デバイス３９０を介して取り付けられたキーボードまたはマウスから入力を受信し得る。
【００２８】
[0035]依然として図３を参照して、ワーキングメモリ３７０は、撮像デバイス３００の動作期間に動的に作り出されたデータを記憶するために、プロセッサ３０５によって使用され得る。たとえば、メモリ３２０中に記憶されたモジュール（下で議論される）のうちのいずれかからの命令は、プロセッサ３０５により実行されるとき、ワーキングメモリ３７０中に記憶され得る。ワーキングメモリ３７０は、プロセッサ３０５上で実行するプログラムによって利用されるスタックまたはヒープデータ（stack or heap data）などの、動的なランタイムデータをやはり記憶し得る。ワーキングメモリ３７５は、撮像デバイス３００により作り出されたデータを記憶し得る。たとえば、レンズ３１０を介して捕捉された画像は、記憶装置３７５上に記憶され得る。
【００２９】
[0036]メモリ３２０は、コンピュータ可読媒体とみなされ得、いくつかのモジュールを記憶する。モジュールは、プロセッサ３０５のための命令を規定するデータ値を記憶する。これらの命令は、デバイス３００の機能を実施するようにプロセッサ３０５を構成する。たとえば、いくつかの態様では、メモリ３２０は、下に記載され、図４〜図６に図示されるように、プロセッサ３０５に、方法４００、４２５、および６００、またはそれらの部分のうちの１つまたは複数を実施させる命令を記憶するように構成され得る。図示される実施形態では、メモリ３２０は、レンズ制御モジュール３２５と、入力処理モジュール３３０と、パラメータモジュール３３５と、動き検出モジュール３４０と、画像レイヤ化モジュール３４５と、制御モジュール３６０と、オペレーティングシステム３６５とを含む。
【００３０】
[0037]制御モジュール３６０は、メモリ３２０中のモジュールのうちの１つまたは複数の動作を制御するように構成され得る。オペレーティングシステムモジュール３６５は、デバイス３００のハードウェアおよびソフトウェアリソースを管理するように、プロセッサ３０５を構成する命令を含む。
【００３１】
[0038]レンズ制御モジュール３２５は、レンズ３１０を制御するようにプロセッサ３０５を構成する命令を含む。レンズ制御モジュール３２５中の命令は、レンズ３１０についてレンズ位置に影響を及ぼすようにプロセッサ３０５を構成し得る。いくつかの態様では、レンズ制御モジュール３２５中の命令は、画像を捕捉するための画像センサ３１４と一緒に、レンズ３１０を制御するようにプロセッサ３０５を構成し得る。したがって、レンズ制御モジュール３２５中の命令は、画像センサ３１４およびレンズ３１０で画像を捕捉するための１つの手段を表し得る。
【００３２】
[0039]依然として図３を参照して、別の態様では、レンズ制御モジュール３２５は、他の入力パラメータとともに、レンズ３１０の位置情報を受信するようにプロセッサ３０５を構成する命令を含み得る。レンズ位置情報は、現在および目標のレンズ位置を含み得る。したがって、レンズ制御モジュール３２５中の命令は、レンズ位置を規定する入力パラメータを生成するための１つの手段であり得る。いくつかの態様では、レンズ制御モジュール３２５中の命令は、現在および／または目標のレンズ位置を決定するための１つの手段を表し得る。
【００３３】
[0040]入力処理モジュール３３０は、入力デバイス３９０から入力データを読むようにプロセッサ３０５を構成する命令を含む。一態様では、入力処理モジュール３３０は、画像センサ３１４により捕捉される画像内の物体を検出するようにプロセッサ３０５を構成し得る。別の態様では、入力処理モジュール３３０は、入力デバイス３９０からユーザ入力を受信し、入力デバイス３９０のユーザ操作に基づいて、ユーザ選択または構成を識別するようにプロセッサ３０５を構成し得る。したがって、入力処理モジュール３３０中の命令は、画像内の１つまたは複数の物体を識別または選択するための１つの手段を表し得る。
【００３４】
[0041]パラメータモジュール３３５は、撮像デバイス３００によって捕捉された画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを決定するように、プロセッサ３０５を構成する命令を含む。パラメータモジュール３３５は、１つまたは複数の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを調整するようにプロセッサ３０５を構成する命令をも含み得る。
【００３５】
[0042]動き検出モジュール３４０は、物体の動きを示し得る画像のセクションを検出するようにプロセッサ３０５を構成する命令を含む。いくつかの実施形態では、動き検出モジュール３４０は、物体の動きを示し得る画像のセクションを検出するために、２つ以上の画像のセクションを比較するようにプロセッサを構成する命令を含む。プロセッサは、２つ以上の画像中の画素間の差異を数量化することにより、２つ以上の画像のセクションを比較し得る。いくつかの実施形態では、動き検出モジュール３４０は、２つ以上の画像中の画素間の差異を数量化することにより決定される値を閾値処理するようにプロセッサを構成する命令を含む。いくつかの実施形態では、２つ以上の画像は、一連の環境−フラッシュ−環境画像中の２つの環境画像である。動き検出モジュール３４０は、動き領域と誤って識別され得る画像中の固有の差異を考慮するため、比較の前に２つ以上の画像を変更するようにプロセッサを構成する命令をも含み得る。
【００３６】
[0043]画像階層化モジュール３４５は、別の画像に加えるまたは別の画像を変更するために使用され得る画像のセクションを検出するようにプロセッサ３０５を構成する命令を含む。画像階層化モジュール３４５は、別の画像の上に画像のセクションを層状に重ねるようにプロセッサ３０５を構成する命令をも含み得る。例示的な実施形態では、画像階層化モジュール３４５は、別の画像中の動き領域に対応する画像のセクションを検出するための命令を含み得る。画像階層化モジュール３４５は、動き領域中の収差に対応する別の画像のセクションに加えるまたは別の画像のセクションを変更するため、画像のセクションを使用する命令をさらに含み得る。画像階層化モジュール３４５は、別の画像のセクション上に画像のセクションを層状に重ねる命令をさらに含み得る。
【００３７】
[0044]図４は、一連の画像における移動物体により生成される収差を補償するためのプロセス４００の実施形態の例のフローチャートを描く。プロセス４００はブロック４０５において開始し、ここにおいて、図１Ａに描かれる画像１０１などの第１の画像が、時間ｔ−Δｔ1において、図３に描かれる撮像デバイス３００などの撮像デバイスによって捕捉される。第１の画像は、環境光を使用して捕捉され得る。Δｔ1は、撮像デバイスが第１の画像を捕捉するときと撮像デバイスが第２の画像を捕捉するときとの間の時間期間を表す。
【００３８】
[0045]第１の画像を捕捉した後、プロセス４００はブロック４１０へと進み、ここにおいて、たとえば図１Ａで描かれる画像１０２といった第２の画像が、時間ｔにおいて、撮像デバイスによって捕捉される。第２の画像は、シーンを照明するフラッシュを使用して捕捉され得る。
【００３９】
[0046]第２の画像を捕捉した後、プロセス４００はブロック４１５へと進み、ここにおいて、たとえば図１Ａで描かれる画像１０３といった第３の画像が、時間ｔ＋Δｔ2において、撮像デバイスによって捕捉される。Δｔ2は、撮像デバイスが第２の画像を捕捉するときと撮像デバイスが第３の画像を捕捉するときとの間の時間期間を表す。第３の画像は、環境光を使用して捕捉され得る。
【００４０】
[0047]第３の画像を捕捉した後、プロセス４００はブロック４２０へと進み、ここにおいて、第１の画像および第３の画像の、自動ホワイトバランス、自動露出、ならびに自動焦点パラメータが、同じまたは同様の値に調整され得る。
【００４１】
[0048]プロセス４００は次いでブロック４２５へと進み、ここにおいて、動き領域が検出される。動き領域を検出する実施形態は、図５に関連して下で記載される。
【００４２】
[0049]動き領域が検出された後、プロセスはブロック４３０へと進み、ここにおいて、図１Ｃおよび図２に描かれる領域２０５などといった、シーン中の動いている物体を示す領域に対応する、第１の画像、第２の画像、および第３の画像の１つまたは複数の部分が決定される。
【００４３】
[0050]プロセス４００は次いでブロック４３５へと進み、ここにおいて、第１の画像、第２の画像、および第３の画像のうちの１つからの対応する領域の選択について決定が行われる。
【００４４】
[0051]第１の画像、第２の画像、および第３の画像のうちの１つからの対応する領域の選択が決定された後、プロセスは、ブロック４４０へと進み、ここにおいて、第１の画像、第２の画像、および第３の画像のうちの２つ以上からの部分を有する画像が生成され、ここにおいて、部分のうちの１つは、決定された対応する領域である。したがって、画像は、動き領域なしで生成される。プロセスは、次いで終了する。
【００４５】
[0052]図５は、一連の環境−フラッシュ−環境画像（たとえば、図１中に描かれる画像１０１、１０２、および１０３）中の２つの画像間の動き領域を決定するためのプロセス４２５の実施形態の例を図示するフローチャートを描く。いくつかの実施形態では、環境画像１０１および１０３のみが、動き検出のために使用される。プロセス４２５は、ブロック５１０において開始し、ここにおいて、環境−フラッシュ−環境画像のうちの１つまたは複数は、動きを示すと誤って決定され得る、たとえば、カメラのわずかな動きまたは環境照明の変化により引き起こされる差異といった、固有の差異を考慮するように変更された。たとえば、画像は、（必要ならば）画像をぼかすこと、画像をグレースケールに変換すること、モルフォロジカル画像オープニング、モルフォロジカル画像クロージング、または任意の他の好適な画像処理技法によって変更され得る。
【００４６】
[0053]画像が変更された後、プロセスはブロック５２０へと進み、ここにおいて、変更された画像の２つの画像中の同じ場所に対応する画素間で、差異が決定される。差異は、変更された画像のうちの一方からの、強度値などの各画素についての値を、他方の変更された画像中の対応する画素についての値から減算することによって決定され得る。ゼロでない差異の値は、比較されている２つの画像の対応する画素中に差異が存在することを示し、これは、２つの画像間の時間期間の間に、物体が、画素中に示される画像の領域中で動いた可能性があることを示し得る。
【００４７】
[0054]対応する画素間の差異の値が決定された後、プロセス４２５はブロック５３０へと進み、ここにおいて、各差異の値の絶対値が閾値処理される。各差異の値の絶対値は、動きを示すと誤って決定され得る、固有の差異を考慮するために閾値処理され得る。閾値レベルより上の値は、一連の環境−フラッシュ−環境画像中で捕捉されたシーンにおける動きを示すと決定され得る。閾値レベルは、実験によって決定されるプリセット値であり得る。閾値レベルは、できるだけ多くの動きを識別するとき、誤った動き決定を最小化するために、経験的に決定され得る。いくつかの実施形態では、閾値レベルは、ユーザによって動的に設定され得る。あるいは、閾値レベルは、ユーザ入力および処理結果に基づいて、半自動的に設定され得る。各差異の値の絶対値が閾値処理された後、プロセス４２５は終了する。
【００４８】
[0055]図６は、画像中の少なくとも１つの物体を照明するためにフラッシュ光源を使用して捕捉された画像における移動物体により生成される収差を補償するプロセス４００の実施形態の例を図示するフローチャートを描く。プロセス６００は、ステップ６１０において開始し、ここにおいて、シーンの第１の画像（たとえば、図１Ａに描かれる画像１０１）が環境光を使用して生成される。第１の画像は、時間ｔ−Δｔ1においてシーンを捕捉し得、ここにおいて、Δｔ1は、第１の画像と第２の画像との間の時間期間を表す。
【００４９】
[0056]第１の画像が環境光を使用して生成された後、プロセスはステップ６２０へと進み、ここにおいて、シーンの第２の画像（たとえば、図１Ａに描かれる画像１０２）が、シーンを照明するためにフラッシュを使用して生成され、第２の画像は、第１の画像を捕捉するのに続いて捕捉される。第２の画像は、時間ｔにおいてシーンを捕捉し得る。
【００５０】
[0057]第２の画像がシーンを照明するためにフラッシュを使用して生成された後、プロセス６００はステップ６３０へと進み、ここにおいて、シーンの第３の画像（たとえば、図１Ａに描かれる画像１０３）が、環境光を使用して生成され、第３の画像は、第２の画像を捕捉するのに続いて捕捉される。第３の画像は、時間ｔ＋Δｔ2おいてシーンを捕捉し得、ここにおいて、Δｔ2は、第２の画像と第３の画像との間の時間期間を表す。
【００５１】
[0058]シーンの第３の画像が捕捉された後、プロセスはブロック６４０へと進み、ここにおいて、１つまたは複数の動き領域が決定される。動き領域を決定することは、第１の画像および第３の画像中にある対応する画素の特性における差異を決定することを含み得る。そのような差異は、たとえば、強度の差異または色の差異であり得る。１つまたは複数の動き領域を決定する実施形態は、図１Ｂおよび図５を参照して上で説明される。動き領域が決定された後、プロセスは終了する。
【００５２】
[0059]本明細書に開示された実施態様は、視差および傾斜アーティファクト（tilt artifacts）のない複数開口部アレイカメラのためのシステム、方法、および装置を提供する。当業者は、これらの実施形態が、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得ることを認識されよう。
【００５３】
[0060]いくつかの実施形態では、上に議論された回路、プロセス、およびシステムは、ワイヤレス通信デバイス中に実装され得る。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレスで通信するために使用されるある種の電子デバイスであり得る。ワイヤレス通信デバイスの例には、セルラ電話、スマートフォン、携帯情報端末（ＰＤＡ）、電子リーダー、ゲームシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどがある。
【００５４】
[0061]ワイヤレス通信デバイスは、１つまたは複数の画像センサと、２つ以上の画像信号プロセッサと、上で議論されたプロセスを実行するための命令またはモジュールを含むメモリとを含み得る。デバイスは、データと、メモリからの命令および／またはデータをロードするプロセッサと、１つまたは複数の通信インターフェースと、１つまたは複数の入力デバイスと、ディスプレイデバイスなどの１つまたは複数の出力デバイスと、電源／インターフェースとをやはり有し得る。ワイヤレス通信デバイスは、追加で、送信器と受信器とを含み得る。送信器と受信器とはまとめてトランシーバと呼ばれることがある。トランシーバは、ワイヤレス信号を送信および／または受信するために、１つまたは複数のアンテナに結合され得る。
【００５５】
[0062]ワイヤレス通信デバイスは、別の電子デバイス（たとえば、基地局）にワイヤレスで接続し得る。ワイヤレス通信デバイスは、代替的に、モバイルデバイス、移動局、加入者局、ユーザ機器（ＵＥ）、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれることがある。ワイヤレス通信デバイスの例としては、ラップトップまたはデスクトップコンピュータ、セルラフォン、スマートフォン、ワイヤレスモデム、電子リーダー、タブレットデバイス、ゲームシステムなどがある。ワイヤレス通信デバイスは、第３世代パートナーシッププロジェクト（３ＧＰＰ（登録商標））など、１つまたは複数の業界規格に従って動作し得る。したがって、「ワイヤレス通信デバイス」という一般的な用語は、工業規格に従い様々な命名で記載されるワイヤレス通信デバイス（たとえば、アクセス端末、ユーザ機器（ＵＥ）、リモート端末など）を含み得る。
【００５６】
[0063]本明細書に記載される機能は、プロセッサ可読またはコンピュータ可読媒体上の１つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによりアクセスされ得る任意の利用可能な媒体のことを言う。例として、限定するものではないが、そのような媒体としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、フラッシュメモリ、ＣＤ−ＲＯＭもしくは他の光学ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または命令もしくはデータ構造の形で所望のプログラムコードを記憶するために使用され得、コンピュータによりアクセスされ得る任意の他の媒体があり得る。本明細書で使用される、ディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）としては、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスクおよびブルーレイ（登録商標）ディスクがあり、ここにおいて、ディスク（ｄｉｓｋ）は通常データを磁気的に再生し、一方ディスク（ｄｉｓｃ）はデータをレーザーで光学的に再生する。コンピュータ可読媒体が有形で非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサにより実行、処理、または計算され得るコードまたは命令（たとえば、「プログラム」）と組み合わせたコンピューティングデバイスまたはプロセッサのことを言う。本明細書で使用される、「コード」という用語は、コンピューティングデバイスまたはプロセッサにより実行可能なソフトウェア、命令、コードまたはデータのことを言い得る。
【００５７】
[0064]本明細書に開示される方法は、記載された方法を達成するための１つもしくは複数のステップまたは行為を含む。方法ステップおよび／または行為は、特許請求の範囲から逸脱することなく、互いに交換され得る。言い換えれば、記載されている方法の適切な動作のために、特定の順番のステップまたは行為が必要とされるのでない限り、特定のステップおよび／または行為の順番および／または使用は、特許請求の範囲から逸脱することなく、変更され得る。
【００５８】
[0065]本明細書で使用される、「結合する（couple）」、「結合している（coupling）」、「結合される（coupled）」または「couple」という言葉の他の変形体は、間接的な接続または直接的な接続のいずれかを示し得ることに留意されたい。たとえば、第１の構成要素が第２の構成要素に「結合される」場合、第１の構成要素は、第２の構成要素に間接的に接続されるか、または第２の構成要素に直接的に接続されるかのいずれかであり得る。本明細書で使用される、「複数の（plurality）」という用語は、２つ以上を意味する。たとえば、複数の構成要素は、２つ以上の構成要素を示す。
【００５９】
[0066]「決定すること（determining）」という用語は、多種多様な行為を包含し、したがって「決定すること（determining）」とは、計算すること、コンピュータ処理をすること、処理すること、導出すること、検討すること、探索すること（たとえば、表、データベース、または別のデータ構造中で探索すること）、確認することなどを含み得る。また、「決定すること（determining）」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。また、「決定すること（determining）」は、解決すること、選択すること、選ぶこと、確立することなどを含み得る。
【００６０】
[0067]「に基づく（based on）」という語句は、別段に明記されていない限り、「にのみ基づく」を意味しない。言い換えれば、「に基づく（based on）」という語句は、「にのみ基づく」と「少なくとも〜に基づく」の両方を記載する。
【００６１】
[0068]上記の記載では、例の完全な理解を実現するために、具体的な詳細が与えられる。しかしながら、例はこれらの具体的な詳細なしに実施され得ることを当業者は理解されよう。たとえば、電気的構成要素／デバイスは、不必要な詳細で例を不明瞭にしないために、ブロック図で示されることがある。他の事例では、そのような構成要素、他の構造および技法は、例をさらに説明するために詳細に図示されることがある。
【００６２】
[0069]参照のため、および様々なセクションの位置決めを助けるために、本明細書には見出しが含まれる。これらの見出しは、それに関して説明した概念の範囲を限定するものではない。そのような概念は、明細書全体にわたって適用可能性を有し得る。
【００６３】
[0070]例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として描かれるプロセスとして記載され得ることも留意されたい。フローチャートは、動作を順次プロセスとして記載し得るが、動作の多くは、並列に、または同時に実施され得、またプロセスは繰り返され得る。さらに、動作の順序は並べ替えられ得る。プロセスは、その動作が完了すると、終了される。プロセスは、方法、機能、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスがソフトウェア機能に対応するとき、その終了とは、発呼機能または主機能に機能を戻すことに対応する。
【００６４】
[0071]開示される実装形態の以前の記載は、当業者が本開示を作るまたは使用することを可能にするために提供される。これらの実装形態の様々な変更形態は、当業者には容易に明らかになるものであり、本明細書で定義した一般原理は、本開示の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本開示は、本明細書で示した実装形態に限定されることは意図されておらず、本明細書で開示された原理および新規の特徴に一致する最も広い範囲を与られるべきものである。
【図１Ａ】
2018512751.tif 000003
【図１Ｂ】
2018512751.tif 000004
【図１Ｃ】
2018512751.tif 000005
【図２】
2018512751.tif 000006
【図３】
2018512751.tif 000007
【図４】
2018512751.tif 000008
【図５】
2018512751.tif 000009
【図６】
2018512751.tif 000010
【手続補正書】
【提出日】平成29年10月19日(2017.10.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像における移動物体によって生成される収差を補償するための方法であって、
第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、
第２の露出と第２の外部照明とを有する前記シーンの第２の画像を生成することと、前記第２の露出および前記第２の外部照明が前記第１の露出および前記第１の外部照明と異なる、前記第２の画像が前記第１の画像の後の時間に捕捉される、
前記第１の露出と前記第１の外部照明とを有する前記シーンの第３の画像を生成することと、前記第３の画像が前記第２の画像の後の時間に捕捉される、
前記第１の画像と前記第３の画像とを使用して、１つまたは複数の動き領域を決定することと、前記１つまたは複数の動き領域が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す前記第１の画像、第２の画像、および第３の画像のうちの２つ以上の画像中の同じ場所に対応する画素を示す、
を備える方法。
【請求項２】
前記第１の画像および前記第３の画像が環境光を使用して生成され、前記第２の画像が前記シーンを照明するためのフラッシュを使用して生成される、請求項１に記載の方法。
【請求項３】
前記第１および第３の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを前記１つまたは複数の動き領域を決定する前に同じ値に調整することをさらに備える、請求項１に記載の方法。
【請求項４】
１つまたは複数の動き領域を前記決定することが、
ぼかすこと、グレースケールに変換すること、モルフォロジカル画像オープニング、またはモルフォロジカル画像クロージングによって、前記第１の画像および前記第３の画像の１つまたは複数の画素を変更することと、
対応する画素の各組間の差分値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の各組間の前記差分値を閾値処理することと
を備える、請求項１に記載の方法。
【請求項５】
１つまたは複数の動き領域を前記決定することは、対応する画素の各組の前記場所が閾値より上の差分値を有することに少なくとも部分的に基づく、請求項１に記載の方法。
【請求項６】
前記第１の画像および前記第３の画像のうちの１つまたは複数の画像中の動き領域に対応する前記第２の画像の１つまたは複数の部分と前記第１の画像および前記第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成することをさらに備える、請求項１に記載の方法。
【請求項７】
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることをさらに備える、請求項１に記載の方法。
【請求項８】
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることが、
前記第１の画像、前記第２の画像、または前記第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを備え、ここにおいて、前記１つまたは複数のセクションは、画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、請求項７に記載の方法。
【請求項９】
実行されると、少なくとも１つの物理的なコンピュータプロセッサに、タッチ入力の位置を調整する方法を実施させる命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記方法が、
第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、
第２の露出と第２の外部照明とを有する前記シーンの第２の画像を生成することと、前記第２の露出および前記第２の外部照明が前記第１の露出および前記第１の外部照明と異なる、前記第２の画像が前記第１の画像の後の時間に捕捉される、
前記第１の露出と前記第１の外部照明とを有する前記シーンの第３の画像を生成することと、前記第３の画像が前記第２の画像の後の時間に捕捉される、
前記第１の画像と前記第３の画像とを使用して、１つまたは複数の動き領域を決定することと、前記１つまたは複数の動き領域が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す前記第１の画像、第２の画像、および第３の画像のうちの２つ以上の画像中の同じ場所に対応する画素を示す、
を備える、非一時的コンピュータ可読記憶媒体。
【請求項１０】
前記第１の画像および前記第３の画像が環境光を使用して生成され、前記第２の画像が前記シーンを照明するためのフラッシュを使用して生成される、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１１】
前記方法が、前記第１および第３の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを前記１つまたは複数の動き領域を決定する前に同じ値に調整することをさらに備える、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１２】
前記方法が、
ぼかすこと、グレースケールに変換すること、モルフォロジカル画像オープニング、またはモルフォロジカル画像クロージングによって、前記第１の画像および前記第３の画像の１つまたは複数の画素を変更することと、
対応する画素の各組間の差分値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の各組間の前記差分値を閾値処理することと
を備える、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１３】
１つまたは複数の動き領域を前記決定することは、対応する画素の各組の前記場所が閾値より上の差分値を有することに少なくとも部分的に基づく、請求項１２に記載の非一時的コンピュータ可読記憶媒体。
【請求項１４】
前記方法が、前記第１の画像および前記第３の画像のうちの１つまたは複数の画像中の動き領域に対応する前記第２の画像の１つまたは複数の部分と前記第１の画像および前記第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成することをさらに備える、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１５】
前記方法が、前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることをさらに備える、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１６】
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分とマージすることが
前記第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを備え、ここにおいて、前記１つまたは複数のセクションは、画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
【請求項１７】
画像における移動物体により生成される収差を補償するように構成される装置であって、
撮像のための照明を生成することが可能なフラッシュシステムと、
前記フラッシュシステムに結合されるカメラと、ここにおいて、前記カメラが、
第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、
第２の露出と第２の外部照明とを有する前記シーンの第２の画像を生成することと、前記第２の露出および前記第２の外部照明が前記第１の露出および前記第１の外部照明と異なる、前記第２の画像が前記第１の画像の後の時間に捕捉される、
前記第１の露出と前記第１の外部照明とを有する前記シーンの第３の画像を生成することと、前記第３の画像が前記第２の画像の後の時間に捕捉される
を行うように構成される、
前記カメラによって捕捉される画像を記憶するように構成されるメモリ構成要素と、
前記第１の画像と前記第３の画像とを使用して、１つまたは複数の動き領域を決定すること、前記１つまたは複数の動き領域が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す前記第１の画像、第２の画像、および第３の画像のうちの２つ以上の画像中の同じ場所に対応する画素を示す、を行うように構成される、プロセッサと
を備える、装置。
【請求項１８】
前記第１の画像および前記第３の画像が環境光を使用して生成され、前記第２の画像が前記シーンを照明するためのフラッシュを使用して生成される、請求項１７に記載の装置。
【請求項１９】
前記プロセッサが、前記１つまたは複数の動き領域を決定する前に、前記第１の画像および前記第３の画像の、自動ホワイトバランス、自動露出、および自動焦点パラメータを調整するようにさらに構成される、請求項１７に記載の装置。
【請求項２０】
前記プロセッサが、
ぼかすこと、グレースケールに変換すること、モルフォロジカル画像オープニング、またはモルフォロジカル画像クロージングによって、前記第１の画像および前記第３の画像の１つまたは複数の画素を変更することと、
対応する画素の各組間の差分値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の各組間の前記差分値を閾値処理することと
を行うように構成される、請求項１７に記載の装置。
【請求項２１】
前記プロセッサは、対応する画素の各組の前記場所が閾値より上の差分値を有することに少なくとも部分的に基づいて、１つまたは複数の動き領域を決定するように構成される、請求項２０に記載の装置。
【請求項２２】
前記プロセッサが、前記第１の画像および前記第３の画像のうちの１つまたは複数の画像中の動き領域に対応する前記第２の画像の１つまたは複数の部分と前記第１の画像および前記第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成するようにさらに構成される、請求項１７に記載の装置。
【請求項２３】
前記プロセッサが、前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージするようにさらに構成される、請求項１７に記載の装置。
【請求項２４】
前記プロセッサが、前記第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化するように構成され、ここにおいて、前記１つまたは複数のセクションは、画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、請求項２３に記載の装置。
【請求項２５】
フラッシュ照明システムを使用して捕捉された画像における移動物体によって生成される収差を補償するための方法であって、
時間ｔ−Δｔ1において第１の画像を捕捉することと、
時間ｔにおいて前記第１の画像の後に第２の画像を捕捉することと、前記第２の画像を前記捕捉することが前記フラッシュ照明システムを活動化することを含み、ここにおいて、Δｔ1が前記第１の画像を捕捉することと前記第２の画像を捕捉することとの間の時間を表す、
時間ｔ＋Δｔ2において前記第２の画像の後に第３の画像を捕捉することと、ここにおいて、Δｔ2が前記第２の画像を捕捉することと前記第３の画像を捕捉することとの間の時間を表す、
前記第１、第２、および第３の画像中に描画される物体の動き情報を決定することと、前記動き情報は、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す前記第１の画像、第２の画像、および第３の画像のうちの２つ以上の画像中の同じ場所に対応する画素を示す、
前記動き情報と、前記第１の画像の部分、前記第３の画像の部分、または前記第１の画像の部分および前記第３の画像の部分とを使用して、前記第２の画像の少なくとも１つの部分を変更することと
を備える、方法。
【請求項２６】
前記第１の画像および前記第３の画像が、同じ露出と同じ外部照明とを使用して捕捉される、請求項２５に記載の方法。
【請求項２７】
前記第１および第３の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを前記動き情報を決定する前に調整することをさらに備える、請求項２５に記載の方法。
【請求項２８】
動き情報を前記決定することが、
ぼかすこと、グレースケールに変換すること、モルフォロジカル画像オープニング、またはモルフォロジカル画像クロージングによって、前記第１の画像および前記第３の画像の１つまたは複数の画素を変更することと、
対応する画素の各組間の差分値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の各組間の前記差分値を閾値処理することと
を備える、請求項２５に記載の方法。
【請求項２９】
前記第２の画像の少なくとも１つの部分を変更することが、前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることを備える、請求項２５に記載の方法。
【請求項３０】
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、
または前記第１の画像の部分および前記第３の画像の部分
とマージすることが、
前記第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを備え、ここにおいて、前記１つまたは複数のセクションは、画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、請求項２５に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本発明は、一般に、移動物体により引き起こされる画像中の収差を除去することに関する。より詳細には、本発明は、物体の動きを描く、フラッシュ光源を使用して生成される画像中の範囲を決定するために、一連の画像を使用することと、そのような収差を画像から除去することとに関する。
【背景技術】
【０００２】
[0002]画像を捕捉するとき、シーンを人工光で照明するために、フラッシュが使用され得る。フラッシュは、非常に短い時間期間にわたりシーンを照明し得るので、移動物体は、捕捉される画像の中で、静止して現れ得る。しかし、フラッシュを使用すると、シーンの背景は、前景よりも暗く現れ得る。対照的に、環境光だけを使用して捕捉される画像は、フラッシュを使用して捕捉される画像中に生成されるものより明るい背景描写を提供し得る。シーンの環境画像とフラッシュ画像の両方を捕捉して画像を融合することによって、各々の好ましい特徴を有した画像が生成され得る。しかし、第１の画像が捕捉される時間と第２の画像が捕捉される時間との間の物体の動きは、融合画像中に動き領域の出現を引き起こし得る。
【０００３】
[0003]従来、画像中の動きは、所望の画像を参照画像と比較して、画像間の画素の差異を決定することによって検出される。フラッシュと環境光とを使用する画像間の動き検出は困難であり、フラッシュおよび／またはフラッシュと環境の画像中で異なる可視区域を有することによって引き起こされる影の結果であり得る誤判定をしばしばもたらす。
【発明の概要】
【０００４】
[0004]１つの新機軸は、画像における移動物体によって生成される収差を補償するための方法である。いくつかの実施形態では、方法は、第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、第２の露出と第２の外部照明とを有するシーンの第２の画像を生成することと、第２の露出および第２の外部照明が第１の露出および第１の外部照明と異なる、第２の画像が第１の画像の後の時間に捕捉される、第１の露出と第１の外部照明とを有するシーンの第３の画像を生成することと、第３の画像が第２の画像の後の時間に捕捉される、を含む。方法は、第１の画像と第３の画像と使用して、１つまたは複数の動き領域を決定することをさらに含み得、１つまたは複数の動き領域が、第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す第１の画像、第２の画像、および第３の画像のうちの１つまたは複数の画像中の区域を示す。別の新機軸は、フラッシュ照明システムを使用して捕捉された画像における移動物体によって生成される収差を補償するための方法である。いくつかの実施形態では、方法は、時間ｔ−Δｔ１において第１の画像を捕捉することと、時間ｔにおいて第１の画像の後に第２の画像を捕捉することと、第２の画像を前記捕捉することがフラッシュ照明システムを活動化することを含み、ここにおいて、Δｔ１が第１の画像を捕捉することと第２の画像を捕捉することとの間の時間を表す、時間ｔ＋Δｔ２において第２の画像の後に第３の画像を捕捉することと、ここにおいて、Δｔ２が第２の画像を捕捉することと第３の画像を捕捉することとの間の時間を表す、を含む。方法は、第１、第２、および第３の画像中に描画される物体の動き情報を決定することと、動き情報と、第１の画像の部分、第３の画像の部分、または第１の画像の部分および第３の画像の部分とを使用して、第２の画像の少なくとも１つの部分を変更することとをさらに含む。
【０００５】
[0005]一例では、第１の画像および第３の画像は、環境光を使用して捕捉される。第２の画像は、フラッシュ照明システムを使用して捕捉され得る。方法は、第１の画像および第３の画像の１つまたは複数の画素を変更することと、対応する画素の各組間の差分値を数量化することと、対応する画素の組が、画像中の同じ場所に対応する、第１の画像または第３の画像のうちの一方の中の画素と第１の画像または第３の画像のうちの他方の中の画素とを備える、対応する画素の各組間の差分値を閾値処理することと、をさらに含み得る。一例では、１つまたは複数の動き領域を決定することは、閾値より上の差分値を有する対応する画素の各組の場所に少なくとも部分的に基づく。いくつかの実施形態では、方法は、第１の画像および第３の画像のうちの１つまたは複数の画像中の動き領域に対応する第２の画像の１つまたは複数の部分と第１の画像および第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成することをさらに含み得る。いくつかの実施形態では、方法は、第２の画像の部分を、第１の画像の部分、第３の画像の部分、または第１の画像の部分および第３の画像の部分とマージすることをさらに含む。一例では、第２の画像の部分を、第１の画像の部分、第３の画像の部分、または第１の画像の部分および第３の画像の部分とマージすることは、第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを含み、ここにおいて１つまたは複数のセクションが画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、区域が動き領域によって隠されていなかった。
【０００６】
[0006]本発明の別の態様は、実行されると、画像における移動物体により生成される収差を補償するための方法を実施する命令をその上に記憶した、コンピュータ可読媒体である。
【０００７】
[0007]本発明の別の態様は、画像における移動物体により生成される収差を補償するように構成される装置である。いくつかの実施形態では、装置は、撮像のための照明を生成することが可能なフラッシュシステムを含み得る。いくつかの実施形態では、装置は、フラッシュシステムに結合されるカメラを含み得る。カメラは、第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、第２の露出と第２の外部照明とを有するシーンの第２の画像を生成することと、第２の露出および第２の外部照明が第１の露出および第１の外部照明と異なる、第２の画像が第１の画像の後の時間に捕捉される、第１の露出と第１の外部照明とを有するシーンの第３の画像を生成することと、第３の画像が第２の画像の後の時間に捕捉される、を行うように構成され得る。装置は、カメラによって捕捉される画像を記憶するように構成されるメモリ構成要素をも含み得る。いくつかの実施形態では、装置は、第１の画像と第３の画像とを使用して、１つまたは複数の動き領域を決定すること、１つまたは複数の動き領域が、第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す第１の画像、第２の画像、および第３の画像のうちの１つまたは複数の画像中の区域を示す、を行うように構成されるプロセッサをも含み得る。
【０００８】
[0008]一例では、第１の画像および第３の画像は、環境光を使用して生成され、第２の画像は、シーンを照明するためのフラッシュを使用して生成される。いくつかの実施形態では、プロセッサは、１つまたは複数の動き領域を決定する前に、第１の画像および第３の画像の、自動ホワイトバランス、自動露出、および自動焦点パラメータを調整するようにさらに構成される。いくつかの実施形態では、プロセッサは、第１の画像および第３の画像の１つまたは複数の画素を変更することと、対応する画素の各組間の差分値を数量化することと、対応する画素の組が、画像中の同じ場所に対応する、第１の画像または第３の画像のうちの一方の中の画素と第１の画像または第３の画像のうちの他方の中の画素とを備え、対応する画素の各組間の差分値を閾値処理することとを行うようにさらに構成される。いくつかの実施形態では、プロセッサは、閾値より上の差分値を有する対応する画素の各組の場所に少なくとも部分的に基づいて、１つまたは複数の動き領域を決定するように構成される。いくつかの実施形態では、プロセッサは、第１の画像および第３の画像のうちの１つまたは複数の画像中の動き領域に対応する第２の画像の１つまたは複数の部分と第１の画像および第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成するようにさらに構成される。いくつかの実施形態では、プロセッサは、第２の画像の部分を、第１の画像の部分、第３の画像の部分、または第１の画像の部分および第３の画像の部分とマージするようにさらに構成される。いくつかの実施形態では、プロセッサは、第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化するように構成され、ここにおいて１つまたは複数のセクションが画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、その区域が動き領域によって隠されていなかった。
【図面の簡単な説明】
【０００９】
【図１Ａ】[0009]例示的な実施形態に従う、一連の環境−フラッシュ−環境画像の例を描く図。
【図１Ｂ】[0010]シーンおよびグラフィカルな図解中で動き領域を決定することを図示する画像の例を描く図。
【図１Ｃ】[0011]一連の環境−フラッシュ−環境画像中の２つの環境画像間の物体の動きを示す領域の例を描く図。
【図２】[0012]例示的な実施形態に従う、環境とフラッシュ画像のマージを図示する画像の組の例を描く図。
【図３】[0013]いくつかの動作可能な特徴を実装する撮像デバイスの実施形態の例を図示するブロック図。
【図４】[0014]画像中の収差を補償する方法の実施形態の例を示すフローチャートを描く図。
【図５】[0015]シーン中の動き領域を決定する方法の実施形態の例を示すフローチャートを描く図。
【図６】[0016]画像中の収差を補償する方法の実施形態の別の例を示すフローチャートを描く図。
【発明を実施するための形態】
【００１０】
[0017]以下の詳細な説明は、本発明のある特定の実施形態を対象とする。しかし、本発明は、数多くの異なる方法で具現化され得る。本明細書における態様が多種多様な形態で具現化され得、本明細書に開示される任意の特定の構造、機能、または両方が本発明の１つまたは複数の実施形態の単なる代表であることが明らかであるはずである。本明細書に開示される態様は、任意の他の態様と独立に実装され得、これらの態様のうちのその２つ以上が様々な方法で組み合わされ得る。たとえば、本明細書に記載される任意の数の態様を使用して、装置が実装され得、または方法が実施され得る。加えて、本明細書に記載される態様に加えて、または本明細書に記載される態様のうちの１つまたは複数以外の、他の構造、機能性、または構造および機能性を使用して、そのような装置が実装され得、またはそのような方法が実施され得る。
【００１１】
[0018]本明細書に記載される例、システム、および方法は、デジタルカメラ技術に関連して記載される。本明細書に記載されるシステムおよび方法は、様々な異なるデジタルカメラデバイス上に実装され得る。これらは、汎用もしくは専用のデジタルカメラシステム、環境、または構成を含む。本発明で使用するのに好適であり得るデジタルカメラシステム、環境、および構成の例としては、限定するものではないが、デジタルカメラ、ハンドヘルドまたはラップトップデバイス、およびモバイルデバイス（たとえば、電話、スマートフォン、携帯情報端末（ＰＤＡ）、ウルトラモバイルパーソナルコンピュータ（ＵＭＰＣ）、およびモバイルインターネットデバイス（ＭＩＤ））がある。
【００１２】
[0019]実施形態は、移動物体を含む画像中の動き収差を訂正するために使用され得る。
実施形態は、立て続けに撮られた一連の３つの画像を使用し得、第１および第３の画像は、シーン中の動き領域を検出するために、同じ露出と外部照明とを有する。いくつかの実施形態は、一連の環境−フラッシュ−環境画像を使用する。「環境−フラッシュ−環境」とは、比較的短い時間枠で捕捉される一連の３つの画像のことを言い、ここにおいて、第１および第３の画像は環境光を使用して捕捉され、第２の画像は、フラッシュを使用して捕捉される。たとえば、第１の画像は、時間ｔ−Δｔ1における環境光を使用して露光され得、ここにおいてΔｔ1は第１の画像と第２の画像との間の時間を表す。第２の画像は、フラッシュ光源を使用して時間ｔにおいてその後露光され得る。第３の画像は、時間ｔ＋Δｔ2における環境光を使用してその後露光され得、ここにおいてΔｔ2は第２の画像と第３の画像との間の時間を表す。いくつかの実施形態では、Δｔ1はΔｔ2に等しい。いくつかの実施形態では、Δｔ1はΔｔ2よりも大きいまたは小さい。
【００１３】
[0020]１つまたは複数の移動物体を表す画像の部分は、フラッシュ画像を時間的に囲む２つの環境画像（フラッシュ画像の前に捕捉された第１の環境画像およびフラッシュ画像の後に捕捉された第２の環境画像）において決定され得る。いくつかの実施形態では、１つまたは複数の画像パラメータが、第１の画像のための環境光と、第２の画像のためのフラッシュ光源と、第３の画像のための環境光とを使用して捕捉される一連の画像中の環境光に照らされる画像を捕捉するために同じに設定され、２つの環境画像中の物体の動きを検出するのに役立つ。たとえば、いくつかの実施形態では、自動ホワイトバランス、自動露出、および自動焦点画像パラメータ（集合的に、本明細書では「３Ａパラメータ」と呼ばれる）のうちの１つまたは複数は、２つの環境画像について同じまたは同様の値に設定され得る。環境−フラッシュ−環境画像のうちの２つ以上の部分は、物体の動きによって引き起こされる画像の領域中の画像収差である、いわゆる「ゴースト領域」または動き領域の出現を除去するために融合され得る。
【００１４】
[0021]ある発明性のある態様に関する方法および装置の例示的な実施形態では、シーン中の動き領域を検出し、それらの動き領域の補償を可能にするために、３つの画像が連続的に捕捉される。他の実施形態は、２つの画像のみまたは３より多い画像を含み得る。図１Ａは、撮像デバイス（本明細書では、参照を簡単にするために「カメラ」としばしば呼ばれる）によって連続的に捕捉される、一連の３つの環境−フラッシュ−環境画像１０１、１０２、および１０３の例をそれぞれ図示し、画像は、シーン中の移動物体１０５を示す。画像１０１は、時間ｔ−Δｔ1において環境光を使用して捕捉された。画像１０１は、領域１０５A1として描かれる、時間ｔ−Δｔ1における物体１０５の位置を示す。画像１０２は、時間ｔにおいてフラッシュ光源を使用して捕捉された。Δｔ1は、画像１０１が捕捉された時間と画像１０２が捕捉された時間との間の時間期間を表す。画像１０２は、領域１０５Fとして描かれる、時間ｔにおける物体１０５の位置を示す。、画像１０３は、時間ｔ+Δｔ2において環境光を使用して捕捉された。Δｔ2は、画像１０２が捕捉された時間と画像１０３が捕捉された時間との間の時間期間を表す。画像１０３は、領域１０５A2として描かれる、時間ｔ＋Δｔ2における物体１０５の位置を示す。
【００１５】
[0022]２つ以上の画像の各々の特徴を有する結果として得られる画像を作り出すために、２つ以上の画像が融合（またはマージ）され得る。いくつかの実施形態では、融合画像の１つまたは複数のセクションがフラッシュ画像の特徴を有することとなり、融合画像の１つまたは複数のセクションが環境画像の特徴を有することとなるように、フラッシュ画像が環境画像と融合される。しかし、シーン中の移動物体を捕捉する２つ以上の画像を融合することは、時間的に異なる点における移動物体の位置を示す融合画像のいくつかの領域をもたらし得る。図１Ａは、画像１０１と、画像１０２と、画像１０３とを融合することによって生成される、融合した環境およびフラッシュ画像１０４の例を図示する。画像１０４は、それぞれ、時間ｔ−Δｔ1、ｔ、およびｔ＋Δｔ2における移動物体１０５の位置を描く領域１０５A1と、１０５Fと、１０５A2とを示す。これらの領域は、動き領域と呼ばれ得る。
【００１６】
[0023]いくつかの実施形態では、装置および方法は、一連の環境−フラッシュ−環境画像中の２つの環境画像からの情報を使用して、シーン中の動き領域を検出し得る。図１Ｂは、シーン中の動き領域を検出するために使用される画像の例を図示する。画像１０９および１１１は、それぞれ、画像１０１および１０３（図１Ａ）の変更バージョンを描いており、ここにおいて、画像１０１および１０３は、動きを示すと誤って決定され得る、たとえば、カメラのわずかな動きまたは環境照明の変化により引き起こされる差異といった、何らかの固有の差異を考慮するように処理された。画像の処理としては、画像をぼかすこと、画像をグレースケールに変換すること、モルフォロジカル（morphological）画像オープニング、およびモルフォロジカル画像クロージングがあり得る。画像１０９の領域１１８は、領域１０５A1に対応する画像１０１の処理領域を表す。画像１１１の領域１１９は、領域１０５A2に対応する画像１０３の処理領域を表す。画像１０９または１１１のうちの一方の中の、強度値などの各画素についての値は、２つの画像中の差異を数量化するため、対応する画素すなわち、画像１０９または１１１のうちの他方の中の、画像中の同じ場所に対応する画素についての値から減算され得る。対応する画素の対間の差異は、移動物体を表す領域を示し得る。差異の絶対値は、次いで、動きを示すと誤って決定され得る固有の差異をさらに考慮するように、所定の値において閾値処理され得る。画像１１２は、画像１０９および１１１中の対応する画素間の差異の絶対値を表すデータの例を示すグラフを描く。ｘ軸上の各位置は、画像１０９および１１１からの対応する画素の対を表す。ｙ軸は、対応する画素の各対中の画素間の差異についての絶対値を示す。画像１１２は、対応する画素間の差異についての閾値を表す線１１３をさらに示す。閾値レベルより上の値は、画像１０９と画像１１１の比較に基づいて、対応する画素の場所におけるシーン中の動きを示すと決定される。
【００１７】
[0024]動きを示すと決定された画素は、図１Ａでそれぞれ領域１０５A1および１０５A2により表される、画像１０１が捕捉された時間ｔ−Δｔ1における、および画像１０３が捕捉された時間ｔ＋Δｔ2における移動物体１０５の位置を示し得る。時間ｔ−Δｔ1およびｔ＋Δｔ2における移動物体１０５の位置は、時間ｔ−Δｔ1とｔ＋Δｔ2との間に移動物体が存在した可能性がある領域を推定するために使用され得る。図１Ｃは、一連の環境−フラッシュ−環境画像中の２つの環境画像間の物体の動きを示す推定領域の例を図示する。画像１１４および１１５は、図１Ｂを参照して上で記載されたように決定される、時間ｔ−Δｔ1とｔ＋Δｔ2との間の物体１０５の推定位置を表す領域２０５を描く。領域１１８および１１９は、説明の目的のために、画像１１４中に示される。環境−フラッシュ−環境画像のうちの２つ以上がマージされる場合、領域２０５は、動き領域が融合画像中に存在し得るシーンのセクションを表す。
【００１８】
[0025]いくつかの実施形態では、装置および方法は、フラッシュ画像１０２からの１つまたは複数の部分と、環境画像１０１の１つまたは複数の部分および／または環境画像１０３の１つまたは複数の部分とを有する画像を生成するために、画像１０１と、画像１０２と、画像１０３とをマージ（または融合）し得る。領域２０５または領域２０５の部分に対応する融合画像の部分は、融合画像が時間ｔ−Δｔ1、ｔ、およびｔ＋Δｔ2のうちのただ１つにおける移動物体１０５の位置を描くように、画像１０１、１０２、および１０３のうちの１つから取られ得る。
【００１９】
[0026]図２は、画像の組の例、画像１０６と、画像１０７と、画像１０８とを描き、各画像は、いくつかの実施形態に従って、物体１０５の動きにより引き起こされる収差を含有しない結果として得られる画像を形成するために、画像１０１、画像１０２、および画像１０３の部分を組み合わせることを図示する。
【００２０】
[0027]画像１０６は、画像１０１、１０２、および１０３（図１Ａ）のうちの２つ以上の部分を有する融合画像を描き、ここにおいて、領域２０５に対応する融合画像の部分は、画像１０１から取られている。したがって、画像１０６は、画像１０２および１０３が捕捉された時間における物体の位置を表す動き領域中の収差なしに、領域１０５A1により表される、時間ｔ−Δｔ1における物体１０５の位置を描く。
【００２１】
[0028]画像１０７は、画像１０１、１０２、および１０３のうちの２つ以上の部分を有する融合画像を描き、ここにおいて、領域２０５に対応する融合画像の部分は、画像１０２から取られている。したがって、画像１０７は、画像１０１および１０３が捕捉された時間における物体の位置を表す動き領域中の収差なしに、領域１０５Fにより表される、時間ｔにおける物体１０５の位置を描く。
【００２２】
[0029]画像１０８は、画像１０１、１０２、および１０３のうちの２つ以上の部分を有する融合画像を描き、ここにおいて、領域２０５に対応する融合画像の部分は、画像１０３から取られている。したがって、画像１０８は、画像１０１および１０３が捕捉された時間における物体の位置を表す動き領域中の収差なしに、領域１０５A2により表される、時間ｔ＋Δｔ2における物体１０５の位置を描く。
【００２３】
[0030]他の実装では、図示されたモジュールに関連すると記載された機能性は、当業者が了解するように、他のモジュール中に実装され得る。
【００２４】
[0031]図３は、いくつかの実施形態を実装するために使用され得る撮像デバイスの例を図示するブロック図である。撮像デバイス３００は、撮像センサ３１４と、レンズ３１０と、アクチュエータ３１２と、ワーキングメモリ３７０と、記憶装置３７５と、ディスプレイ３８０と、入力デバイス３９０と、フラッシュ３９５とに動作可能に接続されるプロセッサ３０５を含む。加えて、プロセッサ３０５は、メモリ３２０に接続される。図示されるメモリ３２０は、プロセッサ３０５が撮像デバイス３００の機能を実施するように構成する命令を規定するデータ値を記憶するいくつかのモジュールを記憶する。メモリ３２０は、レンズ制御モジュール３２５と、入力処理モジュール３３０と、パラメータモジュール３３５と、動き検出モジュール３４０と、画像レイヤモジュール３４５と、制御モジュール３６０と、オペレーティングシステム３６５とを含む。
【００２５】
[0032]例示的な実施形態では、光がレンズ３１０に入射し、撮像センサ３１４上に合焦される。いくつかの実施形態では、撮像センサ３１４は、電荷結合デバイス（ＣＣＤ）を含み得る。別の態様では、撮像センサ３１４は、相補型金属酸化膜半導体（ＣＭＯＳ）デバイスを含み得る。レンズ３１０は、アクチュエータ３１２に結合され、アクチュエータ３１２によって動かされ得る。アクチュエータ３１２は、ＡＦ動作期間に、一連の１つまたは複数のレンズ移動において、レンズ３１０を動かすように構成される。レンズ３１０がその移動範囲の境界に到達すると、レンズ３１０またはアクチュエータ３１２は、飽和したと呼ばれ得る。レンズ３１０は、ボイスコイルモータ（ＶＣＭ）、微小電子機械システム（ＭＥＭＳ）、または形状記憶許可（ＳＭＡ）を含む、当業界で知られている任意の方法によって作動され得る。
【００２６】
[0033]ディスプレイ３８０は、レンズ３１０を介して捕捉された画像を表示するように構成され、デバイス３００の構成機能を実装するようにやはり利用され得る。一実装では、ディスプレイ３８０は、ユーザによって、撮像デバイスの入力デバイス３９０を介して、選択される１つまたは複数の物体を表示するように構成され得る。
【００２７】
[0034]入力デバイス３９０は、実装に依存して、多くの形を取ることができる。いくつかの実装では、入力デバイス３９０は、タッチスクリーンディスプレイを形成するように、ディスプレイ３８０と一体化され得る。他の実装では、入力デバイス３９０は、撮像デバイス３００上に、別個のキーまたはボタンを含み得る。これらのキーまたはボタンは、ディスプレイ３８０上に表示されるメニューのナビゲーションのための入力を提供し得る。他の実装では、入力デバイス３９０は、入力ポートであり得る。たとえば、入力デバイス３９０は、撮像デバイス３００への別のデバイスの動作可能な結合を提供し得る。撮像デバイス３００は、次いで、入力デバイス３９０を介して取り付けられたキーボードまたはマウスから入力を受信し得る。
【００２８】
[0035]依然として図３を参照して、ワーキングメモリ３７０は、撮像デバイス３００の動作期間に動的に作り出されたデータを記憶するために、プロセッサ３０５によって使用され得る。たとえば、メモリ３２０中に記憶されたモジュール（下で議論される）のうちのいずれかからの命令は、プロセッサ３０５により実行されるとき、ワーキングメモリ３７０中に記憶され得る。ワーキングメモリ３７０は、プロセッサ３０５上で実行するプログラムによって利用されるスタックまたはヒープデータ（stack or heap data）などの、動的なランタイムデータをやはり記憶し得る。ワーキングメモリ３７５は、撮像デバイス３００により作り出されたデータを記憶し得る。たとえば、レンズ３１０を介して捕捉された画像は、記憶装置３７５上に記憶され得る。
【００２９】
[0036]メモリ３２０は、コンピュータ可読媒体とみなされ得、いくつかのモジュールを記憶する。モジュールは、プロセッサ３０５のための命令を規定するデータ値を記憶する。これらの命令は、デバイス３００の機能を実施するようにプロセッサ３０５を構成する。たとえば、いくつかの態様では、メモリ３２０は、下に記載され、図４〜図６に図示されるように、プロセッサ３０５に、方法４００、４２５、および６００、またはそれらの部分のうちの１つまたは複数を実施させる命令を記憶するように構成され得る。図示される実施形態では、メモリ３２０は、レンズ制御モジュール３２５と、入力処理モジュール３３０と、パラメータモジュール３３５と、動き検出モジュール３４０と、画像レイヤ化モジュール３４５と、制御モジュール３６０と、オペレーティングシステム３６５とを含む。
【００３０】
[0037]制御モジュール３６０は、メモリ３２０中のモジュールのうちの１つまたは複数の動作を制御するように構成され得る。オペレーティングシステムモジュール３６５は、デバイス３００のハードウェアおよびソフトウェアリソースを管理するように、プロセッサ３０５を構成する命令を含む。
【００３１】
[0038]レンズ制御モジュール３２５は、レンズ３１０を制御するようにプロセッサ３０５を構成する命令を含む。レンズ制御モジュール３２５中の命令は、レンズ３１０についてレンズ位置に影響を及ぼすようにプロセッサ３０５を構成し得る。いくつかの態様では、レンズ制御モジュール３２５中の命令は、画像を捕捉するための画像センサ３１４と一緒に、レンズ３１０を制御するようにプロセッサ３０５を構成し得る。したがって、レンズ制御モジュール３２５中の命令は、画像センサ３１４およびレンズ３１０で画像を捕捉するための１つの手段を表し得る。
【００３２】
[0039]依然として図３を参照して、別の態様では、レンズ制御モジュール３２５は、他の入力パラメータとともに、レンズ３１０の位置情報を受信するようにプロセッサ３０５を構成する命令を含み得る。レンズ位置情報は、現在および目標のレンズ位置を含み得る。したがって、レンズ制御モジュール３２５中の命令は、レンズ位置を規定する入力パラメータを生成するための１つの手段であり得る。いくつかの態様では、レンズ制御モジュール３２５中の命令は、現在および／または目標のレンズ位置を決定するための１つの手段を表し得る。
【００３３】
[0040]入力処理モジュール３３０は、入力デバイス３９０から入力データを読むようにプロセッサ３０５を構成する命令を含む。一態様では、入力処理モジュール３３０は、画像センサ３１４により捕捉される画像内の物体を検出するようにプロセッサ３０５を構成し得る。別の態様では、入力処理モジュール３３０は、入力デバイス３９０からユーザ入力を受信し、入力デバイス３９０のユーザ操作に基づいて、ユーザ選択または構成を識別するようにプロセッサ３０５を構成し得る。したがって、入力処理モジュール３３０中の命令は、画像内の１つまたは複数の物体を識別または選択するための１つの手段を表し得る。
【００３４】
[0041]パラメータモジュール３３５は、撮像デバイス３００によって捕捉された画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを決定するように、プロセッサ３０５を構成する命令を含む。パラメータモジュール３３５は、１つまたは複数の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを調整するようにプロセッサ３０５を構成する命令をも含み得る。
【００３５】
[0042]動き検出モジュール３４０は、物体の動きを示し得る画像のセクションを検出するようにプロセッサ３０５を構成する命令を含む。いくつかの実施形態では、動き検出モジュール３４０は、物体の動きを示し得る画像のセクションを検出するために、２つ以上の画像のセクションを比較するようにプロセッサを構成する命令を含む。プロセッサは、２つ以上の画像中の画素間の差異を数量化することにより、２つ以上の画像のセクションを比較し得る。いくつかの実施形態では、動き検出モジュール３４０は、２つ以上の画像中の画素間の差異を数量化することにより決定される値を閾値処理するようにプロセッサを構成する命令を含む。いくつかの実施形態では、２つ以上の画像は、一連の環境−フラッシュ−環境画像中の２つの環境画像である。動き検出モジュール３４０は、動き領域と誤って識別され得る画像中の固有の差異を考慮するため、比較の前に２つ以上の画像を変更するようにプロセッサを構成する命令をも含み得る。
【００３６】
[0043]画像階層化モジュール３４５は、別の画像に加えるまたは別の画像を変更するために使用され得る画像のセクションを検出するようにプロセッサ３０５を構成する命令を含む。画像階層化モジュール３４５は、別の画像の上に画像のセクションを層状に重ねるようにプロセッサ３０５を構成する命令をも含み得る。例示的な実施形態では、画像階層化モジュール３４５は、別の画像中の動き領域に対応する画像のセクションを検出するための命令を含み得る。画像階層化モジュール３４５は、動き領域中の収差に対応する別の画像のセクションに加えるまたは別の画像のセクションを変更するため、画像のセクションを使用する命令をさらに含み得る。画像階層化モジュール３４５は、別の画像のセクション上に画像のセクションを層状に重ねる命令をさらに含み得る。
【００３７】
[0044]図４は、一連の画像における移動物体により生成される収差を補償するためのプロセス４００の実施形態の例のフローチャートを描く。プロセス４００はブロック４０５において開始し、ここにおいて、図１Ａに描かれる画像１０１などの第１の画像が、時間ｔ−Δｔ1において、図３に描かれる撮像デバイス３００などの撮像デバイスによって捕捉される。第１の画像は、環境光を使用して捕捉され得る。Δｔ1は、撮像デバイスが第１の画像を捕捉するときと撮像デバイスが第２の画像を捕捉するときとの間の時間期間を表す。
【００３８】
[0045]第１の画像を捕捉した後、プロセス４００はブロック４１０へと進み、ここにおいて、たとえば図１Ａで描かれる画像１０２といった第２の画像が、時間ｔにおいて、撮像デバイスによって捕捉される。第２の画像は、シーンを照明するフラッシュを使用して捕捉され得る。
【００３９】
[0046]第２の画像を捕捉した後、プロセス４００はブロック４１５へと進み、ここにおいて、たとえば図１Ａで描かれる画像１０３といった第３の画像が、時間ｔ＋Δｔ2において、撮像デバイスによって捕捉される。Δｔ2は、撮像デバイスが第２の画像を捕捉するときと撮像デバイスが第３の画像を捕捉するときとの間の時間期間を表す。第３の画像は、環境光を使用して捕捉され得る。
【００４０】
[0047]第３の画像を捕捉した後、プロセス４００はブロック４２０へと進み、ここにおいて、第１の画像および第３の画像の、自動ホワイトバランス、自動露出、ならびに自動焦点パラメータが、同じまたは同様の値に調整され得る。
【００４１】
[0048]プロセス４００は次いでブロック４２５へと進み、ここにおいて、動き領域が検出される。動き領域を検出する実施形態は、図５に関連して下で記載される。
【００４２】
[0049]動き領域が検出された後、プロセスはブロック４３０へと進み、ここにおいて、図１Ｃおよび図２に描かれる領域２０５などといった、シーン中の動いている物体を示す領域に対応する、第１の画像、第２の画像、および第３の画像の１つまたは複数の部分が決定される。
【００４３】
[0050]プロセス４００は次いでブロック４３５へと進み、ここにおいて、第１の画像、第２の画像、および第３の画像のうちの１つからの対応する領域の選択について決定が行われる。
【００４４】
[0051]第１の画像、第２の画像、および第３の画像のうちの１つからの対応する領域の選択が決定された後、プロセスは、ブロック４４０へと進み、ここにおいて、第１の画像、第２の画像、および第３の画像のうちの２つ以上からの部分を有する画像が生成され、ここにおいて、部分のうちの１つは、決定された対応する領域である。したがって、画像は、動き領域なしで生成される。プロセスは、次いで終了する。
【００４５】
[0052]図５は、一連の環境−フラッシュ−環境画像（たとえば、図１中に描かれる画像１０１、１０２、および１０３）中の２つの画像間の動き領域を決定するためのプロセス４２５の実施形態の例を図示するフローチャートを描く。いくつかの実施形態では、環境画像１０１および１０３のみが、動き検出のために使用される。プロセス４２５は、ブロック５１０において開始し、ここにおいて、環境−フラッシュ−環境画像のうちの１つまたは複数は、動きを示すと誤って決定され得る、たとえば、カメラのわずかな動きまたは環境照明の変化により引き起こされる差異といった、固有の差異を考慮するように変更された。たとえば、画像は、（必要ならば）画像をぼかすこと、画像をグレースケールに変換すること、モルフォロジカル画像オープニング、モルフォロジカル画像クロージング、または任意の他の好適な画像処理技法によって変更され得る。
【００４６】
[0053]画像が変更された後、プロセスはブロック５２０へと進み、ここにおいて、変更された画像の２つの画像中の同じ場所に対応する画素間で、差異が決定される。差異は、変更された画像のうちの一方からの、強度値などの各画素についての値を、他方の変更された画像中の対応する画素についての値から減算することによって決定され得る。ゼロでない差分値は、比較されている２つの画像の対応する画素中に差異が存在することを示し、これは、２つの画像間の時間期間の間に、物体が、画素中に示される画像の領域中で動いた可能性があることを示し得る。
【００４７】
[0054]対応する画素間の差分値が決定された後、プロセス４２５はブロック５３０へと進み、ここにおいて、各差分値の絶対値が閾値処理される。各差分値の絶対値は、動きを示すと誤って決定され得る、固有の差異を考慮するために閾値処理され得る。閾値レベルより上の値は、一連の環境−フラッシュ−環境画像中で捕捉されたシーンにおける動きを示すと決定され得る。閾値レベルは、実験によって決定されるプリセット値であり得る。閾値レベルは、できるだけ多くの動きを識別するとき、誤った動き決定を最小化するために、経験的に決定され得る。いくつかの実施形態では、閾値レベルは、ユーザによって動的に設定され得る。あるいは、閾値レベルは、ユーザ入力および処理結果に基づいて、半自動的に設定され得る。各差分値の絶対値が閾値処理された後、プロセス４２５は終了する。
【００４８】
[0055]図６は、画像中の少なくとも１つの物体を照明するためにフラッシュ光源を使用して捕捉された画像における移動物体により生成される収差を補償するプロセス４００の実施形態の例を図示するフローチャートを描く。プロセス６００は、ステップ６１０において開始し、ここにおいて、シーンの第１の画像（たとえば、図１Ａに描かれる画像１０１）が環境光を使用して生成される。第１の画像は、時間ｔ−Δｔ1においてシーンを捕捉し得、ここにおいて、Δｔ1は、第１の画像と第２の画像との間の時間期間を表す。
【００４９】
[0056]第１の画像が環境光を使用して生成された後、プロセスはステップ６２０へと進み、ここにおいて、シーンの第２の画像（たとえば、図１Ａに描かれる画像１０２）が、シーンを照明するためにフラッシュを使用して生成され、第２の画像は、第１の画像を捕捉するのに続いて捕捉される。第２の画像は、時間ｔにおいてシーンを捕捉し得る。
【００５０】
[0057]第２の画像がシーンを照明するためにフラッシュを使用して生成された後、プロセス６００はステップ６３０へと進み、ここにおいて、シーンの第３の画像（たとえば、図１Ａに描かれる画像１０３）が、環境光を使用して生成され、第３の画像は、第２の画像を捕捉するのに続いて捕捉される。第３の画像は、時間ｔ＋Δｔ2おいてシーンを捕捉し得、ここにおいて、Δｔ2は、第２の画像と第３の画像との間の時間期間を表す。
【００５１】
[0058]シーンの第３の画像が捕捉された後、プロセスはブロック６４０へと進み、ここにおいて、１つまたは複数の動き領域が決定される。動き領域を決定することは、第１の画像および第３の画像中にある対応する画素の特性における差異を決定することを含み得る。そのような差異は、たとえば、強度の差異または色の差異であり得る。１つまたは複数の動き領域を決定する実施形態は、図１Ｂおよび図５を参照して上で説明される。動き領域が決定された後、プロセスは終了する。
【００５２】
[0059]本明細書に開示された実施態様は、視差および傾斜アーティファクト（tilt artifacts）のない複数開口部アレイカメラのためのシステム、方法、および装置を提供する。当業者は、これらの実施形態が、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得ることを認識されよう。
【００５３】
[0060]いくつかの実施形態では、上に議論された回路、プロセス、およびシステムは、ワイヤレス通信デバイス中に実装され得る。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレスで通信するために使用されるある種の電子デバイスであり得る。ワイヤレス通信デバイスの例には、セルラ電話、スマートフォン、携帯情報端末（ＰＤＡ）、電子リーダー、ゲームシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどがある。
【００５４】
[0061]ワイヤレス通信デバイスは、１つまたは複数の画像センサと、２つ以上の画像信号プロセッサと、上で議論されたプロセスを実行するための命令またはモジュールを含むメモリとを含み得る。デバイスは、データと、メモリからの命令および／またはデータをロードするプロセッサと、１つまたは複数の通信インターフェースと、１つまたは複数の入力デバイスと、ディスプレイデバイスなどの１つまたは複数の出力デバイスと、電源／インターフェースとをやはり有し得る。ワイヤレス通信デバイスは、追加で、送信器と受信器とを含み得る。送信器と受信器とはまとめてトランシーバと呼ばれることがある。トランシーバは、ワイヤレス信号を送信および／または受信するために、１つまたは複数のアンテナに結合され得る。
【００５５】
[0062]ワイヤレス通信デバイスは、別の電子デバイス（たとえば、基地局）にワイヤレスで接続し得る。ワイヤレス通信デバイスは、代替的に、モバイルデバイス、移動局、加入者局、ユーザ機器（ＵＥ）、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれることがある。ワイヤレス通信デバイスの例としては、ラップトップまたはデスクトップコンピュータ、セルラフォン、スマートフォン、ワイヤレスモデム、電子リーダー、タブレットデバイス、ゲームシステムなどがある。ワイヤレス通信デバイスは、第３世代パートナーシッププロジェクト（３ＧＰＰ（登録商標））など、１つまたは複数の業界規格に従って動作し得る。したがって、「ワイヤレス通信デバイス」という一般的な用語は、工業規格に従い様々な命名で記載されるワイヤレス通信デバイス（たとえば、アクセス端末、ユーザ機器（ＵＥ）、リモート端末など）を含み得る。
【００５６】
[0063]本明細書に記載される機能は、プロセッサ可読またはコンピュータ可読媒体上の１つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによりアクセスされ得る任意の利用可能な媒体のことを言う。例として、限定するものではないが、そのような媒体としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、フラッシュメモリ、ＣＤ−ＲＯＭもしくは他の光学ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または命令もしくはデータ構造の形で所望のプログラムコードを記憶するために使用され得、コンピュータによりアクセスされ得る任意の他の媒体があり得る。本明細書で使用される、ディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）としては、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスクおよびブルーレイ（登録商標）ディスクがあり、ここにおいて、ディスク（ｄｉｓｋ）は通常データを磁気的に再生し、一方ディスク（ｄｉｓｃ）はデータをレーザーで光学的に再生する。コンピュータ可読媒体が有形で非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサにより実行、処理、または計算され得るコードまたは命令（たとえば、「プログラム」）と組み合わせたコンピューティングデバイスまたはプロセッサのことを言う。本明細書で使用される、「コード」という用語は、コンピューティングデバイスまたはプロセッサにより実行可能なソフトウェア、命令、コードまたはデータのことを言い得る。
【００５７】
[0064]本明細書に開示される方法は、記載された方法を達成するための１つもしくは複数のステップまたは行為を含む。方法ステップおよび／または行為は、特許請求の範囲から逸脱することなく、互いに交換され得る。言い換えれば、記載されている方法の適切な動作のために、特定の順番のステップまたは行為が必要とされるのでない限り、特定のステップおよび／または行為の順番および／または使用は、特許請求の範囲から逸脱することなく、変更され得る。
【００５８】
[0065]本明細書で使用される、「結合する（couple）」、「結合している（coupling）」、「結合される（coupled）」または「couple」という言葉の他の変形体は、間接的な接続または直接的な接続のいずれかを示し得ることに留意されたい。たとえば、第１の構成要素が第２の構成要素に「結合される」場合、第１の構成要素は、第２の構成要素に間接的に接続されるか、または第２の構成要素に直接的に接続されるかのいずれかであり得る。本明細書で使用される、「複数の（plurality）」という用語は、２つ以上を意味する。たとえば、複数の構成要素は、２つ以上の構成要素を示す。
【００５９】
[0066]「決定すること（determining）」という用語は、多種多様な行為を包含し、したがって「決定すること（determining）」とは、計算すること、コンピュータ処理をすること、処理すること、導出すること、検討すること、探索すること（たとえば、表、データベース、または別のデータ構造中で探索すること）、確認することなどを含み得る。
また、「決定すること（determining）」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。また、「決定すること（determining）」は、解決すること、選択すること、選ぶこと、確立することなどを含み得る。
【００６０】
[0067]「に基づく（based on）」という語句は、別段に明記されていない限り、「にのみ基づく」を意味しない。言い換えれば、「に基づく（based on）」という語句は、「にのみ基づく」と「少なくとも〜に基づく」の両方を記載する。
【００６１】
[0068]上記の記載では、例の完全な理解を実現するために、具体的な詳細が与えられる。しかしながら、例はこれらの具体的な詳細なしに実施され得ることを当業者は理解されよう。たとえば、電気的構成要素／デバイスは、不必要な詳細で例を不明瞭にしないために、ブロック図で示されることがある。他の事例では、そのような構成要素、他の構造および技法は、例をさらに説明するために詳細に図示されることがある。
【００６２】
[0069]参照のため、および様々なセクションの位置決めを助けるために、本明細書には見出しが含まれる。これらの見出しは、それに関して説明した概念の範囲を限定するものではない。そのような概念は、明細書全体にわたって適用可能性を有し得る。
【００６３】
[0070]例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として描かれるプロセスとして記載され得ることも留意されたい。フローチャートは、動作を順次プロセスとして記載し得るが、動作の多くは、並列に、または同時に実施され得、またプロセスは繰り返され得る。さらに、動作の順序は並べ替えられ得る。プロセスは、その動作が完了すると、終了される。プロセスは、方法、機能、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスがソフトウェア機能に対応するとき、その終了とは、発呼機能または主機能に機能を戻すことに対応する。
【００６４】
[0071]開示される実装形態の以前の記載は、当業者が本開示を作るまたは使用することを可能にするために提供される。これらの実装形態の様々な変更形態は、当業者には容易に明らかになるものであり、本明細書で定義した一般原理は、本開示の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本開示は、本明細書で示した実装形態に限定されることは意図されておらず、本明細書で開示された原理および新規の特徴に一致する最も広い範囲を与られるべきものである。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
画像における移動物体によって生成される収差を補償するための方法であって、
第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、
第２の露出と第２の外部照明とを有する前記シーンの第２の画像を生成することと、前記第２の露出および前記第２の外部照明が前記第１の露出および前記第１の外部照明と異なる、前記第２の画像が前記第１の画像の後の時間に捕捉される、
前記第１の露出と前記第１の外部照明とを有する前記シーンの第３の画像を生成することと、前記第３の画像が前記第２の画像の後の時間に捕捉される、
前記第１の画像と前記第３の画像とを使用して、１つまたは複数の動き領域を決定することと、前記１つまたは複数の動き領域が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す前記第１の画像、第２の画像、および第３の画像のうちの１つまたは複数の画像中の区域を示す
を備える方法。
［Ｃ２］
前記第１の画像および前記第３の画像が環境光を使用して生成され、前記第２の画像が前記シーンを照明するためのフラッシュを使用して生成される、Ｃ１に記載の方法。
［Ｃ３］
前記第１および第３の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを前記１つまたは複数の動き領域を決定する前と同じ値に調整することをさらに備える、Ｃ１に記載の方法。
［Ｃ４］
１つまたは複数の動き領域を前記決定することが、
前記第１の画像および前記第３の画像の１つまたは複数の画素を変更することと、
対応する画素の各組間の異なる値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の各組間の前記異なる値を閾値処理することと
を備える、Ｃ１に記載の方法。
［Ｃ５］
１つまたは複数の動き領域を前記決定することが、閾値より上の異なる値を有する対応する画素の各組の場所に少なくとも部分的に基づく、Ｃ１に記載の方法。
［Ｃ６］
前記第１の画像および前記第３の画像のうちの１つまたは複数の画像中の動き領域に対応する前記第２の画像の１つまたは複数の部分と前記第１の画像および前記第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成することをさらに備える、Ｃ１に記載の方法。
［Ｃ７］
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることをさらに備える、Ｃ１に記載の方法。
［Ｃ８］
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることが、
前記第１の画像、前記第２の画像、または前記第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを備え、ここにおいて前記１つまたは複数のセクションが画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、Ｃ７に記載の方法。
［Ｃ９］
実行されると、少なくとも１つの物理的なコンピュータプロセッサに、タッチ入力の位置を調整する方法を実施させる命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記方法が、
第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、
第２の露出と第２の外部照明とを有する前記シーンの第２の画像を生成することと、前記第２の露出および前記第２の外部照明が前記第１の露出および前記第１の外部照明と異なる、前記第２の画像が前記第１の画像の後の時間に捕捉される、
前記第１の露出と前記第１の外部照明とを有する前記シーンの第３の画像を生成することと、前記第３の画像が前記第２の画像の後の時間に捕捉される、
前記第１の画像と前記第３の画像とを使用して、１つまたは複数の動き領域を決定することと、前記１つまたは複数の動き領域が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す前記第１の画像、第２の画像、および第３の画像のうちの１つまたは複数の画像中の区域を示す
を備える、非一時的コンピュータ可読記憶媒体。
［Ｃ１０］
前記第１の画像および前記第３の画像が環境光を使用して生成され、前記第２の画像が前記シーンを照明するためのフラッシュを使用して生成される、Ｃ９に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ１１］
前記方法が、前記第１および第３の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを前記１つまたは複数の動き領域を決定する前と同じ値に調整することをさらに備える、Ｃ９に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ１２］
前記方法が、
前記第１の画像および前記第３の画像の１つまたは複数の画素を変更することと、
対応する画素の各組間の異なる値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の各組間の前記異なる値を閾値処理することと
を備える、Ｃ９に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ１３］
１つまたは複数の動き領域を前記決定することが、閾値より上の異なる値を有する対応する画素の各組の場所に少なくとも部分的に基づく、Ｃ１２に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ１４］
前記方法が、前記第１の画像および前記第３の画像のうちの１つまたは複数の画像中の動き領域に対応する前記第２の画像の１つまたは複数の部分と前記第１の画像および前記第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成することをさらに備える、Ｃ９に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ１５］
前記方法が、前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることをさらに備える、Ｃ９に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ１６］
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分とマージすることが。
前記第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを備え、ここにおいて前記１つまたは複数のセクションが画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、Ｃ１５に記載の非一時的コンピュータ可読記憶媒体
［Ｃ１７］
画像における移動物体により生成される収差を補償するように構成される装置であって、
撮像のための照明を生成することが可能なフラッシュシステムと、
前記フラッシュシステムに結合されるカメラと、ここにおいて、前記カメラが、
第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、
第２の露出と第２の外部照明とを有する前記シーンの第２の画像を生成することと、前記第２の露出および前記第２の外部照明が前記第１の露出および前記第１の外部照明と異なる、前記第２の画像が前記第１の画像の後の時間に捕捉される、
前記第１の露出と前記第１の外部照明とを有する前記シーンの第３の画像を生成することと、前記第３の画像が前記第２の画像の後の時間に捕捉される
を行うように構成される、
前記カメラによって捕捉される画像を記憶するように構成されるメモリ構成要素と、
前記第１の画像と前記第３の画像とを使用して、１つまたは複数の動き領域を決定すること、前記１つまたは複数の動き領域が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す前記第１の画像、第２の画像、および第３の画像のうちの１つまたは複数の画像中の区域を示す、を行うように構成される、プロセッサと
を備える、装置。
［Ｃ１８］
前記第１の画像および前記第３の画像が環境光を使用して生成され、前記第２の画像が前記シーンを照明するためのフラッシュを使用して生成される、Ｃ１７に記載の装置。
［Ｃ１９］
前記プロセッサが、前記１つまたは複数の動き領域を決定する前に、前記第１の画像および前記第３の画像の、自動ホワイトバランス、自動露出、および自動焦点パラメータを調整するようにさらに構成される、Ｃ１７に記載の装置。
［Ｃ２０］
前記プロセッサが、
前記第１の画像および前記第３の画像の１つまたは複数の画素を変更することと、
対応する画素の各組間の異なる値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の各組間の前記異なる値を閾値処理することと
を行うように構成される、Ｃ１７に記載の装置。
［Ｃ２１］
前記プロセッサが、閾値より上の異なる値を有する対応する画素の各組の場所に少なくとも部分的に基づいて、１つまたは複数の動き領域を決定するように構成される、Ｃ２０に記載の装置。
［Ｃ２２］
前記プロセッサが、前記第１の画像および前記第３の画像のうちの１つまたは複数の画像中の動き領域に対応する前記第２の画像の１つまたは複数の部分と前記第１の画像および前記第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成するようにさらに構成される、Ｃ１７に記載の装置。
［Ｃ２３］
前記プロセッサが、前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージするようにさらに構成される、Ｃ１７に記載の装置。
［Ｃ２４］
前記プロセッサが、前記第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化するように構成され、ここにおいて前記１つまたは複数のセクションが画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、Ｃ２３に記載の装置。
［Ｃ２５］
フラッシュ照明システムを使用して捕捉された画像における移動物体によって生成される収差を補償するための方法であって、
時間ｔ−Δｔ1において第１の画像を捕捉することと、
時間ｔにおいて前記第１の画像の後に第２の画像を捕捉することと、前記第２の画像を前記捕捉することが前記フラッシュ照明システムを活動化することを含み、ここにおいて、Δｔ1が前記第１の画像を捕捉することと前記第２の画像を捕捉することとの間の時間を表す、
時間ｔ＋Δｔ2において前記第２の画像の後に第３の画像を捕捉することと、ここにおいて、Δｔ2が前記第２の画像を捕捉することと前記第３の画像を捕捉することとの間の時間を表す、
前記第１、第２、および第３の画像中に描画される物体の動き情報を決定することと、
前記動き情報と、前記第１の画像の部分、前記第３の画像の部分、または前記第１の画像の部分および前記第３の画像の部分とを使用して、前記第２の画像の少なくとも１つの部分を変更することと
を備える、方法。
［Ｃ２６］
前記第１の画像および前記第３の画像が、同じ露出と同じ外部照明とを使用して捕捉される、Ｃ２５に記載の方法。
［Ｃ２７］
前記第１および第３の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを前記動き情報を決定する前に調整することをさらに備える、Ｃ２５に記載の方法。
［Ｃ２８］
動き情報を前記決定することが、
前記第１の画像および前記第３の画像の１つまたは複数の画素を変更することと、
対応する画素の各組間の異なる値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の各組間の前記異なる値を閾値処理することと
を備える、Ｃ２５に記載の方法。
［Ｃ２９］
前記第２の画像の少なくとも１つの部分を変更することが、前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることを備える、Ｃ２５に記載の方法。
［Ｃ３０］
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、
または前記第１の画像の部分および前記第３の画像の部分
とマージすることが、
前記第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを備え、ここにおいて前記１つまたは複数のセクションが画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、Ｃ２５に記載の方法。
【手続補正書】
【提出日】平成29年10月20日(2017.10.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像における移動物体によって生成される収差を補償するための方法であって、
第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、
第２の露出と第２の外部照明とを有する前記シーンの第２の画像を生成することと、前記第２の露出および前記第２の外部照明が前記第１の露出および前記第１の外部照明と異なる、前記第２の画像が前記第１の画像の後の時間に捕捉される、
前記第１の露出と前記第１の外部照明とを有する前記シーンの第３の画像を生成することと、前記第３の画像が前記第２の画像の後の時間に捕捉される、
対応する画素の組間の差分値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の前記組間の前記差分値を閾値処理することと、
前記第１の画像と前記第３の画像とを使用して、１つまたは複数の動き領域を決定することと、前記１つまたは複数の動き領域が、閾値より上の前記差分値を有する前記第１の画像および第３の画像中の同じ場所に対応する画素を含む、前記画素が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す、
を備える方法。
【請求項２】
前記第１の画像および前記第３の画像が環境光を使用して生成され、前記第２の画像が前記シーンを照明するためのフラッシュを使用して生成される、請求項１に記載の方法。
【請求項３】
前記第１および第３の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを前記１つまたは複数の動き領域を決定する前に同じ値に調整することをさらに備える、請求項１に記載の方法。
【請求項４】
１つまたは複数の動き領域を前記決定することが、
前記差分値を数量化する前に、ぼかすこと、グレースケールに変換すること、モルフォロジカル画像オープニング、またはモルフォロジカル画像クロージングによって、前記第１の画像および前記第３の画像の１つまたは複数の画素を変更すること
を備える、請求項１に記載の方法。
【請求項５】
１つまたは複数の動き領域を前記決定することは、対応する画素の各組の前記場所が前記閾値より上の差分値を有することに少なくとも部分的に基づく、請求項１に記載の方法。
【請求項６】
前記第１の画像および前記第３の画像のうちの１つまたは複数の画像中の動き領域に対応する前記第２の画像の１つまたは複数の部分と前記第１の画像および前記第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成することをさらに備える、請求項１に記載の方法。
【請求項７】
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることをさらに備える、請求項１に記載の方法。
【請求項８】
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることが、
前記第１の画像、前記第２の画像、または前記第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを備え、ここにおいて、前記１つまたは複数のセクションは、画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、請求項７に記載の方法。
【請求項９】
実行されると、少なくとも１つの物理的なコンピュータプロセッサに、タッチ入力の位置を調整する方法を実施させる命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記方法が、
第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、
第２の露出と第２の外部照明とを有する前記シーンの第２の画像を生成することと、前記第２の露出および前記第２の外部照明が前記第１の露出および前記第１の外部照明と異なる、前記第２の画像が前記第１の画像の後の時間に捕捉される、
前記第１の露出と前記第１の外部照明とを有する前記シーンの第３の画像を生成することと、前記第３の画像が前記第２の画像の後の時間に捕捉される、
対応する画素の組間の差分値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の前記組間の前記差分値を閾値処理することと、
前記第１の画像と前記第３の画像とを使用して、１つまたは複数の動き領域を決定することと、前記１つまたは複数の動き領域が、閾値より上の前記差分値を有する前記第１の画像および第３の画像中の同じ場所に対応する画素を含む、前記画素が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す、
を備える、非一時的コンピュータ可読記憶媒体。
【請求項１０】
前記第１の画像および前記第３の画像が環境光を使用して生成され、前記第２の画像が前記シーンを照明するためのフラッシュを使用して生成される、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１１】
前記方法が、前記第１および第３の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを前記１つまたは複数の動き領域を決定する前に同じ値に調整することをさらに備える、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１２】
前記方法が、
前記差分値を数量化する前に、ぼかすこと、グレースケールに変換すること、モルフォロジカル画像オープニング、またはモルフォロジカル画像クロージングによって、前記第１の画像および前記第３の画像の１つまたは複数の画素を変更すること
を備える、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１３】
１つまたは複数の動き領域を前記決定することは、対応する画素の各組の前記場所が前記閾値より上の差分値を有することに少なくとも部分的に基づく、請求項１２に記載の非一時的コンピュータ可読記憶媒体。
【請求項１４】
前記方法が、前記第１の画像および前記第３の画像のうちの１つまたは複数の画像中の動き領域に対応する前記第２の画像の１つまたは複数の部分と前記第１の画像および前記第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成することをさらに備える、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１５】
前記方法が、前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることをさらに備える、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１６】
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分とマージすることが
前記第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを備え、ここにおいて、前記１つまたは複数のセクションは、画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
【請求項１７】
画像における移動物体により生成される収差を補償するように構成される装置であって、
撮像のための照明を生成することが可能なフラッシュシステムと、
前記フラッシュシステムに結合されるカメラと、ここにおいて、前記カメラが、
第１の露出と第１の外部照明とを有するシーンの第１の画像を生成することと、
第２の露出と第２の外部照明とを有する前記シーンの第２の画像を生成することと、前記第２の露出および前記第２の外部照明が前記第１の露出および前記第１の外部照明と異なる、前記第２の画像が前記第１の画像の後の時間に捕捉される、
前記第１の露出と前記第１の外部照明とを有する前記シーンの第３の画像を生成することと、前記第３の画像が前記第２の画像の後の時間に捕捉される
を行うように構成される、
前記カメラによって捕捉される画像を記憶するように構成されるメモリ構成要素と、
対応する画素の組間の差分値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の前記組間の前記差分値を閾値処理することと、
前記第１の画像と前記第３の画像とを使用して、１つまたは複数の動き領域を決定すること、前記１つまたは複数の動き領域が、閾値より上の前記差分値を有する前記第１の画像および第３の画像中の同じ場所に対応する画素を含む、前記画素が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す、
を行うように構成される、プロセッサと
を備える、装置。
【請求項１８】
前記第１の画像および前記第３の画像が環境光を使用して生成され、前記第２の画像が前記シーンを照明するためのフラッシュを使用して生成される、請求項１７に記載の装置。
【請求項１９】
前記プロセッサが、前記１つまたは複数の動き領域を決定する前に、前記第１の画像および前記第３の画像の、自動ホワイトバランス、自動露出、および自動焦点パラメータを調整するようにさらに構成される、請求項１７に記載の装置。
【請求項２０】
前記プロセッサが、
前記差分値を数量化する前に、ぼかすこと、グレースケールに変換すること、モルフォロジカル画像オープニング、またはモルフォロジカル画像クロージングによって、前記第１の画像および前記第３の画像の１つまたは複数の画素を変更すること
を行うように構成される、請求項１７に記載の装置。
【請求項２１】
前記プロセッサは、対応する画素の各組の前記場所が前記閾値より上の差分値を有することに少なくとも部分的に基づいて、１つまたは複数の動き領域を決定するように構成される、請求項２０に記載の装置。
【請求項２２】
前記プロセッサが、前記第１の画像および前記第３の画像のうちの１つまたは複数の画像中の動き領域に対応する前記第２の画像の１つまたは複数の部分と前記第１の画像および前記第３の画像のうちの１つまたは複数の画像の１つまたは複数の部分とを使用して、第４の画像を生成するようにさらに構成される、請求項１７に記載の装置。
【請求項２３】
前記プロセッサが、前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージするようにさらに構成される、請求項１７に記載の装置。
【請求項２４】
前記プロセッサが、前記第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化するように構成され、ここにおいて、前記１つまたは複数のセクションは、画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、請求項２３に記載の装置。
【請求項２５】
フラッシュ照明システムを使用して捕捉された画像における移動物体によって生成される収差を補償するための方法であって、
時間ｔ−Δｔ1において第１の画像を捕捉することと、
時間ｔにおいて前記第１の画像の後に第２の画像を捕捉することと、前記第２の画像を前記捕捉することが前記フラッシュ照明システムを活動化することを含み、ここにおいて、Δｔ1が前記第１の画像を捕捉することと前記第２の画像を捕捉することとの間の時間を表す、
時間ｔ＋Δｔ2において前記第２の画像の後に第３の画像を捕捉することと、ここにおいて、Δｔ2が前記第２の画像を捕捉することと前記第３の画像を捕捉することとの間の時間を表す、
対応する画素の組間の差分値を数量化することと、対応する画素の組が、前記画像中の同じ場所に対応する、前記第１の画像または前記第３の画像のうちの一方の中の画素と前記第１の画像または前記第３の画像のうちの他方の中の画素とを備える、
対応する画素の前記組間の前記差分値を閾値処理することと、
前記第１、第２、および第３の画像中に描画される物体の動き情報を決定することと、前記動き情報は、閾値より上の前記差分値を有する前記第１の画像および第３の画像中の同じ場所に対応する画素を含む、前記画素が、前記第１の画像、第２の画像、および第３の画像が捕捉される時間期間の間の移動物体の位置を示す、
前記動き情報と、前記第１の画像の部分、前記第３の画像の部分、または前記第１の画像の部分および前記第３の画像の部分とを使用して、前記第２の画像の少なくとも１つの部分を変更することと
を備える、方法。
【請求項２６】
前記第１の画像および前記第３の画像が、同じ露出と同じ外部照明とを使用して捕捉される、請求項２５に記載の方法。
【請求項２７】
前記第１および第３の画像の自動ホワイトバランス、自動露出、および自動焦点パラメータを前記動き情報を決定する前に調整することをさらに備える、請求項２５に記載の方法。
【請求項２８】
動き情報を前記決定することが、
ぼかすこと、グレースケールに変換すること、モルフォロジカル画像オープニング、またはモルフォロジカル画像クロージングによって、前記第１の画像および前記第３の画像の１つまたは複数の画素を変更すること
を備える、請求項２５に記載の方法。
【請求項２９】
前記第２の画像の少なくとも１つの部分を変更することが、前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、または
前記第１の画像の部分および前記第３の画像の部分
とマージすることを備える、請求項２５に記載の方法。
【請求項３０】
前記第２の画像の部分を、前記第１の画像の部分、
前記第３の画像の部分、
または前記第１の画像の部分および前記第３の画像の部分
とマージすることが、
前記第１の画像、第２の画像、または第３の画像のうちの１つまたは複数の画像の１つまたは複数のセクションを、前記第１の画像、第２の画像、または第３の画像のうちの別の１つの画像中で検出される動き領域の上に階層化することを備え、ここにおいて、前記１つまたは複数のセクションは、画像から動き領域によって隠されるのと同じシーンの区域を備え、ここにおいて、前記区域が動き領域によって隠されていなかった、請求項２５に記載の方法。
【国際調査報告】
2018512751.tif 000011
2018512751.tif 000012
2018512751.tif 000013