(57)【要約】本技術は、画像キャプチャ・デバイス内の動的な自動露光補償について記述される。本技術は、自動露光処理によって選択された露光指数（ＥＶ）を補償するために、シーンのデフォルト目標輝度を動的に調節することを含む。センサ・アレイが、デフォルト目標輝度でシーンから光情報を取得し、画像キャプチャ・コントローラが、この光情報に基づいて、シーンの複数の領域の輝度値を計算する。自動露光補償モジュールは、シーンの複数の領域の輝度値と、センサ・アレイに設定されたしきい値とに基づいて、デフォルト目標輝度を動的に調節し、調節された目標輝度を設定する。その後、センサ・アレイは、調節された目標輝度のＥＶを用いて、シーンの画像フレームをキャプチャすることができる。本技術はまた、画像シーンのシーケンスにわたって、調節された目標輝度を実質的に安定させるヒステリシス・ゾーンを構築することを含む。
2010501898.tif 000002
【特許請求の範囲】
【請求項１】
画像キャプチャ・デバイスに含まれるセンサ・アレイを用いて、デフォルト目標輝度においてシーンから光情報を取得することと、
前記光情報に基づいて、前記シーン内の複数の領域の輝度値を計算することと、
前記シーンのために、調節された目標輝度を設定するために、前記センサ・アレイに設定されたしきい値と、前記シーン内の複数の領域の輝度値とに基づいて、前記デフォルト目標輝度を動的に調節することと
を備える方法。
【請求項２】
前記調節された目標輝度の露光指数を選択するために、前記調節された目標輝度に基づいて、前記シーンについて自動露光を実行することと、
前記調節された目標輝度の露光指数を用いて、前記センサ・アレイを使って、前記シーンの画像フレームをキャプチャすることと
をさらに備える請求項１に記載の方法。
【請求項３】
前記センサ・アレイに設定されたしきい値と、前記調節された目標輝度における前記シーン内の複数の領域の輝度値とに基づいて、前記調節された目標輝度を繰り返し再調節することをさらに備える請求項１に記載の方法。
【請求項４】
前記デフォルト目標輝度においてシーンから光情報を取得することは、前記デフォルト目標輝度の露光指数を選択するために、前記デフォルト目標輝度に基づいて、前記シーンの自動露光を実行することを備える請求項１に記載の方法。
【請求項５】
前記デフォルト目標輝度を維持することと、
前記デフォルト目標輝度の露光指数を用いて、前記センサ・アレイを使って、前記シーンの画像フレームをキャプチャすることと
をさらに備える請求項４に記載の方法。
【請求項６】
前記シーン内の複数の領域の輝度値に基づいて、前記デフォルト目標輝度が、前記シーンに適切であるかを判定することをさらに備える請求項１に記載の方法。
【請求項７】
前記デフォルト目標輝度が、前記シーンに適切であるかを判定することは、
前記シーン内の複数の領域のおのおのの輝度値と、画像センサに設定された輝度しきい値との輝度比較を実行し、前記輝度しきい値よりも大きい輝度値を持つ１または複数の領域を、明るい領域と特定することと、
前記シーン内の明るい領域の個数と、前記画像センサに設定されたデフォルト個数範囲との、明るい領域個数比較を実行することとを備え、
前記デフォルト目標輝度は、前記シーン内の明るい領域の個数が、前記デフォルト個数範囲内である場合に適切であり、
前記デフォルト目標輝度は、前記シーン内の明るい領域の個数が、前記デフォルト個数範囲外である場合に不適切である請求項６に記載の方法。
【請求項８】
前記シーン内の複数の領域のおのおのの輝度値を、画像センサに設定された輝度しきい値と比較することと、
前記輝度しきい値よりも大きい輝度値を持つ１または複数の領域を、明るい領域として特定することと、
前記シーン内の明るい領域の個数を判定することと、
前記明るい領域の個数を、前記画像センサに設定されたデフォルト個数範囲と比較することと
をさらに備える請求項１に記載の方法。
【請求項９】
前記デフォルト目標輝度を動的に調節することは、
前記明るい領域の個数が、前記デフォルト個数範囲の低いデフォルト個数しきい値未満である場合、前記シーンのデフォルト目標輝度を増加させることと、
前記明るい領域の個数が、前記デフォルト個数範囲の高いデフォルト個数しきい値よりも大きい場合、前記シーンのデフォルト目標輝度を減少させることと、
前記明るい領域の個数が、前記低いデフォルト個数しきい値と、前記高いデフォルト個数しきい値との間にある場合、前記デフォルト目標輝度を維持することと
を備える請求項８に記載の方法。
【請求項１０】
前記デフォルト目標輝度を動的に調節することは、
前記明るい領域の個数が、前記デフォルト個数範囲外にある場合、前記デフォルト目標輝度を調節することと、
前記明るい領域の個数が、前記デフォルト個数範囲内にある場合、前記デフォルト目標輝度を維持することと
を備える請求項８に記載の方法。
【請求項１１】
前記シーンと次のシーンとの間での目標輝度発振を防ぐために、前記次のシーンのために、前記調節された目標輝度を維持することをさらに備える請求項１に記載の方法。
【請求項１２】
前記シーンと次のシーンとの間に緩やかな目標輝度変化を与えるために、前記次のシーンのために、前記調節された目標輝度を、最小限しか再調節しないことをさらに備える請求項１に記載の方法。
【請求項１３】
前記センサ・アレイを用いて、前記調節された目標輝度において次のシーンから光情報を取得することと、
前記光情報に基づいて、前記次のシーン内の複数の領域の輝度値を計算することと、
前記次のシーン内の複数の領域のおのおのの輝度値を、画像センサに設定された輝度しきい値と比較することと、
前記輝度しきい値よりも大きな輝度値を持つ１または複数の領域を、明るい領域として特定することと、
前記次のシーン内の明るい領域の個数を判定することと、
前記明るい領域の個数を、前記画像センサに設定されたデフォルト個数範囲と比較することと、
前記次のシーン内の明るい領域の個数が、前記デフォルト個数範囲外である場合、調節された個数範囲を設定するために、前記デフォルト個数範囲のデフォルト個数しきい値を動的に調節することと
をさらに備える請求項１に記載の方法。
【請求項１４】
前記次のシーン内の明るい領域の個数が、前記デフォルト個数範囲内である場合、前記デフォルト個数しきい値を維持することをさらに備える請求項１３に記載の方法。
【請求項１５】
前記デフォルト個数しきい値を動的に調節することは、前記シーンと次のシーンとの間で、前記調節された目標輝度を実質的に安定させるために、異なる個数範囲を設定することによって、ヒステリシス・ゾーンを構築することを備える請求項１３に記載の方法。
【請求項１６】
前記デフォルト個数しきい値と、前記次のシーン内の明るい領域の個数との差分を判定することをさらに備え、
前記デフォルト個数しきい値を動的に調節することは、前記差分に基づいて、前記デフォルト個数しきい値を動的に調節することを備える請求項１３に記載の方法。
【請求項１７】
前記デフォルト個数しきい値を動的に調節することは、前記差分が予め定めた値未満である場合、前記デフォルト個数しきい値を動的に調節して、前記次のシーン内の明るい領域の個数を含む調節された個数範囲を設定し、前記次のシーンのために、前記調節された目標輝度を維持することを備える請求項１６に記載の方法。
【請求項１８】
前記デフォルト個数しきい値を動的に調節することは、前記差分が予め定めた値より大きい場合、前記デフォルト個数しきい値を動的に調節して、前記次のシーン内の明るい領域の個数を用いて、前記差分を低減し、前記次のシーンのために、前記調節された目標輝度を最小限しか再調節しないことを備える請求項１６に記載の方法。
【請求項１９】
画像センサのしきい値を設定することは、
前記画像センサの輝度しきい値を設定することと、
前記画像センサのデフォルト個数範囲を設定することと
を備える請求項１に記載の方法。
【請求項２０】
プログラマブルなプロセッサに対して、
画像キャプチャ・デバイスに含まれるセンサ・アレイを用いて、デフォルト目標輝度においてシーンから光情報を取得することと、
前記光情報に基づいて、前記シーン内の複数の領域の輝度値を計算することと、
前記シーンのために、調節された目標輝度を設定するために、前記センサ・アレイに設定されたしきい値と、前記シーン内の複数の領域の輝度値とに基づいて、前記デフォルト目標輝度を動的に調節することと、
をさせる命令群を備えたコンピュータ読取可能媒体。
【請求項２１】
前記命令群は、前記プログラマブルなプロセッサに対して、
前記シーン内の複数の領域のおのおのの輝度値と、画像センサに設定された輝度しきい値との輝度比較を実行し、前記輝度しきい値よりも大きい輝度値を持つ１または複数の領域を、明るい領域と特定することと、
前記シーン内の明るい領域の個数と、前記画像センサに設定されたデフォルト個数範囲との、明るい領域個数比較を実行することとをさせ、
前記デフォルト目標輝度は、前記シーン内の明るい領域の個数が、前記デフォルト個数範囲内である場合に適切であり、
前記デフォルト目標輝度は、前記シーン内の明るい領域の個数が、前記デフォルト個数範囲外である場合に不適切である請求項２０に記載のコンピュータ読取可能媒体。
【請求項２２】
前記命令群は、前記プログラマブルなプロセッサに対して、
前記シーン内の複数の領域のおのおのの輝度値を、画像センサに設定された輝度しきい値と比較することと、
前記輝度しきい値よりも大きい輝度値を持つ１または複数の領域を、明るい領域として特定することと、
前記シーン内の明るい領域の個数を判定することと、
前記明るい領域の個数を、前記画像センサに設定されたデフォルト個数範囲と比較することと、
をさせる請求項２０に記載のコンピュータ読取可能媒体。
【請求項２３】
前記命令群は、前記プログラマブルなプロセッサに対して、
前記明るい領域の個数が、前記デフォルト個数範囲の低いデフォルト個数しきい値未満である場合、前記シーンのデフォルト目標輝度を増加させることと、
前記明るい領域の個数が、前記デフォルト個数範囲の高いデフォルト個数しきい値よりも大きい場合、前記シーンのデフォルト目標輝度を減少させることと、
前記明るい領域の個数が、前記低いデフォルト個数しきい値と、前記高いデフォルト個数しきい値との間にある場合、前記デフォルト目標輝度を維持することと、
をさせる請求項２２に記載のコンピュータ読取可能媒体。
【請求項２４】
前記命令群は、前記プログラマブルなプロセッサに対して、前記シーンと次のシーンとの間での目標輝度発振を防ぐために、前記次のシーンのために、前記調節された目標輝度を維持することをさせる請求項２０に記載のコンピュータ読取可能媒体。
【請求項２５】
前記命令群は、前記プログラマブルなプロセッサに対して、前記シーンと次のシーンとの間に緩やかな目標輝度変化を与えるために、前記次のシーンのために、前記調節された目標輝度を、最小限しか再調節しないことをさらにさせる請求項２０に記載のコンピュータ読取可能媒体。
【請求項２６】
前記命令群は、前記プログラマブルなプロセッサに対して、
前記センサ・アレイを用いて、前記調節された目標輝度において次のシーンから光情報を取得することと、
前記光情報に基づいて、前記次のシーン内の複数の領域の輝度値を計算することと、
前記次のシーン内の複数の領域のおのおのの輝度値を、画像センサに設定された輝度しきい値と比較することと、
前記輝度しきい値よりも大きな輝度値を持つ１または複数の領域を、明るい領域として特定することと、
前記次のシーン内の明るい領域の個数を判定することと、
前記明るい領域の個数を、前記画像センサに設定されたデフォルト個数範囲と比較することと、
前記次のシーン内の明るい領域の個数が、前記デフォルト個数範囲外である場合、調節された個数範囲を設定するために、前記デフォルト個数範囲のデフォルト個数しきい値を動的に調節することと、
をさらにさせる請求項２０に記載のコンピュータ読取可能媒体。
【請求項２７】
前記命令群は、前記プログラマブルなプロセッサに対して、前記シーンと次のシーンとの間で、前記調節された目標輝度を実質的に安定させるために、異なる個数範囲を設定することによって、ヒステリシス・ゾーンを構築することをさせる請求項２６に記載のコンピュータ読取可能媒体。
【請求項２８】
前記命令群は、前記プログラマブルなプロセッサに対して、
前記デフォルト個数しきい値と、前記次のシーン内の明るい領域の個数との差分を判定することと、
前記差分が予め定めた値未満である場合、前記デフォルト個数しきい値を動的に調節して、前記次のシーン内の明るい領域の個数を含む調節された個数範囲を設定し、前記次のシーンのために、前記調節された目標輝度を維持することと、
前記差分が予め定めた値より大きい場合、前記デフォルト個数しきい値を動的に調節して、前記次のシーン内の明るい領域の個数を用いて、前記差分を低減し、前記次のシーンのために、前記調節された目標輝度を最小限しか再調節しないことと
をさらにさせる請求項２６に記載のコンピュータ読取可能媒体。
【請求項２９】
デフォルト目標輝度においてシーンから光情報を取得するセンサ・アレイと、
前記光情報に基づいて、前記シーン内の複数の領域の輝度値を計算する画像キャプチャ・コントローラと、
前記シーンのために、調節された目標輝度を設定するために、前記センサ・アレイに設定されたしきい値と、前記シーン内の複数の領域の輝度値とに基づいて、前記デフォルト目標輝度を動的に調節する自動露光補償モジュールと
を備えるデバイス。
【請求項３０】
前記画像キャプチャ・コントローラは、前記調節された目標輝度の露光指数を選択するために、前記調節された目標輝度に基づいて、前記シーンについて自動露光を実行し、前記センサ・アレイは、前記調節された目標輝度の露光指数を用いて、前記シーンの画像フレームをキャプチャする請求項２９に記載のデバイス。
【請求項３１】
前記自動露光補償モジュールは、前記センサ・アレイに設定されたしきい値と、前記調節された目標輝度における前記シーン内の複数の領域の輝度値とに基づいて、前記調節された目標輝度を繰り返し再調節する請求項２９に記載のデバイス。
【請求項３２】
前記画像キャプチャ・コントローラは、前記デフォルト目標輝度の露光指数を選択するために、前記デフォルト目標輝度に基づいて、前記シーンの自動露光を実行する請求項２９に記載のデバイス。
【請求項３３】
前記自動露光補償モジュールは、前記デフォルト目標輝度を維持し、前記センサ・アレイは、前記デフォルト目標輝度の露光指数を用いて、前記シーンの画像フレームをキャプチャする請求項３２に記載のデバイス。
【請求項３４】
前記自動露光補償モジュールは、前記シーン内の複数の領域の輝度値に基づいて、前記デフォルト目標輝度が、前記シーンに適切であるかを判定する請求項２９に記載のデバイス。
【請求項３５】
前記自動露光補償モジュールは、
前記シーン内の複数の領域のおのおのの輝度値と、画像センサに設定された輝度しきい値との輝度比較を実行し、前記輝度しきい値よりも大きい輝度値を持つ１または複数の領域を、明るい領域と特定する輝度比較モジュールと、
前記シーン内の明るい領域の個数と、前記画像センサに設定されたデフォルト個数範囲との、明るい領域個数比較を実行する個数比較モジュールとを含み、
前記デフォルト目標輝度は、前記シーン内の明るい領域の個数が、前記デフォルト個数範囲内である場合に適切であり、
前記デフォルト目標輝度は、前記シーン内の明るい領域の個数が、前記デフォルト個数範囲外である場合に不適切である請求項３４に記載のデバイス。
【請求項３６】
自動露光補償モジュールは、
前記シーン内の複数の領域のおのおのの輝度値を、画像センサに設定された輝度しきい値と比較し、前記輝度しきい値よりも大きい輝度値を持つ１または複数の領域を、明るい領域として特定する輝度比較モジュールと、
前記シーン内の明るい領域の個数を判定し、前記明るい領域の個数を、前記画像センサに設定されたデフォルト個数範囲と比較する個数比較モジュールと
を含む請求項２９に記載のデバイス。
【請求項３７】
前記自動露光補償モジュールは、前記明るい領域の個数が、前記デフォルト個数範囲の低いデフォルト個数しきい値未満である場合、前記シーンのデフォルト目標輝度を増加させ、前記明るい領域の個数が、前記デフォルト個数範囲の高いデフォルト個数しきい値よりも大きい場合、前記シーンのデフォルト目標輝度を減少させる目標輝度調節モジュールを含み、
前記自動露光補償モジュールは、前記明るい領域の個数が、前記低いデフォルト個数しきい値と、前記高いデフォルト個数しきい値との間にある場合、前記シーンのために、前記デフォルト目標輝度を維持する請求項３６に記載のデバイス。
【請求項３８】
前記自動露光補償モジュールは、前記明るい領域の個数が、前記デフォルト個数範囲外にある場合、前記デフォルト目標輝度を調節する目標輝度調節モジュールを含み、
前記自動露光補償モジュールは、前記明るい領域の個数が、前記デフォルト個数範囲内にある場合、前記デフォルト目標輝度を維持する請求項３６に記載のデバイス。
【請求項３９】
前記自動露光補償モジュールは、前記シーンと次のシーンとの間での目標輝度発振を防ぐために、次のシーンのために、前記調節された目標輝度を維持する請求項２９に記載のデバイス。
【請求項４０】
前記自動露光補償モジュールは、前記シーンと次のシーンとの間に緩やかな目標輝度変化を与えるために、前記次のシーンのために、前記調節された目標輝度を、最小限しか再調節しない請求項２９に記載のデバイス。
【請求項４１】
前記センサ・アレイは、前記調節された目標輝度において次のシーンから光情報を取得し、
前記画像キャプチャ・コントローラは、前記光情報に基づいて、前記次のシーン内の複数の領域の輝度値を計算し、
前記自動露光補償モジュールは、
前記次のシーン内の複数の領域のおのおのの輝度値を、画像センサに設定された輝度しきい値と比較し、前記輝度しきい値よりも大きな輝度値を持つ１または複数の領域を、明るい領域として特定する輝度補償モジュールと、
前記次のシーン内の明るい領域の個数を判定し、前記明るい領域の個数を、前記画像センサに設定されたデフォルト個数範囲と比較する個数比較モジュールと、
前記次のシーン内の明るい領域の個数が、前記デフォルト個数範囲外である場合、調節された個数範囲を設定するために、前記デフォルト個数範囲のデフォルト個数しきい値を動的に調節する個数しきい値調節モジュールと
を含む請求項２９に記載のデバイス。
【請求項４２】
前記自動露光補償モジュールは、前記次のシーン内の明るい領域の個数が、前記デフォルト個数範囲内である場合、前記デフォルト個数しきい値を維持する請求項４１に記載のデバイス。
【請求項４３】
前記個数しきい値調節モジュールは、前記シーンと次のシーンとの間で、前記調節された目標輝度を実質的に安定させるために、異なる個数範囲を設定することによって、ヒステリシス・ゾーンを構築する請求項４１に記載のデバイス。
【請求項４４】
前記個数比較モジュールは、前記デフォルト個数しきい値と、前記次のシーン内の明るい領域の個数との差分を判定し、
前記個数しきい値調節モジュールは、前記差分に基づいて、前記デフォルト個数しきい値を動的に調節する請求項４１に記載のデバイス。
【請求項４５】
前記個数しきい値調節モジュールは、前記差分が予め定めた値未満である場合、前記デフォルト個数しきい値を動的に調節して、前記明るい領域の個数を含む調節された個数範囲を設定し、
前記自動露光補償モジュールは、前記次のシーンのために、前記調節された目標輝度を維持する請求項４４に記載のデバイス。
【請求項４６】
前記個数しきい値調節モジュールは、前記差分が予め定めた値より大きい場合、前記デフォルト個数しきい値を動的に調節して、前記次のシーン内の明るい領域の個数を用いて、前記差分を低減し、
前記目標輝度調節モジュールは、前記次のシーンのために、前記調節された目標輝度を最小限しか再調節しない請求項４４に記載のデバイス。
【請求項４７】
前記画像センサに設定された輝度しきい値と、
前記画像センサに設定されたデフォルト個数範囲と、
前記自動露光補償モジュールによって設定された、調節された個数範囲と
を含むしきい値格納部をさらに備える請求項２９に記載のデバイス。
【請求項４８】
前記シーン内の複数の領域のおのおのの輝度値は、０と２５５との間のルミナンス値を備え、
前記輝度しきい値は、２５５である最大ルミナンス値近傍に設定されたルミナンス値を備える請求項４７に記載のデバイス。
【請求項４９】
前記デフォルト個数範囲は、
前記シーン内の複数の領域のうちのおよそ０．５％に設定された低いデフォルト個数しきい値と、
前記シーン内の複数の領域のうちのおよそ３％に設定された高いデフォルト個数しきい値と
を含む請求項４７に記載のデバイス。
【請求項５０】
デフォルト目標輝度においてシーンから光情報を取得する手段と、
前記光情報に基づいて、前記シーン内の複数の領域の輝度値を計算する手段と、
前記シーンのために、調節された目標輝度を設定するために、しきい値と、前記シーン内の複数の領域の輝度値とに基づいて、前記デフォルト目標輝度を動的に調節する手段と
を備えるデバイス。
【請求項５１】
前記デフォルト目標輝度を動的に調節する手段は、
前記シーン内の複数の領域のおのおのの輝度値を、画像センサに設定された輝度しきい値と比較し、前記輝度しきい値よりも大きい輝度値を持つ１または複数の領域を、明るい領域として特定する手段と、
前記シーン内の明るい領域の個数を判定し、前記明るい領域の個数を、前記画像センサに設定されたデフォルト個数範囲と比較する手段と、
前記明るい領域の個数が、前記デフォルト個数範囲の低いデフォルト個数しきい値未満である場合、前記シーンのデフォルト目標輝度を増加させ、前記明るい領域の個数が、前記デフォルト個数範囲の高いデフォルト個数しきい値よりも大きい場合、前記シーンのデフォルト目標輝度を減少させ、前記明るい領域の個数が、前記低いデフォルト個数しきい値と、前記高いデフォルト個数しきい値との間にある場合、前記デフォルト目標輝度を維持する手段と
を備える請求項５０に記載のデバイス。
【請求項５２】
前記デフォルト目標輝度を動的に調節する手段は、前記シーンと次のシーンとの間での目標輝度発振を防ぐために、前記次のシーンのために、前記調節された目標輝度を維持する請求項５０に記載のデバイス。
【請求項５３】
前記デフォルト目標輝度を動的に調節する手段は、前記シーンと次のシーンとの間に緩やかな目標輝度変化を与えるために、前記次のシーンのために、前記調節された目標輝度を、最小限しか再調節しない請求項５０に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像キャプチャ・デバイスを用いて画像をキャプチャすることに関し、特に、画像キャプチャ・デバイスの露光指数を調節することに関する。
【背景技術】
【０００２】
例えばデジタル・ビデオ・カメラまたはデジタル・スチル・カメラのような画像キャプチャ・デバイスは、異なる用途および環境で使用されている。画像キャプチャ・デバイスは、様々な光条件の下で高品質画像を生成できねばならない。例えば、画像キャプチャ・デバイスは、高レベルのコントラストを含む環境のみならず、大量の反射光または飽和光を含む環境においても効率的に動作できねばならない。典型的な画像キャプチャ・デバイスは、シーンのためのある目標輝度を達成する露光指数（ＥＶ）を選択する自動露光を行う。例えば、画像キャプチャ・デバイスは、およそ１８％グレイに等しい平均輝度値を持つシーンの画像フレームを生成するＥＶを選択することができる。
【０００３】
自動露光処理は、選択されたＥＶに対応させるために、画像キャプチャ・デバイスのアパチャ・サイズとシャッタ速度とを調節することができる。このように、自動露光処理は、シーンの画像フレームを目標輝度において生成するために、画像キャプチャ・デバイス内のセンサ・アレイに達する光量を制御する。しかしながら、幾つかのシーンは、高い平均輝度値を必要とし、他のシーンは、低い平均輝度値を必要とする。例えば、雪のシーンは、多くの反射光を含むため、自動露光処理が過剰補償を行い、画像フレームを不自然に暗く見えるようになる。一方、黒いラップトップの隣の白い文書を含むシーンは、高いコントラスト・レベルを含むため、これまた自動露光処理が過剰補償を行い、白い文書が画像フレーム内で全体的に飽和して見えるようになる。
【０００４】
露光補償は、デジタル・スチル・カメラにおいて一般的であるが、デジタル・ビデオ・カメラおよびその他のタイプの画像キャプチャ・デバイスにおいても利用されうる。自動露光処理が、シーンに適切な輝度を与えない場合、画像キャプチャ・デバイスのユーザは、そのシーンのために自動露光処理によって選択されたＥＶをマニュアル調節することによって露光補償を実行することができる。ユーザは、そのシーンの適切な輝度を生成するために、画像キャプチャ・デバイス内のセンサ・アレイに光が到達するように、画像キャプチャ・デバイスのアパチャ・サイズとシャッタ速度とをマニュアルで設定することによって、ＥＶを調節することができる。
【発明の概要】
【０００５】
一般に、本開示は、画像キャプチャ・デバイス内の動的な自動露光補償のための技術に関する。画像キャプチャ・デバイスは、デジタル・スチル・カメラとデジタル・ビデオ・カメラを含みうる。この技術は、画像キャプチャ・デバイス内の自動露光処理によって選択された露光指数（ＥＶ）を補償するために、シーンのデフォルト目標輝度を動的に調節することを含む。このように、自動露光処理がまず、そのシーンに明るすぎるか、あるいは暗すぎるかの何れかであるデフォルト目標輝度のＥＶを選択した場合、本技術は、調節された目標輝度を設定する。その後、自動露光処理は、適切な輝度でシーンの画像フレームを生成する、調節された目標輝度用のＥＶを選択することができる。
【０００６】
画像キャプチャ・デバイスは、デフォルト目標輝度でシーンから光情報を取得するセンサ・アレイと、この光情報に基づいて、シーン内の複数の領域の輝度値を計算する画像キャプチャ・コントローラとを含む。本明細書に記載の技術によれば、画像キャプチャ・デバイスに含まれる自動露光補償モジュールは、シーン内の複数の領域の輝度値と、センサ・アレイに設定されたしきい値とに基づいて、デフォルト目標輝度が適切であるか否かを判定する。デフォルト目標輝度が適切ではない場合、自動露光補償モジュールは、デフォルト目標輝度を動的に調節して、そのシーンに適切に調節された目標輝度を設定する。その後、センサ・アレイは、調節された目標輝度のＥＶを用いて、シーンの画像フレームをキャプチャすることができる。このように、本技術は、マニュアル自動露光補償のための簡素で安価なソリューションを提供する。
【０００７】
さらに本技術は、画像シーンのシーケンスにわたって、調節された目標輝度を実質的に安定させるヒステリシス・ゾーンを構築することを含む。調節された目標輝度が、次のシーンに不適切である場合、自動露光補償モジュールは、センサ・アレイに設定されたしきい値を調節することによって、ヒステリシス・ゾーンを構築することができる。いくつかの場合、この画像キャプチャ・デバイスに含まれる自動露光補償モジュールは、前のシーンと次のシーンとの間の目標輝度発振（oscillation）を防ぐために、次のシーンのために調節された目標輝度を維持するヒステリシスを構築することができる。その他の場合、自動露光補償モジュールは、前のシーンと次のシーンとの間に緩やかな目標輝度変化を与えるために、次のシーンのために調節された目標輝度を最小限しか再調節しないヒステリシス・ゾーンを構築することができる。これは、フレーム間の輝度変化を低減するために、画像キャプチャ・デバイスを用いてビデオ・フレームをキャプチャする場合、あるいは、一連の静止画像フレームをキャプチャする場合、特に有用である。
【０００８】
１つの実施形態では、本開示は、デフォルト目標輝度において、画像キャプチャ・デバイスに含まれるセンサ・アレイを用いて、シーンから光情報を取得することと、この光情報に基づいて、シーン内の複数の領域の輝度値を計算することとを備える方法を提供する。この方法はさらに、センサ・アレイに設定されたしきい値と、シーン内の複数の領域の輝度値とに基づいて、デフォルト目標輝度を動的に調節し、そのシーンのために、調節された目標輝度を設定することを備える。
【０００９】
別の実施形態では、本開示は、画像キャプチャ・デバイスに含まれるセンサ・アレイを用いて、デフォルト目標輝度において、シーンから光情報を取得することと、この光情報に基づいて、シーン内の複数の領域の輝度値を計算することとを、プログラム可能なプロセッサに対してさせる命令群を備えるコンピュータ読取可能媒体を提供する。これら命令群はさらに、センサ・アレイに設定されたしきい値と、シーン内の複数の領域の輝度値とに基づいて、デフォルト目標輝度を動的に調節し、そのシーンために、調節された目標輝度を設定することをプログラム可能なプロセッサに対してさせる。
【００１０】
別の実施形態では、本開示は、デフォルト目標輝度において、シーンから光情報を取得するセンサ・アレイと、この光情報に基づいて、シーン内の複数の領域の輝度値を計算する画像キャプチャ・コントローラとを備えるデバイスを提供する。このデバイスはまた、センサ・アレイに設定されたしきい値と、シーン内の複数の領域の輝度値とに基づいて、デフォルト目標輝度を動的に調節し、そのシーンのために、調節された目標輝度を設定する自動露光補償モジュールを含む。
【００１１】
更なる実施形態では、本開示は、デフォルト目標輝度において、シーンから光情報を取得する手段と、この光情報に基づいて、シーン内の複数の領域の輝度値を計算する手段と、しきい値と、シーン内の複数の領域の輝度値とに基づいて、デフォルト目標輝度を動的に調節し、そのシーンのために、調節された目標輝度を設定する手段とを備えるデバイスを提供する。
【００１２】
本明細書に記載された技術は、ハードウェア、ソフトウェア、ファームウェア、あるいはそれらの任意の組み合わせで実現されうる。ソフトウェアで実現される場合、これら技術は、プロセッサによって実行された場合、本明細書に記載の１または複数の方法を実行するコンピュータ読取可能媒体によってその全部または一部が実現されうる。
【００１３】
１または複数の実施形態の詳細は、以下の詳細説明および添付図面において述べられる。その他の機能、目的、および利点が、これら説明、図面、および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１４】
【図１】図１は、シーンから画像情報をキャプチャする典型的な画像キャプチャ・デバイスを例示するブロック図である。
【図２】図２は、図１からの画像キャプチャ・デバイス内の自動露光補償モジュールと、しきい値格納デバイスとを詳細に例示するブロック図である。
【図３】図３は、画像キャプチャ・デバイス内の動的な自動露光補償処理の典型的な動作を例示するフローチャートである。
【図４Ａ】図４Ａは、画像キャプチャ・デバイス内の動的な自動露光補償処理の典型的な動作をより詳細に例示するフローチャートである。
【図４Ｂ】図４Ｂは、画像キャプチャ・デバイス内の動的な自動露光補償処理の典型的な動作をより詳細に例示するフローチャートである。
【図５】図５は、画像シーンのシーケンスにわたって、画像キャプチャ・デバイスの調節された目標輝度を実質的に安定させるヒステリシス・ゾーンを使用することを例示するフローチャートである。
【発明を実施するための形態】
【００１５】
図１は、シーンから画像情報をキャプチャする典型的な画像キャプチャ・デバイス１０を例示するブロック図である。本開示に記載された技術によれば、画像キャプチャ・デバイス１０は、画像キャプチャ・デバイス１０内の自動露光処理によって選択された露光指数（ＥＶ）を補償するために、シーンのデフォルト目標輝度を動的に調節する動的自動露光補償を行う。このようにして、画像キャプチャ・デバイス１０内の自動露光処理がまず、そのシーンに明るすぎるか暗すぎるかの何れかであるデフォルト目標輝度のＥＶを選択したのであれば、画像キャプチャ・デバイス１０は、調節された目標輝度を設定することができる。その後、画像キャプチャ・デバイス１０内の自動露光処理は、適切な輝度を用いてシーンの画像フレームを生成する調節された目標輝度のＥＶを選択することができる。
【００１６】
図１に示すように、画像キャプチャ・デバイス１０は、センサ・アレイ１２、画像キャプチャ・コントローラ１４、画像プロセッサ１６、自動露光補償モジュール１８、画像格納デバイス２０、およびしきい値格納デバイス２２を含む。図１に例示する画像キャプチャ・デバイス１０に含まれる構成要素は、ハードウェアおよび／またはソフトウェアの任意の適切な組み合わせによって実現されうる。例示した実施形態では、これら構成要素は、個別のユニットとして示されている。しかしながら、他の実施形態では、これらの構成要素のうちの何れかが、共通のハードウェアおよび／またはソフトウェア内の統合ユニットへ統合されうる。
【００１７】
画像キャプチャ・デバイス１０は、例えばデジタル・ビデオ・カメラ、デジタル・スチル・カメラ、またはこれらの組み合わせのようなデジタル・カメラでありうる。さらに、画像キャプチャ・デバイス１０は、例えばスタンド・アロン・カメラのようなスタンド・アロン・デバイスであるか、あるいは、例えば無線通信デバイスのようなその他のデバイス内に統合されうる。例として、いわゆるカメラ電話あるいはビデオ電話を構成するために、画像キャプチャ・デバイス１０は、モバイル電話に統合されうる。画像キャプチャ・デバイス１０は好適には、カラー描写、白黒描写、またはこれら両方をキャプチャするために備えられている。本開示では、用語「画像」（image）、「描写」（imagery）、「画像情報」（image information）、あるいは類似の用語は、ビデオ・ピクチャまたはスチル・ピクチャと置換可能に称することができる。同様に、用語「フレーム」は、画像キャプチャ・デバイス１０によって取得されたビデオ・フレームまたはスチル・ピクチャの何れかを称することができる。
【００１８】
センサ・アレイ１２は、シーンの画像フレームをキャプチャする前に、シーンから光情報を得る。センサ・アレイ１２は、個々の画像センサが、例えば行列形式に配列された二次元配列を含んでいる。センサ・アレイ１２は、例えば、相補性金属酸化膜半導体（ＣＭＯＳ）センサのような多くのソリッド・ステート・センサを備えることができる。センサ・アレイ１２内の画像センサは、シーンから光情報を取得し、そして、シーンの画像フレームをキャプチャするために、シーンにさらされる。
【００１９】
画像キャプチャ・コントローラ１４は、例えば自動焦点および自動露光のような予備的なビジュアル・フロント・エンド（ＶＦＥ）処理のためにこの光情報を用いる。例えば、画像キャプチャ・コントローラ１４は、センサ・アレイ１２からの光情報に基づいて自動露光を行い、そのシーンのためのデフォルト目標輝度を達成するＥＶを選択する。選択されたＥＶは、シーンからセンサ・アレイ１２に到達する光量を制御するアパチャ・サイズと、シーンからの光にセンサ・アレイ１２がさらされる時間の長さを制御するシャッタ速度とを定める。一般的なデフォルト目標輝度は、およそ１８％グレイである。したがって、画像キャプチャ・コントローラ１４は、およそ１８％グレイに等しい平均輝度値を持つシーンの画像フレームを生成するＥＶを選択するように自動露光を実行する。
【００２０】
従来の画像キャプチャ・デバイスでは、センサ・アレイは、デフォルト目標輝度のＥＶを用いて、各シーンの画像フレームをキャプチャする。しかしながら、いくつかの画像フレームは、より高い平均輝度値を必要とし、別の画像フレームは、より低い平均輝度値を必要とする。例えば、雪のシーンは、多くの反射光を含み、このため自動露光処理が過剰補償を行い、画像フレームが不自然に暗く見えるようになる。一方、黒いラップトップの隣の白い文書を含むシーンは、高コントラスト・レベルを含み、これまた自動露光処理が過剰補償を行い、画像フレームにおいて、白い文書が全体的に飽和して見えるようになる。従来の画像キャプチャ・デバイスのユーザはその後、マニュアル自動露光補償を行わねばならない。
【００２１】
本明細書で開示された技術によって、画像キャプチャ・デバイス１０は、デフォルト目標輝度が所与のシーンに適切ではない場合、ＥＶを補償するように画像キャプチャ・デバイス１０のデフォルト目標輝度を動的に調節する動的自動露光補償を実行することが可能となる。センサ・アレイ１２は、デフォルト目標輝度で、シーンから光情報を取得する。画像キャプチャ・コントローラ１４は、シーンを、例えば２５６に均等分割された領域のような複数の領域に分割し、これら複数の領域のおのおのの平均輝度値を計算する。これら複数の領域のおのおのの輝度値は、０（すなわち、黒）と２５５（すなわち、白）との間の範囲におよぶルミナンス値を備える。画像キャプチャ・コントローラ１４は、その後、シーン内の複数の領域の輝度値を、自動露光補償モジュール１８へ送る。
【００２２】
自動露光補償モジュール１８は、シーン内の領域の輝度値と、センサ・アレイ１２に設定されたしきい値とに基づいて、画像キャプチャ・デバイス１０のデフォルト目標輝度が、そのシーンに適切であるかを判定する。デフォルト目標輝度は、そのしきい値にしたがって、シーン内の複数の領域の輝度値が、明るすぎるか、暗すぎる場合、そのシーンに不適切でありうる。しきい値格納デバイス２２は、画像キャプチャ・デバイス１０の製造中に、センサ・アレイ１２に設定されたしきい値を格納する。デフォルト目標輝度が適切ではない場合、自動露光補償モジュール１８は、そのシーンに適切に調節された目標輝度を設定するデフォルト目標輝度を動的に調節する。このように、本明細書に記載の技術は、マニュアルの自動露光補償に対して簡素で安価なソリューションを提供する。
【００２３】
さらに、自動露光補償モジュール１８は、画像シーンのシーケンスにわたって、調節された目標輝度を実質的に安定させるヒステリシス・ゾーンを構築することができる。調節された目標輝度が次のシーンに不適切である場合、自動露光補償モジュール１８は、しきい値格納デバイス２２に格納されたしきい値を調節することによって、ヒステリシス・ゾーンを構築することができる。いくつかの場合、自動露光補償モジュール１８は、前のシーンと次のシーンとの間の目標輝度発振（oscillation）を防ぐために、次のシーンのために調節された目標輝度を維持するヒステリシスを構築することができる。その他の場合、自動露光補償モジュール１８は、前のシーンと次のシーンとの間に緩やかな目標輝度変化を与えるために、次のシーンのために調節された目標輝度を最小限しか再調節しないヒステリシス・ゾーンを構築することができる。これは、フレーム間の輝度変化を低減するために、画像キャプチャ・デバイス１０を用いてビデオをキャプチャする場合、あるいは、一連の静止画像をキャプチャする場合、特に有用である。
【００２４】
自動露光補償モジュール１８は、例えばマイクロプロセッサ、ＤＳＰ等のようなロジック・デバイスのプログラム可能な機能として、あるいは独立したハードウェア構成要素として実現されうる。いくつかの実施形態では、自動露光補償モジュール１８は、画像プロセッサ１６を実現するロジック・デバイスのプログラム可能な機能または統合された機能でありうる。特に、自動露光補償モジュール１８は、そのようなロジック・デバイスによって実行される１または複数のソフトウェア・プロセッサとして実現されうる。
【００２５】
自動露光補償モジュール１８は、調節された目標輝度を、画像キャプチャ・コントローラ１４へ送る。画像キャプチャ・コントローラ１４は、その後、調節された目標輝度のＥＶを選択するために、調節された目標輝度に基づいて、自動露光を実行する。その後、センサ・アレイ１２が、調節された目標輝度のＥＶを用いて、シーンの画像フレームをキャプチャすることができる。このＥＶを用いて、センサ・アレイ１２は、選択されたＥＶによって定められたアパチャ・サイズを用いてシーンから光を受け取り、選択されたＥＶによって定められたシャッタ速度でリセットする。センサ・アレイ１２は、画像格納デバイス２０における格納および処理のために、キャプチャされた画像フレームを画像プロセッサ１６へ提供する。
【００２６】
画像プロセッサ１６は、キャプチャされた画像フレームをセンサ・アレイ１２から受け取り、この画像フレームについて必要な任意の処理を実行する。画像プロセッサ１６は、例えば、フィルタリング、クロッピング、デモザイク、圧縮、画像エンハンスメント、またはセンサ・アレイ１２によってキャプチャされた画像フレームのその他の処理を実行することができる。画像プロセッサ１６は、マイクロプロセッサ、デジタル信号プロセサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラム可能なゲート・アレイ（ＦＰＧＡ）、あるいは他の等価なディスクリートまたは統合されたロジック回路類によって実現されうる。いくつかの実施形態では、画像プロセッサ１６は、例えばＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ  Ｈ．２６３、ＩＴＵ  Ｈ．２６４、ＪＰＥＧ等のような特定の符号化技術またはフォーマットにしたがって画像フレームを符号化するエンコーダ／デコーダ（ＣＯＤＥＣ）の一部を形成する。
【００２７】
画像プロセッサ１６は、画像格納デバイス２０内に画像フレームを格納する。画像プロセッサ１６は、生の画像フレーム、処理された画像フレーム、または符号化された画像フレームを、画像格納デバイス２０内に格納することができる。描写が、オーディオ情報を伴う場合、このオーディオはまた、画像フレームと独立あるいは連携して、画像格納デバイス２０内に格納されうる。画像格納デバイス２０は、例えば読取専用メモリ（ＲＯＭ）、ＥＥＰＲＯＭ（ＥＥＰＲＯＭ）、あるいはフラッシュ・メモリのような任意の揮発性メモリ、不揮発性メモリ、または記憶デバイスであるか、あるいは磁気データ格納デバイスまたは光データ格納デバイスを備えうる。
【００２８】
図２は、図１からのしきい値格納デバイス２２と、自動露光補償モジュール１８とを更に詳細に例示するブロック図である。図２に例示するように、自動露光補償モジュール１８は、輝度比較モジュール３０、個数（population）比較モジュール３２、個数しきい値調節モジュール３４、および目標輝度調節モジュール３６を含んでいる。自動露光補償モジュール１８は、画像キャプチャ・コントローラ１４から、シーン内の複数の領域の輝度値を受け取り、デフォルト目標輝度がそのシーンに適切ではない場合には、そのシーンの輝度値に基づいて、調節された目標輝度を、画像キャプチャ・コントローラ１４へ出力する。
【００２９】
しきい値格納デバイス２２は、輝度しきい値２６、デフォルト個数範囲２８、および調節された個数範囲２９を格納する。いくつかの場合、しきい値格納デバイス２２は、複数の調節された個数範囲を含む。輝度しきい値２６およびデフォルト個数範囲２８は、センサ・アレイ１２に設定され、画像キャプチャ・デバイス１０の製造中に、しきい値格納デバイス２２に格納されうる。デフォルト個数範囲２８は、シーン内の明るい領域の個数のための高いデフォルト個数しきい値と、低いデフォルト個数しきい値とを含む。低いデフォルト個数しきい値と、高いデフォルト個数しきい値とは、デフォルト個数範囲２８の両端を規定する。調節された個数範囲２９は、個数しきい値調節モジュール３４によって設定され、動的自動露光補償の間、画像キャプチャ・デバイス１０のしきい値格納デバイス２２内に格納される。調節された個数範囲２９は、デフォルト個数しきい値から調節された低い個数しきい値と高い個数しきい値とを含みうる。
【００３０】
自動露光補償モジュール１８は、画像キャプチャ・コントローラ１４から受け取った、シーン内の複数の領域の輝度値を、輝度比較モジュール３０へ提供する。シーン内の複数の領域のおのおのの輝度値は、０（すなわち、黒）と２５５（すなわち、白）との間の範囲におよぶルミナンス値を備える。輝度比較モジュール３０は、シーン内の複数の領域のおのおのの輝度値を、しきい値格納デバイス２２から取得した輝度しきい値２６と比較する。輝度比較モジュール３０は、その後、シーン内の領域のうちの１または複数であり、輝度しきい値２６よりも大きな輝度値を持つ領域を、「明るい領域」として特定する。輝度しきい値２６は、一般には、ガンマに依存して、例えば１９０と２５５との間の範囲においては２５５である最大ルミナンス値近傍に設定される。このようにして、複数の領域のうちの比較的少数が、明るい領域として特定されうる。
【００３１】
個数比較モジュール３２は、シーン内の明るい領域の個数を決定する。例えば、個数比較モジュール３２は、シーン内の明るい領域の数として、あるいは、シーン内の領域の総数に対する明るい領域の数の割合またはパーセンテージとして、個数を指定することができる。個数比較モジュール３２は、明るい領域の個数を、しきい値格納デバイス２２から取得したデフォルト個数２８と比較する。その後、個数比較モジュール３２は、この明るい領域の個数比較に基づいて、デフォルト目標輝度がそのシーンに適切であるかを判定する。
【００３２】
輝度しきい値２６は、明るい領域であると特定されたシーン内の領域の数を制限するために、比較的高いルミナンス値に等しく設定されるので、デフォルト個数範囲２８は一般に、シーン内の複数の領域のうちの比較的少数に等しく設定される。例えば、デフォルト個数範囲２８の低いデフォルト個数しきい値は、シーン内の領域の総数のおよそ０．５％に等しく、デフォルト個数範囲２８の高いデフォルト個数しきい値は、シーン内の領域の総数のおよそ３％に等しい。シーンが、２５６の領域に均等に分割される場合、低いデフォルト個数しきい値は、およそ１領域または２領域に等しく、高いデフォルト個数しきい値は、およそ７領域または８領域に等しい。
【００３３】
個数比較モジュール３２は、シーン内の明るい領域の個数が、デフォルト個数領域２８内にある場合、デフォルト目標輝度が、そのシーンに適切であると判定する。言い換えれば、デフォルト目標輝度は、シーン内の明るい領域の個数が、デフォルト個数範囲２８の低いデフォルト個数しきい値よりも大きいが、高いデフォルト個数しきい値よりも小さい場合、そのシーンに適切である。個数比較モジュール３２は、シーン内の明るい領域の個数が、デフォルト個数範囲２８外にある場合、そのシーンに不適切であると判定する。言い換えれば、デフォルト目標輝度は、シーン内の明るい領域の個数が、デフォルト個数２８の低いデフォルト個数しきい値よりも小さいか、あるいは、高いデフォルト個数よりも大きい場合に、そのシーンに不適切である。
【００３４】
デフォルト目標輝度がそのシーンに適切であると個数比較モジュール３２が判定した場合、自動露光補償モジュール１８は、デフォルト目標輝度を維持し、画像キャプチャ・コントローラ１４に対して、デフォルト目標輝度を使用するように通知する。その後、センサ・アレイ１２が、デフォルト目標輝度のＥＶを用いて、シーンの画像フレームをキャプチャすることができる。
【００３５】
デフォルト目標輝度がそのシーンに不適切であると個数比較モジュール３２が判定した場合、目標輝度調節モジュール３６は、デフォルト個数範囲２８とシーン内の輝度領域の個数とに基づいて、調節された目標輝度を設定するために、デフォルト目標輝度を動的に調節する。例えば、目標輝度調節モジュール３６は、明るい領域の個数が、低いデフォルト個数しきい値よりも小さい場合、そのシーンのデフォルト目標輝度を上げる。目標輝度調節モジュール３６は、明るい領域の個数が、高いデフォルト個数しきい値よりも大きい場合、そのシーンのデフォルト目標輝度を下げる。
【００３６】
その後、自動露光補償モジュール１８は、調節された目標輝度を、画像キャプチャ・コントローラ１４へ送る。画像キャプチャ・コントローラ１４は、調節された目標輝度に基づいて、自動露光を実行し、調節された目標輝度のＥＶを選択する。ある場合には、目標輝度調節モジュール３６は、そのシーンに適切になるようにデフォルト目標輝度を十分に調節するものと仮定されうる。その後、センサ・アレイ１２が、調節された目標輝度のＥＶを用いて、そのシーンの画像フレームをキャプチャすることができる。
【００３７】
その他の場合では、目標輝度調節モジュール３６は、そのシーンのためのデフォルト目標輝度を最小限しか調節しない。この場合、センサ・アレイ１２は、調節された目標輝度において、シーンから光情報を再度取得し、画像キャプチャ・コントローラ１４は、この光情報に基づいて、そのシーンの領域の輝度値を計算することができる。自動露光補償モジュール１８はその後、そのシーンについて適切な目標輝度が設定されるまで、あるいは、最大限に許容された目標輝度調節値に達するまで、調節された目標輝度を繰り返し再調節する。その後、センサ・アレイ１２は、再調節された目標輝度のＥＶを用いて、シーンの画像フレームをキャプチャすることができる。
【００３８】
しばしば、複数の画像フレームが、同じ環境内でキャプチャされる。例えば、画像キャプチャ・デバイス１０のユーザは、デフォルト目標輝度が不適切となりうる大量の反射光または飽和光、あるいは高いレベルのコントラストを含む環境において、一連の静止画像フレームまたはビデオ・フレームをキャプチャすることができる。従って、所与のシーンについて、調節された目標輝度を設定した後、自動露光補償モジュール１８は、その後のシーンのために調節された目標輝度を実質的に安定させるヒステリシス・ゾーンを構築することができる。
【００３９】
調節された目標輝度が次のシーンに不適切である場合、自動露光補償モジュール１８は、しきい値格納デバイス２２に格納されたデフォルト個数範囲２８のデフォルト個数しきい値を調節することによって、ヒステリシス・ゾーンを構築することができる。ある場合には、自動露光補償モジュール１８は、前のシーンと次のシーンとの間の目標輝度発振（oscillation）を防ぐために、次のシーンのために調節された目標輝度を維持するヒステリシス・ゾーンを構築することができる。その他の場合には、自動露光補償モジュール１８は、前のシーンと次のシーンとの間に緩やかな目標輝度変化を与えるために、次のシーンのために調節された目標輝度を最小限しか再調節しないヒステリシス・ゾーンを構築することができる。このように、画像キャプチャ・デバイス１０を用いて一連の静止画像またはビデオをキャプチャする場合、フレーム間の輝度変化が低減されうる。
【００４０】
次のシーンについては、センサ・アレイ１２が、調節された目標輝度において、次のシーンから光情報を取得し、画像キャプチャ・コントローラ１４が、次のシーン内の複数の領域の輝度値を計算する。自動露光補償モジュール１８は、画像キャプチャ・コントローラ１４から、次のシーン内の複数の領域の輝度値を受け取り、この輝度値を、輝度比較モジュール３０へ提供する。前のシーンと実質的に同様に、輝度比較モジュール３０は、次のシーン内の複数の領域のおのおのの輝度値を、しきい値格納デバイス２２から取得された輝度しきい値２６と比較する。その後、輝度比較モジュール３０が、次のシーン内の領域のうちの１または複数であって、輝度しきい値２６よりも高い輝度値を持つ領域を、明るい領域であると特定する。
【００４１】
個数比較モジュール３２は、次のシーンにおける明るい領域の個数を判定し、この明るい領域の個数を、しきい値格納デバイス２２から取得されたデフォルト個数範囲２８と比較する。個数比較モジュール３２は、その後、この比較に基づいて、デフォルト個数範囲２８のデフォルト個数しきい値を調節するべきか否かを判定する。次のシーンにおける明るい領域の個数が、デフォルト個数範囲２８内にある場合、個数比較モジュール３２は、デフォルト個数範囲２８のデフォルト個数しきい値を維持する。自動露光補償モジュール１８は、この調節された目標輝度を維持し、画像チャプチャ・コントローラ１４に対して、この調節された目標輝度を使用するように通知する。その後、センサ・アレイ１２は、調節された目標輝度のＥＶを用いて、次のシーンの画像フレームをキャプチャすることができる。
【００４２】
次のシーンにおける明るい領域の個数が、デフォルト個数範囲２８外にある場合、個数しきい値調節モジュール３４が、デフォルト個数範囲２８のデフォルト個数しきい値を動的に調節し、調節された個数範囲２９を設定する。個数しきい値調節モジュール３４はその後、調節された個数範囲２９を、しきい値格納デバイス２２内に格納する。ある場合には、デフォルト個数範囲２８を減少または増加させるために、個数しきい値調節モジュール３４が、低いデフォルト個数しきい値または高いデフォルト個数しきい値のうちの１つのみを調節することによって、調節された個数範囲２９を設定することができる。このように、個数しきい値調節モジュール３４は、前のシーンと次のシーンとの間で調節された目標輝度を実質的に安定させるために、異なる個数範囲を設定することによって、ヒステリシス・ゾーンを構築する。
【００４３】
個数しきい値調節モジュール３４は、デフォルト個数しきい値と、次のシーン内の明るい領域の個数との差分に基づいて、デフォルト個数範囲２８のデフォルト個数しきい値を動的に調節する。例えば、明るい領域の個数が、デフォルト個数範囲２８の低いデフォルト個数しきい値未満であれば、個数しきい値調節モジュール３４は、明るい領域の個数が、低いデフォルト個数しきい値と比べて、どの程度少ないかを判定する。明るい領域の個数が、デフォルト個数範囲２８の高いデフォルト個数しきい値を超える場合、個数しきい値調節モジュール３４は、明るい領域の個数が、高いデフォルト個数しきい値と比べて、どの程度多いかを判定する。
【００４４】
次のシーンにおける明るい領域の個数と、デフォルト個数範囲２８のデフォルト個数しきい値との差分が、予め定めた値未満である場合、個数しきい値調節モジュール３４は、次のシーンにおける明るい領域の個数を含む調節された個数範囲２９を設定するために、デフォルト個数しきい値を動的に調節する。このように、自動露光補償モジュール１８は、前のシーンと次のシーンとの間の目標輝度発振を防ぐために、次のシーンのために調節された目標輝度を維持する。自動露光補償モジュール１８は、この調節された目標輝度を使用するように、画像キャプチャ・コントローラ１４に通知する。センサ・アレイ１２は、その後、この調節された目標輝度のＥＶを用いて、次のシーンの画像フレームをキャプチャすることができる。
【００４５】
次のシーンの明るい領域の個数と、デフォルト個数範囲２８のデフォルト個数しきい値との差分が、予め定めた値を超える場合、個数しきい値調節モジュール３４は、この差分を低減するために、次のシーンの明るい領域の個数を用いて、デフォルト個数しきい値を動的に調節する。このようにして、自動露光補償モジュール１８は、前のシーンと次のシーンとの間に緩やかな目標輝度変化を与えるために、次のシーンのために調節された目標輝度を最小限しか再調節しないヒステリシス・ゾーンを構築することができる。自動露光補償モジュール１８は、この再調節された目標輝度を、画像キャプチャ・コントローラ１４へ送る。画像キャプチャ・コントローラ１４は、再調節された目標輝度のＥＶを選択するために、再調節された目標輝度に基づいて自動露光を実行することができる。その後、センサ・アレイ１２が、再調節された目標輝度のＥＶを用いて、次のシーンの画像フレームをキャプチャすることができる。
【００４６】
図３は、画像キャプチャ・デバイス内の動的な自動露光補償処理の典型的な動作を例示するフローチャートである。この動作は、本明細書において、図１からの画像キャプチャ・デバイス１０に関して記述される。センサ・アレイ１２が、画像キャプチャ・デバイス１０のデフォルト目標輝度において、シーンから光情報を取得する（４０）。例えば、一般的なデフォルト目標輝度は、およそ１８％グレイである。画像キャプチャ・コントローラ１４は、デフォルト目標輝度のＥＶを選択するために、デフォルト目標輝度に基づいて自動露光を行なうことにより、センサ・アレイ１２によって取得される光量を制御する。
【００４７】
画像キャプチャ・コントローラ１４は、センサ・アレイ１２から光情報を受け取り、この光情報に基づいて、シーン内の複数の領域の輝度値を計算する（４２）。例えば、シーンは、０（すなわち、黒）と２５５（すなわち、白）との間の範囲におよぶ輝度値を用いて、２５６の領域に均等に分割される。画像キャプチャ・コントローラ１６はその後、この計算された輝度値を、自動露光補償モジュール１８に送る。自動露光補償モジュール１８は、センサ・アレイ１２に設定されたしきい値と、シーン内の複数の領域の輝度値とに基づいて、画像キャプチャ・デバイスのデフォルト目標輝度を動的に調節する（４４）。しきい値格納デバイス２２に格納されたしきい値にしたがって、シーン内の複数の領域の輝度値が、そのシーンに明るすぎる場合あるいは暗すぎる場合、デフォルト目標輝度は、そのシーンに対して不適切となりうる。
【００４８】
自動露光補償モジュール１８は、調節された目標輝度を、画像キャプチャ・コントローラ１４へ送る。画像キャプチャ・コントローラ１４は、調節された目標輝度のＥＶを選択するために、調節された目標輝度に基づいて、自動露光を実行する。その後、センサ・アレイ１２が、調節された目標輝度のＥＶを用いて、そのシーンの画像フレームをキャプチャする（４６）。デフォルト目標輝度がそのシーンに適切である場合、自動露光補償モジュール１８は、デフォルト目標輝度を用いるように画像キャプチャ・コントローラ１４に通知し、センサ・アレイ１２は、デフォルト目標輝度のＥＶを用いて、シーンの画像フレームをキャプチャすることができる。シーンの画像フレームをキャプチャすると、センサ・アレイ１２は、この画像フレームを処理のために画像プロセッサ１６へ送り、画像格納デバイス２０へ格納する。
【００４９】
図４Ａおよび図４Ｂは、画像キャプチャ・デバイス内の動的な自動露光補償処理の典型的な動作をより詳細に例示するフローチャートである。この動作は、本明細書において、画像キャプチャ・デバイス１０に含まれ、図２のしきい値格納デバイス２２および自動露光補償モジュール１８に関して説明される。図４Ａに例示するように、輝度しきい値２６がセンサ・アレイ１２に設定され、画像キャプチャ・デバイス１０の製造中に、しきい値格納デバイス２２に格納される（５０）。デフォルト個数範囲２８がセンサ・アレイ１２に設定され、画像キャプチャ・デバイス１０の製造中に、しきい値格納デバイス２２に格納される（５２）。デフォルト個数範囲２８は、シーン内の明るい領域の個数のための、高いデフォルト個数しきい値と低いデフォルト個数しきい値とを含んでいる。
【００５０】
センサ・アレイ１２は、画像キャプチャ・デバイス１０のデフォルト目標輝度において、シーンから光情報を取得する（５４）。画像キャプチャ・コントローラ１４は、デフォルト目標輝度のＥＶを選択するために、デフォルト目標輝度に基づいて自動露光を行なうことにより、センサ・アレイ１２によって取得される光量を制御する。画像キャプチャ・コントローラ１４は、その後、センサ・アレイ１２から、そのシーンの光情報を取得し、そのシーンを複数の領域に分割する。画像キャプチャ・コントローラ１４は、その光情報に基づいて、シーン内の複数の領域のおのおのの輝度値を計算する（５６）。その後、画像キャプチャ・コントローラ１４は、計算された輝度値を、自動露光補償モジュール１８へ送る。
【００５１】
自動露光補償モジュール１８内の輝度比較モジュール３０は、シーン内の複数の領域のおのおのの輝度値を、しきい値格納デバイス２２から取得された輝度しきい値２６と比較する（５８）。この比較に基づいて、輝度比較モジュール３０は、シーン内の複数の領域のうちのどれが、輝度しきい値２６よりも大きな輝度値を持っているかを判定し、これらの領域を、明るい領域と特定する（６０）。また、自動露光補償モジュール１８に含まれている個数比較モジュール３２は、シーン内の明るい領域の個数を判定する（６２）。個数比較モジュール３２は、この個数を、シーン内の明るい領域の数として、あるいは、シーン内の領域の総数に対する明るい領域の数の割合またはパーセンテージとして指定することができる。個数比較モジュール３２は、シーン内の明るい領域の個数を、しきい値格納デバイス２２から取得されたデフォルト個数範囲２８と比較する（６４）。
【００５２】
図４Ｂに例示するように、個数比較モジュール３２はまず、明るい領域の個数を、デフォルト個数範囲２８の高いデフォルト個数しきい値と比較する（６５）。シーン内の明るい領域の個数が、高いデフォルト個数しきい値よりも大きな場合、目標輝度調節モジュール３６は、画像キャプチャ・デバイス１０のそのシーンのデフォルト目標輝度を下げ、調節された目標輝度を設定する（６６）。その後、自動露光補償モジュール１８が、この調節された目標輝度を、画像キャプチャ・コントローラ１４へ送る（７０）。画像キャプチャ・コントローラ１４は、調節された目標輝度のＥＶを選択するために、調節された目標輝度に基づいて、自動露光を実行する。その後、センサ・アレイ１２が、この調節された目標輝度のＥＶを用いて、そのシーンの画像フレームをキャプチャすることができる（７２）。
【００５３】
シーン内の明るい領域の個数が、デフォルト個数範囲２８の高いデフォルト個数しきい値未満である場合、個数比較モジュールは、明るい領域の個数を、デフォルト個数範囲２８の低い個数デフォルトしきい値と比較する（６７）。シーン内の明るい領域の個数が、低いデフォルト個数しきい値未満である場合、目標輝度調節モジュール３６は、調節された目標輝度を設定するために、画像キャプチャ・デバイス１０のそのシーンのデフォルト目標輝度を上げる（６８）。その後、自動露光補償モジュール１８は、この調節された目標輝度を、画像キャプチャ・コントローラ１４へ送る（７０）。画像キャプチャ・コントローラ１４は、この調節された目標輝度のＥＶを選択するために、この調整された目標輝度に基づいて、自動露光を実行する。その後、センサ・アレイ１２が、この調節された目標輝度のＥＶを用いて、そのシーンの画像フレームをキャプチャすることができる（７２）。
【００５４】
いずれの場合であれ、目標輝度調節モジュール３６は、そのシーンに適切になるようにデフォルト目標輝度を十分に調節するものと仮定されうる。他の実施形態では、目標輝度調節モジュール３６は、シーンのためのデフォルト目標輝度を最小限しか調節しない。この場合、センサ・アレイ１２は、調節された目標輝度において、シーンから光情報を再度取得し、画像キャプチャ・コントローラ１４は、この光情報に基づいて、シーンの領域の輝度値を計算することができる。自動露光補償モジュール１８はその後、そのシーンについて適切な目標輝度が設定されるまで、あるいは、最大限に許容された目標輝度調節値に達するまで、調節された目標輝度を繰り返し再調節する。その後、センサ・アレイ１２が、再調節された目標輝度のＥＶを用いて、シーンの画像フレームをキャプチャすることができる。
【００５５】
シーン内の明るい領域の個数が、デフォルトの高いデフォルト個数しきい値よりも小さく、低いデフォルト個数しきい値よりも大きい場合、自動露光補償モジュール１８は、そのシーンの画像キャプチャ・デバイス１０のデフォルト目標輝度を維持する。その後、自動露光補償モジュール１８は、デフォルト目標輝度を使用するように画像キャプチャ・コントローラ１４に通知する。その後、センサ・アレイ１２は、デフォルト目標輝度のＥＶを用いて、シーンの画像フレームをキャプチャすることができる（７６）。
【００５６】
図５は、画像シーンのシーケンスにわたって、画像キャプチャ・デバイスの調節された目標輝度を実質的に安定させるヒステリシス・ゾーンを使用することを例示するフローチャートである。この動作は、本明細書において、画像キャプチャ・デバイス１０に含まれる図２からのしきい値格納デバイス２２と自動露光補償モジュール１８に関して説明される。そのシーンのために、調整された目標輝度を設定した後、自動露光補償モジュール１８は、その後のシーンのために調節された目標輝度を実質的に安定させるヒステリシス・ゾーンを構築することができる。
【００５７】
次のシーンについて、センサ・アレイ１２は、調節された目標輝度において、次のシーンから光情報を取得する（８０）。画像キャプチャ・コントローラ１４は、次のシーン内の複数の領域の輝度値を計算する（８２）。自動露光補償モジュール１８は、次のシーン内の複数の領域の輝度値を、画像キャプチャ・コントローラ１４から受け取る。前のシーンと実質的に同様に、輝度比較モジュール３０は、次のシーン内の複数の領域のおのおのの輝度値と、しきい値格納デバイス２２から取得した輝度しきい値２６との輝度比較を行い、次のシーン内の領域のうちの１または複数であり、輝度しきい値よりも大きい輝度値を持つ領域を、明るい領域として特定する（８４）。
【００５８】
個数比較モジュール３２は、次のシーン内の明るい領域の個数を判定する。その後、個数比較モジュール３２は、次のシーン内の明るい領域の個数と、しきい値格納デバイス２２から取得されたデフォルト個数範囲２８との間での、明るい領域個数の比較を実行する（８６）。次のシーンの明るい領域の個数が、デフォルト個数範囲２８内にある（８７のＹｅｓ分岐）場合、個数比較モジュール３２は、デフォルト個数範囲２８のデフォルト個数しきい値を維持する（８８）。その後、自動露光補償モジュール１８は、調節された目標輝度を維持し、この調節された目標輝度を使用するように画像キャプチャ・コントローラ１４に通知する。その後、センサ・アレイ１２は、調節された目標輝度のＥＶを用いて、次のシーンの画像フレームをキャプチャすることができる。
【００５９】
次のシーン内の明るい領域の個数が、デフォルト個数範囲２８外にある（８７のＮｏ分岐）場合、個数しきい値調節モジュール３４が、デフォルト個数範囲２８のデフォルト個数しきい値と、次のシーン内の明るい領域の個数との差分を判定する（９０）。個数しきい値調節モジュール３４は、その差分に基づいて、デフォルト個数範囲２８のデフォルト個数しきい値を動的に調節し、調節された個数範囲２９を設定する。個数しきい値調節モジュール３４は、その後、調節された個数範囲２９を、しきい値格納デバイス２２内に格納する。このようにして、個数しきい値調節モジュール３４は、異なる個数範囲を設定することによって、次のシーンのために調節された目標輝度を実質的に安定させるヒステリシス・ゾーンを構築する。
【００６０】
差分が、予め定めた値未満である（９１のＹｅｓ分岐）場合、個数しきい値調節モジュール３４は、デフォルト個数範囲２８のデフォルト個数しきい値を動的に調節して、次のシーン内の明るい領域の個数を含む調節された個数範囲２９を設定する（９２）。このようにして、自動露光補償モジュール１８は、前のシーンと次のシーンとの間の目標輝度発振を防ぐために、次のシーンの調節された目標輝度を維持する。自動露光補償モジュール１８は、この調節された目標輝度を使用するように画像キャプチャ・コントローラ１４へ通知する。その後、センサ・アレイ１２は、調節された目標輝度のＥＶを用いて、次のシーンの画像フレームをキャプチャする。
【００６１】
差分が、予め定めた値よりも大きい（９１のＮｏ分岐）場合、個数しきい値調節モジュール３４は、次のシーン内の明るい領域の個数を用いて、デフォルト個数範囲２８のデフォルト個数しきい値を動的に調節し、その差分を小さくする（９４）。このようにして、自動露光補償モジュール１８は、前のシーンと次のシーンとの間に緩やかな目標輝度変化を与えるために、次のシーンのために調節された目標輝度を最小限しか再調節しない。自動露光補償モジュール１８は、この再調節された目標輝度を、画像キャプチャ・コントローラ１４へ送る。画像キャプチャ・コントローラ１４は、再調節された目標輝度のＥＶを選択するために、再調節された目標輝度に基づいて、自動露光を実行することができる。その後、センサ・アレイ１２は、再調節された目標輝度のＥＶを用いて、次のシーンの画像フレームをキャプチャすることができる。
【００６２】
多くの実施形態が記載された。しかしながら、これらの実施形態への様々な変形が可能であり、本明細書に示された原理は、その他の実施形態にも同様に適用可能である。本明細書に記載されている方法は、ハードウェア、ソフトウェア、および／またはファームウェアで実現されうる。そのような方法の様々なタスクは、例えば、マイクロプロセッサ、組込式コントローラ、あるいはＩＰコアのような論理素子の１または複数のアレイによって実行可能な命令群のセットとして実施されうる。一例において、１または複数のそのようなタスクは、例えばセルラ電話のようなパーソナル通信デバイスの様々なデバイスの動作を制御するように構成されたモバイル局モデム・チップまたはチップセット内での実行のために構成される。
【００６３】
本開示に記述された技術は、汎用マイクロプロセッサ、デジタル信号プロセサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、あるいは他の等価な論理回路内で実現されうる。ソフトウェアで実現される場合、本技術は、例えば、ランダム・アクセス・メモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、不揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ）、電子的に消去可能なプログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ等のようなコンピュータ読取可能媒体上の命令群として具体化されうる。これら命令群は、１または複数のプロセッサに、本開示に記述された機能のある局面を実行させる。
【００６４】
さらなる例として、実施形態は、その一部または全体が、ハードワイヤ回路として、特定用途向け集積回路内に製造された回路構成として、不揮発性記憶装置にロードされたファームウェア・プログラムとして、または、機械読取可能コードとしてデータ記憶媒体からロードされたあるいはデータ記憶媒体へロードされたソフトウェア・プログラムとして実現される。このような機械読取可能コードは、例えばマイクロプロセッサあるいはその他のデジタル信号処理ユニットのような論理要素のアレイによって実行されることが可能な命令群である。データ記憶媒体は、例えば、（限定する訳ではないが、動的または静的なＲＡＭ、ＲＯＭ、および／またはフラッシュＲＡＭを含みうる）半導体メモリ、強誘電体メモリ、オブシンスキー効果メモリ、重合体メモリ、相変化メモリのような記憶素子のアレイであるか、あるいは、磁気ディスクや光ディスクのようなディスク媒体でありうる。
【００６５】
本開示では、本技術は、画像キャプチャ・デバイス内の動的な自動露光補償に関して記述された。本技術は、デフォルト目標輝度が、所与のシーンについて不適切である場合、ＥＶを補償するために、画像キャプチャ・デバイスのデフォルト目標輝度を動的に調節することを含む。このようにして、画像キャプチャ・デバイス内の自動露光処理が、そのシーンに明るすぎるかあるいは暗すぎるかの何れかであるデフォルト目標輝度のＥＶを選択する場合、本技術は、調節された目標輝度を設定する。この自動露光処理はその後、そのシーンの画像フレームを、適切な輝度を用いて生成する調節された目標輝度のＥＶを選択することができる。
【００６６】
画像キャプチャ・デバイスは、デフォルト目標輝度でシーンから光情報を取得するセンサ・アレイと、この光情報に基づいて、そのシーン内の複数の領域の輝度値を計算する画像キャプチャ・コントローラとを含む。本明細書に記載の技術によれば、画像キャプチャ・デバイスに含まれる自動露光補償モジュールは、そのシーン内の領域の輝度値と、センサ・アレイに設定されたしきい値とに基づいて、デフォルト目標輝度が、そのシーンに適切であるか否かを判定する。このデフォルト目標輝度が不適切である場合、自動露光補償モジュールは、デフォルト目標輝度を動的に調節して、そのシーンに適切である調節された目標輝度を設定する。その後、センサ・アレイは、調節された目標輝度のＥＶを用いて、シーンの画像フレームをキャプチャする。このようにして、本技術は、マニュアル自動露光補償へ簡素で安価なソリューションを提供する。
【００６７】
さらに、本技術は、画像シーンのシーケンスにわたって、調節された目標輝度を実質的に安定させるヒステリシス・ゾーンを構築することを含む。この調節された目標輝度が次のシーンに不適切である場合、自動露光補償モジュールは、センサ・アレイに設定されたしきい値を調節することによって、ヒステリシス・ゾーンを構築することができる。画像キャプチャ・デバイスに含まれる自動露光補償モジュールは、前のシーンと次のシーンとの間の目標輝度発振を防ぐために、次のシーンのために調節された目標輝度を維持するヒステリシス・ゾーンを構築するか、あるいは、前のシーンと次のシーンとの間に緩やかな目標輝度変化を与えるために、次のシーンのために調節された目標輝度を最小限しか再調節しない。これは、フレーム間の輝度変化を低減するために、画像キャプチャ・デバイスを用いてビデオをキャプチャする場合、あるいは、一連の静止画像をキャプチャする場合、特に有用である。これらおよびその他の実施形態も、特許請求の範囲に含まれる。
【図１】
2010501898.tif 000003
【図２】
2010501898.tif 000004
【図３】
2010501898.tif 000005
【図４Ａ】
2010501898.tif 000006
【図４Ｂ】
2010501898.tif 000007
【図５】
2010501898.tif 000008
【国際調査報告】
2010501898.tif 000009
2010501898.tif 000010
2010501898.tif 000011
2010501898.tif 000012