(57)【要約】  シーンの1つまたは複数の特徴に基づいて、撮像デバイスのための画像解像度を演繹的に決定するためのシステムおよび方法が開示される。特徴は、シーン内の主要な顔または前景の顔のサイズ、シーン内の高周波成分の最大量、シーンの照明条件、または電子デバイスのバッテリレベルを含み得る。
2017516415.tif 000002
【特許請求の範囲】
【請求項１】
画像撮影解像度を演繹的に決定するためのシステムであって、
シーンの1つまたは複数の特徴に基づいてシーン依存解像度設定を決定し、
前記シーン依存解像度設定で前記シーンの画像を撮影する
ように構成された制御モジュールを備える、システム。
【請求項２】
前記制御モジュールが、デフォルト画像撮影解像度を設定するようにさらに構成され、
前記制御モジュールが、前記シーンの関心領域のサイズ、前記シーン内の高周波成分の量、前記シーンの照明条件、および電子デバイスのバッテリレベルのうちの1つまたは複数に基づいて、シーン依存解像度設定を決定するようにさらに構成される、請求項1に記載のシステム。
【請求項３】
撮像センサを備える撮像デバイスをさらに備え、前記制御モジュールが、前記撮像デバイスをプレビューモードで動作させるようにさらに構成される、請求項1に記載のシステム。
【請求項４】
前記制御モジュールが、顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムのうちの1つまたは複数を使用して前記シーン内の関心領域を決定するようにさらに構成される、請求項3に記載のシステム。
【請求項５】
前記制御モジュールが、各関心領域の画素エリアに基づいて、前記関心領域を関心前景領域または関心背景領域として分類するようにさらに構成される、請求項4に記載のシステム。
【請求項６】
前記制御モジュールが、関心前景領域の前記画素エリアが、前記撮像センサの全視野のユーザが指定した割合未満である場合、解像度設定を増加させるようにさらに構成される、請求項5に記載のシステム。
【請求項７】
前記制御モジュールが、関心前景領域の前記画素エリアが、前記撮像センサの全視野の5%未満である場合、解像度設定を増加させるようにさらに構成される、請求項5に記載のシステム。
【請求項８】
前記制御モジュールが、高速フーリエ変換またはスライディングウィンドウを使用して前記シーンをスキャンしエッジを探すことによって、前記シーン内の高周波成分の最大量を識別するようにさらに構成される、請求項2に記載のシステム。
【請求項９】
前記制御モジュールが、前記シーン内の高周波成分の前記量に基づいて解像度設定への増加を決定するために、ルックアップテーブルにアクセスするようにさらに構成される、請求項8に記載のシステム。
【請求項１０】
前記制御モジュールが、シーンの照明条件を決定して、前記照明条件に基づいて解像度設定を増加させるようにさらに構成される、請求項2に記載のシステム。
【請求項１１】
前記制御モジュールが、モバイルデバイスのカメラアプリケーションの構成要素である、請求項1に記載のシステム。
【請求項１２】
画像撮影解像度を演繹的に決定するための方法であって、
シーンの1つまたは複数の特徴に基づいてシーン依存解像度設定を決定するステップと、
前記シーン依存解像度設定で前記シーンの画像を撮影するステップと
を備える、方法。
【請求項１３】
デフォルト画像撮影解像度を設定するステップと、前記シーンの関心領域のサイズ、前記シーン内の高周波成分の量、前記シーンの照明条件、および電子デバイスのバッテリレベルのうちの1つまたは複数の特徴に基づいて、シーン依存解像度設定を決定するステップとをさらに備える、請求項12に記載の方法。
【請求項１４】
撮像デバイスをプレビューモードで動作するステップをさらに備える、請求項12に記載の方法。
【請求項１５】
顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムのうちの1つまたは複数を使用してシーン内の関心領域を決定するステップをさらに備える、請求項12に記載の方法。
【請求項１６】
各関心領域の画素エリアに基づいて、前記関心領域を関心前景領域または関心背景領域として分類するステップをさらに備える、請求項15に記載の方法。
【請求項１７】
関心前景領域の前記画素エリアが、撮像センサの全視野のユーザが指定した割合未満である場合、解像度設定を増加させるステップをさらに備える、請求項16に記載の方法。
【請求項１８】
高速フーリエ変換またはスライディングウィンドウを使用して前記シーンをスキャンしエッジを探すことによって、前記シーン内の高周波成分の最大量を識別するステップをさらに備える、請求項13に記載の方法。
【請求項１９】
前記シーン内の高周波成分の前記量に基づいて解像度設定を増加させるステップをさらに備える、請求項18に記載の方法。
【請求項２０】
前記撮像デバイスが、モバイルデバイスのカメラアプリケーションの一部として動作するように構成される、請求項14に記載の方法。
【請求項２１】
画像撮影解像度を演繹的に決定するための装置であって、
シーンの1つまたは複数の特徴に基づいてシーン依存解像度設定を決定するための手段と、
前記シーン依存解像度設定で前記シーンの画像を撮影するための手段と
を備える、装置。
【請求項２２】
前記シーンの関心領域のサイズ、前記シーン内の高周波成分の量、前記シーンの照明条件、および電子デバイスのバッテリレベルのうちの1つまたは複数に基づいて、シーン依存解像度設定を決定するための手段をさらに備える、請求項21に記載の装置。
【請求項２３】
デフォルト画像撮影解像度を設定するための手段をさらに備える、請求項21に記載の装置。
【請求項２４】
実行されると、少なくとも1つの物理的コンピュータプロセッサに、シーンの特徴に基づいて画像撮影解像度を演繹的に決定する方法を実行させる命令を記憶する非一時的コンピュータ可読記録媒体であって、前記方法が、
前記シーンの1つまたは複数の特徴に基づいてシーン依存解像度設定を決定するステップと、
前記シーン依存解像度設定で前記シーンの画像を撮影するステップと
を備える、非一時的コンピュータ可読記録媒体。
【請求項２５】
デフォルト画像撮影解像度を設定するステップと、前記シーンの関心領域のサイズ、前記シーン内の高周波成分の量、前記シーンの照明条件、および電子デバイスのバッテリレベルのうちの1つまたは複数の特徴に基づいて、シーン依存解像度設定を決定するステップとをさらに備える、請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項２６】
撮像デバイスをプレビューモードで動作するステップをさらに備える、請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項２７】
顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムのうちの1つまたは複数を使用してシーン内の関心領域を決定するステップと、各関心領域の画素エリアに基づいて、前記関心領域を関心前景領域または関心背景領域として分類するステップとをさらに備える、請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項２８】
関心前景領域の前記画素エリアが、撮像センサの全視野のユーザが指定した割合未満である場合、解像度設定を増加させるステップをさらに備える、請求項27に記載の非一時的コンピュータ可読記録媒体。
【請求項２９】
高速フーリエ変換またはスライディングウィンドウを使用して前記シーンをスキャンしエッジを探すことによって、前記シーン内の高周波成分の最大量を識別するステップと、前記シーン内の高周波成分の前記量に基づいて解像度設定を増加させるステップとをさらに備える、請求項25に記載の非一時的コンピュータ可読記録媒体。
【請求項３０】
前記撮像デバイスが、モバイルデバイスのカメラアプリケーションの一部として動作するように構成される、請求項26に記載の非一時的コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に開示されるシステムおよび方法は、一般に、最適な画像解像度を自動的および演繹的に決定することに関する。
【背景技術】
【０００２】
ユーザは、後のズーミングまたはパニングのために、いつ追加の画素が実際に必要になり得るかあるかわからないので、彼らのカメラをしばしば最高解像度で写真を撮影するように設定する。最大解像度で撮影することの1つの欠点は、ファイルが自然に大きくなることであり、今日のモバイル電話でさえも、それらの写真およびビデオがストレージをすぐにいっぱいにしてしまうことがあり得ることである。本明細書で論じる実施形態は、いくつかの要因のうちの1つまたは複数に基づいて、演繹的にショットごとに解像度を決定するためのシステムおよび方法を説明する。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示のシステム、方法、およびデバイスは、それぞれいくつかの革新的な態様を有するが、それらのうちのいずれも、本明細書に開示の所望の属性を単独で担わない。本明細書に記載の技術革新、態様、および特徴の組合せは、システム、方法、およびデバイスの様々な実施形態に組み込まれてよく、そのような組合せは、本明細書に記載の実施形態の例によって限定されるものではない。
【０００４】
本明細書に記載の実施形態および技術革新は、「最適」な解像度で画像を取得するための電子デバイス上のプロセッサで実行され得るシステムおよび方法に関し、そのような解像度は、いくつかの要因のうちの1つまたは複数に依存する。これらの要因は、これに限定されないが、シーン内の主要な顔のサイズ、シーン内の高周波成分の最大量、シーンの照明条件、およびデバイスのバッテリ寿命を含み得る。直感的なユーザエクスペリエンスは、ユーザが、撮影画像の最適な解像度を決定する際に使用されるべき1つまたは複数の要因を選択することを可能にするために提示される。
【０００５】
いくつかの実施形態では、シーンでカメラが選択および指摘される。シーンは、たとえば、顔検出機能によって識別される顔、またはオブジェクト追跡機能によって識別されるオブジェクトなどの、複数の関心領域(ROI)を含み得る。全視野の割合として、関心領域のうちの1つまたは複数のサイズが決定され得る。1つまたは複数の関心領域のサイズに基づいて、決定された最高品質の画像を最低解像度設定で提供するようにカメラの解像度設定が増加または減少され得る。いくつかの実施形態では、シーン内の高周波成分の最大量は、カメラの解像度設定が増加または減少されるべきかどうかを決定するために使用され得る。いくつかの実施形態では、シーンの照明条件が決定され得る。照明条件が低光量条件であると決定されると、カメラの解像度設定は増加され得、信号対雑音比を低下させて画像の品質を向上させるためにCCDビニングが使用される。いくつかの実施形態では、カメラの解像度設定は、カメラのバッテリ充電レベルに基づいて減少または増加され得る。
【０００６】
一態様は、シーンの1つまたは複数の特徴に基づいてシーン依存解像度設定を決定して、シーン依存解像度設定でシーンの画像を撮影するように構成された制御モジュールを含む、画像撮影解像度を演繹的に決定するためのシステムに関連する。本制御モジュールは、デフォルト画像撮影解像度を設定するようにさらに構成され得、また、本制御モジュールは、シーンの関心領域のサイズ、シーン内の高周波成分の量、シーンの照明条件、および電子デバイスのバッテリレベルのうちの1つまたは複数に基づいて、シーン依存解像度設定を決定するようにさらに構成され得る。本システムは、撮像センサを備える撮像デバイスをさらに含み得、制御モジュールは、撮像デバイスをプレビューモードで動作するように構成される。いくつかの実施形態では、制御モジュールは、顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムのうちの1つまたは複数を使用して、シーン内の関心領域を決定するようにさらに構成され得る。いくつかの実施形態では、制御モジュールは、各関心領域の画素エリアに基づいて、関心領域を関心前景領域(foreground regions of interest)または関心背景領域(background regions of interest)として分類するようにさらに構成され得る。他の実施形態では、制御モジュールは、関心前景領域の画素エリアが、撮像センサの全視野の5%未満である場合、解像度設定を増加させるようにさらに構成される。他の実施形態では、制御モジュールは、関心前景領域の画素エリアが、撮像センサの全視野の8%未満である場合、解像度設定を増加させるようにさらに構成される。いくつかの実施形態では、制御モジュールは、高速フーリエ変換またはスライディングウィンドウを使用してシーンをスキャンしエッジを探すことによって、シーン内の高周波成分の最大量を識別するようにさらに構成される。いくつかの実施形態では、制御モジュールは、シーン内の高周波成分の量に基づいて解像度設定への増加を決定するために、ルックアップテーブルにアクセスするようにさらに構成される。他の実施形態では、制御モジュールは、シーンの照明条件を決定して、照明条件に基づいて解像度設定を増加させるようにさらに構成される。いくつかの実施形態では、制御モジュールは、モバイルデバイスのカメラアプリケー
ションの構成要素である。
【０００７】
別の態様では、画像撮影解像度を演繹的に決定するための方法は、シーンの1つまたは複数の特徴に基づいてシーン依存解像度設定を決定するステップと、シーン依存解像度設定でシーンの画像を撮影するステップとを含む。いくつかの実施形態では、本方法は、デフォルト画像撮影解像度を設定するステップと、シーンの関心領域のサイズ、シーン内の高周波成分の量、シーンの照明条件、および電子デバイスのバッテリレベルのうちの1つまたは複数の特徴に基づいて、シーン依存解像度設定を決定するステップとをさらに含む。いくつかの実施形態では、本方法は、撮像デバイスをプレビューモードで動作するステップをさらに含む。他の実施形態では、本方法は、顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムのうちの1つまたは複数を使用して、シーン内の関心領域を決定するステップをさらに含む。他の実施形態では、本方法は、各関心領域の画素エリアに基づいて、関心領域を関心前景領域または関心背景領域として分類するステップをさらに含む。いくつかの実施形態では、本方法は、関心前景領域の画素エリアが、撮像センサの全視野の5%未満である場合、解像度設定を増加させるステップをさらに含む。他の実施形態では、本方法は、高速フーリエ変換またはスライディングウィンドウを使用してシーンをスキャンしエッジを探すことによって、シーン内の高周波成分の最大量を識別するステップをさらに含む。他の実施形態では、本方法は、シーン内の高周波成分の量に基づいて解像度設定を増加させるステップをさらに含む。いくつかの実施形態では、撮像デバイスは、モバイルデバイスのカメラアプリケーションの一部として動作するように構成される。
【０００８】
別の態様では、画像撮影解像度を演繹的に決定するための装置は、シーンの1つまたは複数の特徴に基づいてシーン依存解像度設定を決定するための手段と、シーン依存解像度設定でシーンの画像を撮影するための手段とを含む。いくつかの実施形態では、本装置は、シーンの関心領域のサイズ、シーン内の高周波成分の量、シーンの照明条件、および電子デバイスのバッテリレベルのうちの1つまたは複数に基づいて、シーン依存解像度設定を決定するための手段をさらに含む。他の実施形態では、本装置は、デフォルト画像撮影解像度を設定するための手段をさらに含む。
【０００９】
別の態様では、非一時的コンピュータ可読媒体は、実行されると、少なくとも1つの物理的コンピュータプロセッサに、シーンの特徴に基づいて画像撮影解像度を演繹的に決定する方法を実行させる命令を記憶する。本方法は、シーンの1つまたは複数の特徴に基づいてシーン依存解像度設定を決定するステップと、シーン依存解像度設定でシーンの画像を撮影するステップとを含み得る。他の実施形態では、本方法は、デフォルト画像撮影解像度を設定するステップと、シーンの関心領域のサイズ、シーン内の高周波成分の量、シーンの照明条件、および電子デバイスのバッテリレベルのうちの1つまたは複数の特徴に基づいて、シーン依存解像度設定を決定するステップとをさらに含み得る。いくつかの実施形態では、本方法は、撮像デバイスをプレビューモードで動作するステップをさらに含み得る。他の実施形態では、本方法は、顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムのうちの1つまたは複数を使用してシーン内の関心領域を決定するステップと、各関心領域の画素エリアに基づいて、関心領域を関心前景領域または関心背景領域として分類するステップとをさらに含み得る。いくつかの実施形態では、本方法は、関心前景領域の画素エリアが、撮像センサの全視野の5%未満である場合、解像度設定を増加させるステップをさらに含み得る。他の実施形態では、本方法は、高速フーリエ変換またはスライディングウィンドウを使用してシーンをスキャンしエッジを探すことによって、シーン内の高周波成分の最大量を識別するステップと、シーン内の高周波成分の量に基づいて解像度設定を増加させるステップとをさらに含み得る。いくつかの実施形態では、撮像デバイスは、モバイルデバイスのカメラアプリケーションの一部として動作するように構成される。
【００１０】
開示される態様は、以下で添付の図面と併せて説明され、本開示を限定するためではなく説明するために提供されるものであり、同様の名称は同様の要素を示す。
【図面の簡単な説明】
【００１１】
【図１】撮像デバイスの解像度を決定するためのいくつかの動作要素を実装するシステムを示すブロック図である。
【図２】撮像デバイスの解像度を決定するためのプロセスの一実施形態を示すフローチャートである。
【図３】撮像デバイスの解像度を決定するためのプロセスの別の実施形態を示すフローチャートである。
【図４】撮像デバイスの解像度を決定するためのプロセスの別の実施形態を示すフローチャートである。
【発明を実施するための形態】
【００１２】
参照を容易にするために、画像を撮影する、または写真を撮る、あるいは複数の画像(たとえば、ビデオ)を撮影するために使用され得るデバイス、またはデバイスの構成要素は、本明細書では時々カメラまたは撮像システムと呼ばれ得る。典型的に、スマートデバイス(たとえば、携帯電話、ラップトップ、カメラ、タブレット、または他のモバイルデバイス)に組み込まれたカメラは、様々な解像度レベルのうちの1つで画像を撮影するように設定または構成され得る。たとえば、ユーザは、画像を印刷または表示するつもりである場合、最高解像度で画像を撮影するようにカメラを設定することができ、または、ユーザは、単に画像を電子メールで送るか、ソーシャルメディア経由で共有するつもりである場合、より低い解像度で画像を撮影するようにカメラを設定することができる。多くの場合、ユーザは、このレベルの解像度で画像を撮影することの欠点、または、このレベルの解像度はすべての画像にとって必要であるとは限らないことを完全に理解することなしに、画像を撮影するためにカメラの解像度を最高解像度に設定する。本明細書で使用される場合、以下で説明する方法およびシステムは、シーンの1つまたは複数の要因に基づいて最適な画像解像度を決定するためのソリューションを提供し、解像度設定をユーザに示唆するか、解像度を自動的に設定し得る。
【００１３】
いくつかの実施形態では、提案された解像度決定プロセスは、たとえば、照明(たとえば、シーンの周囲照明)、顔検出、シーンの高周波成分、撮像システムの充電レベル、あるいは自動的に決定された、またはユーザによって示された、意図された画像使用などの1つまたは複数の要因に基づいて解像度設定を決定するためのプロセッサを対象とする。この解像度設定は、撮影された画像ごとに自動的に決定されてもよく、ユーザに示唆された任意の設定であってもよい。ユーザは、画像撮影の前に画像の解像度を選択してもよく、または画像撮影解像度を自動的に設定するようにカメラを設定してもよい。画像を撮影するためにカメラが起動されると、画像は、ユーザによって手動で入力された解像度設定、またはプロセッサによって自動的に決定された解像度設定のいずれかで撮影され得る。いくつかの実施形態では、撮像システムによって画像が撮影された後、システムは、画像解像度を決定する入力をユーザから受け取ることができる(たとえば、画像を記憶するために)。
【００１４】
実施例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明され得る点に留意されたい。フローチャートは、動作を順次プロセスとして説明し得るが、動作の多くは並列、または同時に実行され得、プロセスは繰り返され得る。また、動作の順序は並べ替えられてよい。プロセスは、その動作が完了したとき、終了する。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラム等に対応し得る。プロセスがソフトウェアの関数に対応する場合、その終了は、呼出し関数またはメイン関数への関数のリターンに対応する。
【００１５】
実施形態は、システムオンチップ(SoC)、または外部ハードウェア、ソフトウェア、ファームウェア、あるいはそれらの任意の組合せに実装され得る。当業者は、情報および信号が、様々な異なる技術および技法のいずれかを用いて表され得ることを理解するだろう。たとえば、上記の説明の全体にわたって参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表され得る。
【００１６】
以下の説明では、実施例の完全な理解をもたらすために、具体的な詳細が与えられる。しかしながら、実施例がこれらの具体的な詳細なしに実施され得ることが当業者には理解されよう。たとえば、不必要な詳細で実施例を不明瞭にしないために、電気の構成要素/デバイスがブロック図で示される場合がある。他の事例では、実施例をさらに説明するために、そのような構成要素、他の構造および技法が詳細に示される場合がある。
【００１７】
システム概要
図1は、いくつかの要因のうちの1つまたは複数に基づいて、画像の(最適な)解像度を決定するように構成された撮像システム100の一例を示している。図示された実施形態は限定することを意図するものではないが、いくつかの実施形態における特定の構成要素の例を示している。システム100は、図示された構成要素を明確にするために図示されていない他の機能のための様々な他の構成要素を含み得る。
【００１８】
撮像システム100は、撮像デバイス110および電子ディスプレイ130を含み得る。電子ディスプレイ130の特定の実施形態は、たとえばLED、LCD、プラズマ、または投影スクリーンなどの任意のフラットパネルディスプレイ技術であり得る。電子ディスプレイ130は、ユーザに視覚的に表示するための情報を受信するためにプロセッサ120に結合され得る。そのような情報は、これに限定されないが、メモリ位置に記憶されたファイルの視覚的表現、プロセッサ120にインストールされたソフトウェアアプリケーション、ユーザインターフェース、およびネットワークアクセス可能コンテンツオブジェクトを含み得る。
【００１９】
撮像デバイス110は、1つの撮像センサ、または撮像センサの組合せを使用し得る。撮像システム100は、撮像デバイス110に連結されたプロセッサ120をさらに含み得る。ワーキングメモリ135、電子ディスプレイ130、およびプログラムメモリ140もまた、プロセッサ120と通信している。撮像システム100は、モバイルデバイス、タブレット、ラップトップコンピュータ、またはセルラー電話であり得る。
【００２０】
プロセッサ120は、汎用処理ユニットであってもよく、ハンドヘルド電子デバイスのための撮像アプリケーション用に特別に設計されたプロセッサであってもよい。図示されるように、プロセッサ120は、プログラムメモリ140およびワーキングメモリ135に接続されており、またそれらとデータ通信している。いくつかの実施形態では、ワーキングメモリ135は、プロセッサ120、たとえばキャッシュメモリに組み込まれ得る。ワーキングメモリ135はまた、プロセッサ120とは別の、プロセッサ120に結合された構成要素、たとえば、1つまたは複数のRAMあるいはDRAM構成要素であり得る。言い換えれば、図1は、いくつかのモジュールを備えるメモリ構成要素140と、ワーキングメモリを備える別個のメモリ135とを含む2つのメモリ構成要素を示しているが、当業者は、異なるメモリアーキテクチャを利用するいくつかの実施形態を認識するだろう。たとえば、ある設計は、メモリ140に含まれるモジュールを実装するプロセッサ命令の記憶のためにROMまたはスタティックRAMメモリを利用し得る。その場合、プロセッサ命令は、プロセッサによる実行を容易にするためにRAMにローディングされ得る。たとえば、作業メモリ135は、命令がプロセッサ120によって実行される前に作業メモリ135にローディングされる、RAMメモリであり得る。
【００２１】
図示される実施形態では、プログラムメモリ140は、画像撮影モジュール145、特徴サイズ決定モジュール150、高周波成分決定モジュール155、照明条件決定モジュール157、解像度決定モジュール160、オペレーティングシステム165、およびユーザインターフェースモジュール170を記憶する。これらのモジュールは、様々な画像処理およびデバイス管理タスクを実行するようにプロセッサ120を構成する命令を含み得る。プログラムメモリ140は、たとえば非一時的記憶媒体などの、任意の適切なコンピュータ可読記憶媒体であり得る。作業メモリ135は、メモリ140のモジュール内に含まれるプロセッサ命令の作業セットを記憶するためにプロセッサ120によって使用され得る。代替的に、作業メモリ135はまた、撮像システム100の動作中に作成された動的データを記憶するために、プロセッサ120によって使用され得る。
【００２２】
上述のように、プロセッサ120は、メモリ140に記憶された複数のモジュールによって構成され得る。言い換えれば、プロセッサ120は、メモリ140内のモジュールに記憶された命令を実行し得る。画像撮影モジュール145は、撮像デバイスから画像を取得するようにプロセッサ120を構成する命令を含み得る。したがって、プロセッサ120は、画像撮影モジュール145、撮像デバイス110、および作業メモリ135とともに、画像センサデータを取得するための1つの手段を表す。
【００２３】
依然として図1を参照すると、メモリ140はまた、特徴サイズ決定モジュール150を含み得る。特徴サイズ決定モジュール150は、以下にさらに詳細に説明するように、たとえばシーン内の顔などの特徴のサイズを決定するようにプロセッサ120を構成する命令を含んで、特徴を前景特徴および背景特徴として分類し得る。したがって、プロセッサ120は、特徴サイズ決定モジュール150、作業メモリ135、および電子ディスプレイ130とともに、特徴のサイズに基づいて、関心のあるシーン内の特徴を識別して分類するための1つの手段を表す。
【００２４】
メモリ140はまた、高周波成分決定モジュール155を含み得る。高周波成分決定モジュール155は、オートフォーカス機能を実行して、画像の高周波成分を計算するようにプロセッサ120を構成する命令を含み得る。たとえば、関心のあるシーンが、たとえば草原などの高い詳細度を有するエリアを含む場合、高周波成分決定モジュール155オートフォーカス機能は、高周波成分に対応するオートフォーカスパラメータを返し得る。したがって、プロセッサ120は、高周波成分決定モジュール155、および作業メモリとともに、135は1つが、関心のあるシーン内の高周波成分の最大量を識別するための1つの手段を表す。
【００２５】
メモリ140はまた、照明条件決定モジュール157を含み得る。照明条件決定モジュール157は、関心のあるシーン内の光の量および種類を決定するためにオートホワイトバランス機能を実行するようにプロセッサ120を構成する命令を含み得る。たとえば、オートホワイトバランス機能が低照明条件を検出すると、照明条件決定モジュール157は、プロセッサ120に最大解像度で撮影するように、またビン電荷結合素子(CCD)要素に、画像の信号対ノイズを(SNR)比を改善するように命令し得る。したがって、プロセッサ120は、照明条件決定モジュール157、および作業メモリ135とともに、関心のあるシーンの照明条件を識別するための1つの手段を表す。
【００２６】
メモリ140はまた、解像度決定モジュール160を含む。図1に示される解像度決定モジュール160は、プロセッサ120の他の機能によって取得されたデータに基づいて画像の撮影解像度を設定するようにプロセッサ120を構成する命令を含み得る。たとえば、以下でより詳細に説明されるように、特徴検出機能が関心のあるシーンに対して実行されて、いくつかの前景特徴が識別される場合、プロセッサ120は、前景特徴のサイズおよび数に基づいて、撮像デバイス110の画像撮影解像度を増加させるように解像度決定モジュール160によって命令され得る。したがって、プロセッサ120は、特徴サイズ決定ジュール150、解像度決定モジュール160、および作業メモリ135とともに、関心のあるシーン内の検出された特徴のサイズおよび数に基づいて撮像デバイスの画像撮影解像度を動的に調整するための1つの手段を表す。
【００２７】
別の例では、ユーザは、高周波成分決定モジュール155によって検出されるように、大量の詳細(たとえば、エッジ)を含む、草の葉または他の特徴を含む画像を撮影し得る。この例では、プロセッサ120は、関心のあるシーン内の高周波成分の量に基づいて、撮像デバイス110の画像撮影解像度を増加させるように、または比較的少量の詳細を含む画像の解像度を下げるように、解像度決定モジュール160によって命令され得る。したがって、プロセッサ120は、高周波成分決定モジュール155、解像度決定モジュール160、および作業メモリ135とともに、関心のあるシーン内の高周波成分の最大量に基づいて、撮像デバイスの画像撮影解像度を動的に調整するための1つの手段を表す。
【００２８】
別の例では、ユーザは、照明条件決定モジュール157によって検出されるように、たとえば室内や夜間などの低光量条件で画像を撮影し得る。この例では、プロセッサ120は、関心のあるシーンの検出された照明条件に基づいて撮像デバイス110の画像撮影解像度を増加させるように解像度決定モジュール160によって命令され得る。したがって、プロセッサ120は、照明条件決定モジュール157、解像度決定モジュール160、および作業メモリ135とともに、関心のあるシーンの検出された照明条件に基づいて、撮像デバイスの画像撮影解像度を動的に調整するための1つの手段を表す。
【００２９】
メモリ140はまた、ユーザインターフェースモジュール170を含み得る。図1に示されるユーザインターフェースモジュール170は、ユーザがデバイスと相互作用することを可能にする、たとえば、ユーザが示唆された画像撮影解像度を選択すること、または撮像デバイスの自動画像撮影解像度設定を認めることを可能にする、オンディスプレイオブジェクト(on-display objects)とソフト制御(soft control)との集合を提供するようにプロセッサ120を構成する命令を含み得る。ユーザインターフェースモジュール170はまた、アプリケーションがシステムの残りの部分と相互作用することを可能にする。オペレーティングシステムモジュール165はまた、システム100のメモリおよび処理リソースを管理するために、メモリ140内に存在して、プロセッサ120と動作し得る。たとえば、オペレーティングシステム165は、たとえば電子ディスプレイ130または撮像デバイス110のなどの、ハードウェアリソースを管理するためのデバイスドライバを含み得る。いくつかの実施形態では、特徴サイズ決定モジュール150、高周波成分決定モジュール155、照明条件決定モジュール157、および解像度決定モジュール160に含まれる命令は、これらのハードウェアリソースと直接相互作用しない場合があるが、代わりにオペレーティングシステム165に位置する標準サブルーチンまたはAPIを通じて相互作用する。その場合、オペレーティングシステム165内の命令は、これらのハードウェア構成要素と直接相互作用し得る。
【００３０】
プロセッサ120は、データを記憶モジュール125に書き込む場合がある。記憶モジュール125は従来のディスクドライブとして図示されているが、当業者は、複数の実施形態は、ディスクベースのストレージデバイス、またはメモリディスク、USBドライブ、フラッシュドライブ、遠隔に接続された記憶媒体、仮想ディスクドライバなどを含むいくつかの他のタイプの記憶媒体のうちの1つのいずれかを含み得ることを理解するだろう。
【００３１】
図1は、プロセッサ、撮像デバイス、電子ディスプレイ、およびメモリを含むために別個の構成要素を備えるデバイスを示しているが、当業者は、これらの別個の構成要素のうちの1つまたは複数は、特定の設計目的を達成するために様々な方法で結合され得ることを認識するだろう。たとえば、代替実施形態では、メモリ構成要素は、コストを節約し性能を改善するためにプロセッサ構成要素と組み合わされ得る。
【００３２】
さらに、図1は、いくつかのモジュールを備えるメモリ構成要素140と、作業メモリを備える別個のメモリ135とを含む2つのメモリ構成要素を示しているが、当業者は、異なるメモリアーキテクチャを利用するいくつかの実施形態を認識するだろう。たとえば、ある設計は、メモリ140に含まれるモジュールを実装するプロセッサ命令の記憶のためにROMまたはスタティックRAMメモリを利用し得る。代替的に、プロセッサ命令は、撮像システム100に統合された、または外部デバイスポートを介して接続されたディスクストレージデバイスから、システム起動時に読み込まれ得る。その場合、プロセッサ命令は、プロセッサによる実行を容易にするためにRAMにローディングされ得る。たとえば、作業メモリ135は、命令がプロセッサ120によって実行される前に作業メモリ135にローディングされる、RAMメモリであり得る。
【００３３】
方法概要
本発明の実施形態は、最適な画像解像度を決定するためのプロセスに関し、システムが、シーンの1つまたは複数の特徴に基づいてシーンの画像を撮影するために使用する解像度を決定する、撮像デバイスの解像度決定モードを有効にするステップを含み得る。実施例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明され得る点に留意されたい。フローチャートは、動作を順次プロセスとして説明し得るが、動作の多くは並列、または同時に実行され得、プロセスは繰り返され得る。また、動作の順序は並べ替えられてよい。プロセスは、その動作が完了したとき、終了し得る。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラム等に対応し得る。プロセスがソフトウェア関数に対応するとき、その終了は呼出し側関数またはメイン関数への関数のリターンに対応し得る。
【００３４】
図2は、図1に示されるモジュールのうちの1つまたは複数で実装され得るシーン依存画像解像度決定を実行するために、撮像デバイス(たとえば、図1に示される撮像デバイス110)を有する電子デバイスを構成するためのプロセス200の実施形態の一例を示している。様々な実装形態では、プロセス200は、1つまたは複数の追加の処理機能を含んでもよく、特定の図示された特徴を含まなくてもよい。いくつかの例では、プロセス200は、プロセッサ、たとえばプロセッサ120(図1)上で実行されてもよく、メモリ140に記憶された、あるいは他のハードウェアまたはソフトウェアに組み込まれた、図1に示される他の構成要素上で実行されてもよい。いくつかの実施形態では、プロセス200の少なくとも一部は、ハードウェアで実装され得る。
【００３５】
プロセス200は、開始ブロック202で開始して、ブロック204に移行し、デフォルト画像撮影解像度があらかじめ定められた解像度に設定される。いくつかの実施形態では、あらかじめ定められた解像度は、たとえば、デバイス上で利用可能なメモリストレージ領域のサイズ、デフォルト解像度のユーザの過去の選択、またはたとえば中点(mid-point)解像度などの利用可能な解像度のレベル、あるいは1つまたは複数の他の要因に基づいて選択され得る。たとえば、いくつかの実施形態では、デフォルト画像撮影解像度は、撮像デバイス110の最大解像度の3分の1に設定され得る。他の実施形態では、デフォルト画像撮影解像度は、8分の1、6分の1、4分の1、2分の1などの、最大解像度の任意の割合に設定され得る。
【００３６】
次に、プロセス200はブロック206に移行し、撮像デバイス110が、関心のあるシーンをプレビューするためにプレビューモードで操作される。いくつかの実施形態では、プレビューモードは、たとえば、電子ディスプレイ130(図1)などの電子ディスプレイ上で、撮像デバイス110のレンズから見えるシーンを表示することを含み得る。電子デバイスは、ハンドヘルド通信デバイス、たとえば、セルラー電話または「スマートフォン」でもよく、タブレットコンピュータを含むモバイル携帯情報端末(PDA)でもよい。たとえば、ユーザは、画像を撮影するかどうかを決定するために、モバイルデバイスのカメラをプレビューモードで操作し得る。別の例では、ユーザは、シーンの画像を撮影するために使用するべき解像度を決定するために、モバイルデバイスのカメラをプレビューモードで操作し得る。
【００３７】
次いで、プロセス200はブロック208に移行して、プロセッサ、たとえばプロセッサ120は、現在のシーン内の関心領域、たとえば、顔またはオブジェクトを決定するように命令される。いくつかの実施形態では、プロセッサは、関心のある可能性がある領域を識別するために、顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムを使用し得る。たとえば、顔検出アルゴリズムは、シーン内に8つの顔が現れると決定し得る。別の例では、オブジェクト追跡アルゴリズムは、中間の背景内に配置された、いくつかのアイテム、たとえばビーチにあるバケツ、砂の城、および鳥を識別する場合がある。関心領域は、進行中のプロセスとしてプレビューモード中に決定されることが好ましい。撮像システム100によって実行されるプロセス200は、選択されたアルゴリズムが適切に顔を検出することができる限り、使用される特定の顔検出アルゴリズムに依存しないことが好ましい。いくつかの実施形態では、顔検出アルゴリズム、たとえば、OpenCVにおいて利用可能なビオラジョーンズ(Viola Jones)顔検出アルゴリズムが使用され得る。同様に、撮像システム100によって実行されるプロセス200はまた、正確なオブジェクト追跡が決定され得る限り、使用されるオブジェクト追跡アルゴリズムに依存しないことが望ましい。一旦関心のある可能性がある領域が決定されると、プロセス200はブロック210に移行する。
【００３８】
ブロック210で、プロセス200は、プロセッサに、検出された顔またはオブジェクトを、前景または背景の顔またはオブジェクトとして分類するように命令し得る。いくつかの実施形態では、各顔またはオブジェクトを前景または背景の顔またはオブジェクトとして分類することは、ヒストグラムカットオフサイズ分布に基づき得る。たとえば、ヒストグラムカットオフサイズ分布は、前景または背景の顔またはオブジェクトによって占められる視野(FOV)のパーセントを示し得る。前景および/または背景の顔およびオブジェクトのエリアは、画像センサの、または現在の視野を有する画像の画素×画素エリアとして、表現され得る。顔またはオブジェクトは、顔またはオブジェクトによって占められるFOVの割合があらかじめ定められたしきい値を上回るか否かに基づいて、前景の顔またはオブジェクトとして分類され得る。たとえば、3つの顔が撮像デバイス110の視野(FOV)全体の5%を占め、共同でFOVの約2%を占める他の8つの顔がある場合、プロセッサは、3つの前景または主要な顔があると決定することになる。一例では、典型的な画像では、主要な顔または前景の顔と考えられるには、顔はFOVの少なくとも約5%、すなわち1/20を占めるべきである。他の実施形態では、主要な顔または前景の顔と考えられるには、FOVの少なくとも約2%、3%、または4%を占め得る。しかしながら、他の実施形態では、主要な顔または前景の顔あるいはオブジェクトを、背景の顔またはオブジェクトから分離するために使用される基準またはしきい値は、ユーザによって定義され得る。
【００３９】
次に、プロセス200はブロック212に移行し、プロセス200は、あらかじめ定められたしきい値と比較した主要な顔またはオブジェクトのサイズに基づいて、撮像デバイス110の画像撮影解像度を増加させるかどうかを決定する。これは、この動作のためにプロセッサに命令を提供することによって行われ得る。いくつかの実施形態では、主要な顔がFOVの計算された割合を占める場合、プロセッサは、ブロック212によって示されるように、所与の顔のサイズの解像度を決定するために、メモリに記憶された情報にアクセスするように命令され得る。たとえば、主要な顔がFOVの計算された割合を占めている場合、プロセッサは、ブロック212によって示されるように、所与の顔のサイズの解像度を決定するために、ルックアップテーブル(LUT)にアクセスするように命令され得る。他の実施形態では、所与の顔のサイズの解像度は、数学関数によって決定され得る。
【００４０】
一例では、たとえば、1000などの、検出されたすべての指定された数の鮮明なエッジのために、解像度は2メガピクセル(MP)だけ増加され得る。他の実施形態では、鮮明なエッジ検出しきい値は、500、1000、1500、2000などの他の値に設定され得、各しきい値は、1MP、2MP、3MP、4MPなどの解像度の増加に関連付けられる。一例では、顔がFOVの約15%を占める場合、画像が3メガピクセル(MP)であり得るデフォルト解像度設定で撮影される。別の例では、主要な顔がFOVの8%未満を占める場合、プロセッサは、画像がより高い解像度、たとえば5MPで撮影されるように解像度を調整するように命令され得る。
【００４１】
別の例では、顔がFOVの5%未満を占める場合、プロセッサは、画像が最高解像度、たとえば10MPで撮影されるように解像度を調整するように命令され得る。言い換えれば、顔および/またはオブジェクトがFOVの小さいエリアであることがわかる場合、解像度が増加されることが望ましい。顔および/またはオブジェクトがFOVのより大きいエリアを占める場合、解像度は、デフォルト解像度と同じままでもよく、減少されてもよい。各実施例では、最大解像度は撮像デバイス110の最大解像度に依存し、したがって、画像撮影解像度の異なるしきい値は、撮像デバイス110の解像度に基づいて設定され得る。一旦解像度が決定および設定されると、プロセス200はブロック214に移行して、プロセッサは、ブロック214によって示されるように、最適化されたシーン依存解像度でシーンの画像を撮影するように命令される。一旦画像がシーン依存解像度で撮影されると、プロセス200はブロック216に移行して、終了し得る。
【００４２】
図3は、図1に示されるモジュールのうちの1つまたは複数で実装され得るシーン依存画像解像度を実行するために、撮像デバイス(たとえば、図1に示される撮像デバイス110)を有する電子デバイスを構成するためのプロセスの実施形態の別の例を示している。いくつかの例では、プロセス300は、プロセッサ、たとえばプロセッサ120(図1)上で実行されてもよく、メモリ140に記憶された、あるいは他のハードウェアまたはソフトウェアに組み込まれた、図1に示される他の構成要素上で実行されてもよい。
【００４３】
プロセス300は、開始ブロック302で開始して、ブロック304に移行し、デフォルト画像解像度があらかじめ定められた解像度に設定される。たとえば、いくつかの実施形態では、上述したように、デフォルト画像撮影解像度は撮像デバイス110の最大解像度の3分の1に設定され得る。次に、プロセス300はブロック306に移行して、撮像デバイス110は、解像度の変更が必要であるかどうかを決定するために、関心のあるシーンをプレビューするためにプレビューモードで動作され得る。
【００４４】
次に、プロセス300はブロック308に移行して、プロセッサは画像内の高周波成分の最大量を識別するように命令され得る。鮮明度は撮像システムが再生し得る詳細の量を決定するので、鮮明度がおそらく最も重要な写真画像の品質係数である。鮮明度は異なるトーンまたは色のゾーン間の境界あるいはエッジによって定義され得る。たとえば、高速フーリエ変換またはスライディングウィンドウなどの鮮明度検出器を使用して、画像の鮮明度が決定され得る。高周波成分の最大量は、画像が最も鮮明であるオートフォーカス位置における高周波スコアによって決定され得る。次に、ブロック310で、プロセッサは、シーン内の高周波成分の最大値に基づいて画像解像度を決定するように命令され得る。画像内の高周波成分の量があらかじめ定められたしきい値よりも大きい場合、画像解像度は増加されることになる。たとえば、ユーザが青空や海の写真を撮影している場合、デフォルト解像度またはより低い解像度の設定で十分であり得る。しかしながら、ユーザが、たとえば草の葉や他の詳細な特徴などの高周波成分を有する画像を撮影している場合、解像度は、画像の詳細を撮影するために増加されることが望ましい。いくつかの実施形態では、様々な量の高周波成分を有する画像を撮影するために使用されるべき解像度を決定するために、ルックアップテーブルが使用され得る。一旦最適な解像度が決定されると、プロセス300はブロック312に移行して、プロセッサは、最適なシーン依存解像度設定に解像度を設定するように命令される。次に、ブロック314で、シーンの画像がシーン依存解像度設定で撮像デバイス110によって撮影される。画像を取得した後、プロセス300はブロック316に移行して、終了する。
【００４５】
図4は、図1に示されるモジュールのうちの1つまたは複数で実装され得るシーン依存画像解像度を実行するために、撮像デバイス(たとえば、図1に示される撮像デバイス110)を有する電子デバイスを構成するためのプロセスの実施形態の別の例を示している。いくつかの例では、プロセス400は、プロセッサ、たとえばプロセッサ120(図1)上で実行されてもよく、メモリ140に記憶された、あるいは他のハードウェアまたはソフトウェアに組み込まれた、図1に示される他の構成要素上で実行されてもよい。
【００４６】
プロセス400は、開始ブロック402で開始して、ブロック404に移行し、デフォルト画像解像度があらかじめ定められた解像度に設定される。たとえば、いくつかの実施形態では、上述したように、デフォルト画像撮影解像度は撮像デバイス110の最大解像度の3分の1に設定され得る。次に、プロセス400はブロック406に移行して、撮像デバイス110は、解像度の変更が必要であるかどうかを決定するために、関心のあるシーンをプレビューするためにプレビューモードで動作され得る。
【００４７】
次に、プロセス400はブロック408に移行して、プロセッサは、デフォルト解像度が十分であるかどうかを決定するために、シーンの照明条件を識別するように命令され得る。いくつかの実施形態では、シーンの光レベルを決定するためにオートホワイトバランス機能が使用され得る。最小検出可能光源は、撮像デバイスの画像センサ、具体的には画像センサのサイズに依存する。たとえば、検出されたルーメンの数に基づいて、プロセッサは、ビニングを可能にするように命令され得る。電荷結合素子(CCD)に適用されるビニングは、隣接する画素からの電荷が組み合わされることを可能にして、減少された空間分解能を代償に、より速い読出し速度および改善された信号対雑音比などの利点を提供する。次のステップ、ブロック410によって示されるように、低光量条件、たとえば、屋内または薄暗いレストランで写真を撮ることは、プロセッサが、所与の照明条件のために必要な解像度レベルを決定することをトリガする。一旦所与の照明条件のための最適な解像度が決定されると、プロセス400はブロック412に移行して、プロセッサは、最適なシーン依存解像度設定に解像度を設定するように命令される。低照明条件が検出されると、プロセッサは、撮像デバイス110に、信号対雑音比を改善するために、最大解像度で画像を撮影するが、CCD要素をビニングするように命令する。次に、ブロック414で、シーンの画像が撮像デバイス110によってシーン依存解像度設定で撮影される。一例では、カメラは、3MPの画像を作成するために40MPで低照明シーンを撮影し得る。画像を取得した後、プロセス400はブロック416に移行して終了する。プロセス400は、選択され得るカスタム設定に関わらず、低照明条件がある場合、最適な画像ファイルを作成するために使用され得る。
【００４８】
別の例では、電子デバイスの現在のバッテリレベルは、バッテリ電力を節約するために画像解像度への変更をトリガし得る。たとえば、デバイスの現在のバッテリ充電量は、次の予測される充電期間までデバイスが現在の設定で動作されることを可能にしない場合があると決定すると、プロセッサは、撮像デバイス110がバッテリ寿命を節約するためにより低い解像度で画像を取得するために、画像解像度を下げるように命令され得る。いくつかの実施形態では、プロセッサは、電子デバイスがコンセントにつながれて充電されるときに画像をサイズ変更するために、アプリケーションを実行するように命令され得る。
【００４９】
プロセス200、300、および400に関して上述した例は、電子デバイスに個別に実装されてもよく、プロセスのうちの1つまたは複数がともに実装されてもよい。いくつかの実施形態では、プロセスのうちの1つまたは複数、またはシーン依存画像解像度について上述した例は、撮像デバイスの原像(pre-image)撮影機能中、たとえば、オートフォーカスまたはオートホワイトバランス機能中に実装され得る。いくつかの実施形態では、上述したプロセスなどのシーン依存解像度プロセスは、ポスト画像(post-image)撮影に実装され得る。シーン依存解像度プロセスがポスト画像撮影に実装される実施形態では、取得された画像は、ディスク容量を節約するために、記憶する前にサイズ変更され得る。
【００５０】
いくつかの実施形態では、解像度を決定するために複数の要因が考えられる場合、要因は、どの要因が解像度を制御するか、または主に制御するかを決定するために重み付けされ得る。いくつかの実施形態では、所望の解像度を決定するために、要因は相互に関連して評価され得る。
【００５１】
用語に関する明確化
特に断らない限り、特定の特徴を有する装置の動作のいかなる開示も、類似の特徴を有する方法を開示すること(およびその逆)が明示的に意図されており、特定の構成による装置の動作のいかなる開示も、類似の構成に記載の方法を開示すること(およびその逆)が明示的に意図される。「構成」という用語は、その特定の文脈によって示されるように、方法、装置、および/またはシステムに関連して使用され得る。「方法」、「プロセス」、「プロシージャ」、および「技法」という用語は、特定の文脈によって示されない限り、一般的および互換的に使用される。「装置」および「デバイス」という用語もまた、特定の文脈によって示されない限り、一般的および互換的に使用される。「要素」および「モジュール」という用語は、一般的に、より大きい構成の一部を示すために使用される。その文脈によって明示的に限定されない限り、「システム」という用語は、本明細書では、「共通の目的を果たすために相互作用する要素のグループ」を含む、その通常の意味のいずれかを示すために使用される。文書の一部の参照による任意の組込みはまた、そのような定義が他の場所に文書で表示された部分、一部において参照されている用語や変数の定義を組み込むように理解されなければならず、そのような定義は、文書内の他の場所、ならびに組み込まれた部分において参照される任意の図面内に表示される。
【００５２】
当業者は、本明細書に開示される実装形態に関連して説明した様々な例示的な論理ブロック、モジュール、回路、および処理ステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることをさらに理解するだろう。ハードウェアとソフトウェアのこの互換性を明示的に説明するために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、それらの機能の観点から一般的に上述されている。そのような機能がハードウェアとして実現されるか、ソフトウェアとして実現されるかは、特定の用途およびシステム全体に課せられる設計制約によって決まる。当業者は、説明された機能を特定のアプリケーションごとに様々な方法で実装し得るが、そのような実装決定は本発明の範囲からの逸脱を引き起こすものと解釈されるべきではない。当業者は、一部、またはある部分は、全体未満、または全体に等しいものを備え得ることを認識するだろう。たとえば、画素の集合の一部は、それらのピクセルのサブコレクションを指し得る。
【００５３】
本明細書に開示された実装形態に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェア構成要素、あるいは本明細書に記載の機能を実行するように設計されたそれらの任意の組合せで実装または実行され得る。汎用プロセッサはマイクロプロセッサであってもよいが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であってもよい。プロセッサはまた、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと併せた1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成の組合せなどの、コンピューティングデバイスの組合せとして実装され得る。
【００５４】
本明細書に開示されている実施形態に関連して説明した方法またはプロセスは、ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、または2つの組合せにおいて直接的に具体化され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または当分野で知られている非一時的記憶媒体の任意の他の形態の中に存在し得る。例示的なコンピュータ可読記憶媒体がプロセッサに接続されると、そのようなプロセッサはコンピュータ可読記憶媒体から情報を読み出し、そこへ情報を書き込むことができる。代替として、記憶媒体はプロセッサと一体構成であってもよい。プロセッサおよび記憶媒体はASIC内に存在し得る。ASICは、ユーザ端末、カメラ、または他のデバイス内に存在し得る。代替として、プロセッサおよび記憶媒体は、ユーザ端末、カメラ、または他のデバイス内のディスクリート構成要素として存在し得る。
【００５５】
本明細書では、見出しは、参照のために、および様々なセクションを配置するのを助けるために含まれる。これらの見出しは、それに関して説明した概念の範囲を限定することを意図するものではない。そのような概念は明細書全体を通して適用性を有し得る。
【００５６】
開示された実装形態の前の説明は、任意の当業者が本発明を作成または使用することを可能にするために提供される。これらの実装形態への様々な修正が当業者には容易に明らかになることになり、本明細書に定義する一般原理は、本発明の趣旨または範囲を逸脱することなしに他の実装形態に適用され得る。したがって、本発明は、本明細書に示される実装形態に限定されることを意図するものではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられるべきである。
【符号の説明】
【００５７】
100  撮像システム
110  撮像デバイス
120  プロセッサ
125  記憶モジュール
130  電子ディスプレイ
135  作業メモリ
140  プログラムメモリ
140  メモリ構成要素
145  画像撮影モジュール
150  特徴サイズ決定モジュール
155  高周波成分決定モジュール
157  照明条件決定モジュール
160  解像度決定モジュール
165  オペレーティングシステム
170  ユーザインターフェースモジュール
【図１】
2017516415.tif 000003
【図２】
2017516415.tif 000004
【図３】
2017516415.tif 000005
【図４】
2017516415.tif 000006
【手続補正書】
【提出日】平成28年11月22日(2016.11.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プレビュー画像データに基づいて画像撮影解像度を演繹的に決定するためのシステムであって、
第1の解像度レベルでシーンの前記プレビュー画像データを撮影し、
前記プレビュー画像データに基づいて、前記シーンの1つまたは複数の関心領域を決定し、
前記1つまたは複数の関心領域の1つまたは複数の特徴を決定し、
前記1つまたは複数の関心領域の前記1つまたは複数の特徴に基づいて第2の解像度レベルを決定し、
前記第2の解像度レベルで前記シーンの画像を撮影する
ように構成されたプロセッサを備える、システム。
【請求項２】
前記プロセッサが、デフォルト画像撮影解像度で前記第1の解像度レベルを設定するようにさらに構成され、
前記1つまたは複数の特徴が、前記1つまたは複数の関心領域のサイズ、前記シーン内の高周波成分の量、前記シーンの照明条件、および電子デバイスのバッテリレベルを具備するグループから選択される、請求項1に記載のシステム。
【請求項３】
撮像センサを備える撮像デバイスをさらに備え、前記プロセッサが、前記プレビュー画像データの撮影中に、前記撮像デバイスをプレビューモードで動作させようにさらに構成される、請求項1に記載のシステム。
【請求項４】
前記プロセッサが、顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムのうちの1つまたは複数を使用して前記シーン内の前記1つまたは複数の関心領域を決定するようにさらに構成される、請求項1に記載のシステム。
【請求項５】
前記プロセッサが、各関心領域の画素エリアに基づいて、前記1つまたは複数の関心領域を関心前景領域または関心背景領域として分類するようにさらに構成される、請求項4に記載のシステム。
【請求項６】
前記プロセッサが、関心前景領域の前記画素エリアが、撮像センサの全視野のユーザが指定した割合未満である場合、解像度設定を増加させるようにさらに構成される、請求項5に記載のシステム。
【請求項７】
前記プロセッサが、関心前景領域の前記画素エリアが、撮像センサの全視野の5%未満であると決定することに応じて、前記第1の解像度レベルと比較して前記第2の解像度レベルを増加させるようにさらに構成される、請求項5に記載のシステム。
【請求項８】
前記プロセッサが、高速フーリエ変換またはスライディングウィンドウを使用して前記シーンをスキャンしエッジを探すことによって、前記シーン内の高周波成分の最大量を識別するようにさらに構成される、請求項2に記載のシステム。
【請求項９】
前記プロセッサが、前記シーン内の高周波成分の前記量を決定することに応じて、前記第1の解像度レベルと比較して前記第2の解像度レベルへの増加を決定するために、ルックアップテーブルにアクセスするようにさらに構成される、請求項8に記載のシステム。
【請求項１０】
前記プロセッサが、前記シーンの照明に基づいて、前記第1の解像度レベルを前記第2の解像度レベルに調整するようにさらに構成される、請求項1に記載のシステム。
【請求項１１】
前記プロセッサが、モバイルデバイスのカメラアプリケーションの構成要素である、請求項1に記載のシステム。
【請求項１２】
プレビュー画像データに基づいて画像撮影解像度を演繹的に決定するための方法であって、
第1の解像度レベルでシーンの前記プレビュー画像データを撮影するステップと、
前記プレビュー画像データに基づいて、前記シーンの1つまたは複数の関心領域を決定するステップと、
前記1つまたは複数の関心領域の1つまたは複数の特徴を決定するステップと、
前記1つまたは複数の関心領域の前記1つまたは複数の特徴に基づいて第2の解像度レベルを決定するステップと、
前記第2の解像度レベルで前記シーンの画像を撮影するステップと
を備える、方法。
【請求項１３】
前記1つまたは複数の特徴が、前記1つまたは複数の関心領域のサイズ、前記シーン内の高周波成分の量、前記シーンの照明条件、および電子デバイスのバッテリレベルを具備するグループから選択される、請求項12に記載の方法。
【請求項１４】
前記プレビュー画像データの撮影中に、撮像デバイスをプレビューモードで動作するステップをさらに備える、請求項12に記載の方法。
【請求項１５】
顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムのうちの1つまたは複数を使用して前記シーン内の1つまたは複数の関心領域を決定するステップをさらに備える、請求項12に記載の方法。
【請求項１６】
各関心領域の画素エリアに基づいて、前記1つまたは複数の関心領域を関心前景領域または関心背景領域として分類するステップをさらに備える、請求項15に記載の方法。
【請求項１７】
関心前景領域の前記画素エリアが、撮像センサの全視野のユーザが指定した割合未満であると決定することに応じて、前記第1の解像度レベルと比較して前記第2の解像度レベルを増加させるステップをさらに備える、請求項16に記載の方法。
【請求項１８】
高速フーリエ変換またはスライディングウィンドウを使用して前記シーンをスキャンしエッジを探すことによって、前記シーン内の高周波成分の最大量を識別するステップをさらに備える、請求項13に記載の方法。
【請求項１９】
前記シーン内の高周波成分の前記量に基づいて前記第1の解像度レベルと比較して前記第2の解像度レベルを増加させるステップをさらに備える、請求項18に記載の方法。
【請求項２０】
前記撮像デバイスが、モバイルデバイスのカメラアプリケーションの一部として動作するように構成される、請求項14に記載の方法。
【請求項２１】
プレビュー画像データに基づいて画像撮影解像度を演繹的に決定するための装置であって、
第1の解像度レベルでシーンの前記プレビュー画像データを撮影するための手段と、
前記プレビュー画像データに基づいて、前記シーンの1つまたは複数の関心領域を決定するための手段と、
前記1つまたは複数の関心領域の1つまたは複数の特徴を決定するための手段と、
前記1つまたは複数の関心領域の前記1つまたは複数の特徴に基づいて第2の解像度レベルを決定するための手段と、
前記第2の解像度レベルで前記シーンの画像を撮影するための手段と
を備える、装置。
【請求項２２】
前記1つまたは複数の特徴が、前記1つまたは複数の関心領域のサイズ、前記シーン内の高周波成分の量、前記シーンの照明条件、および電子デバイスのバッテリレベルを具備するグループから選択される、請求項21に記載の装置。
【請求項２３】
前記第1の解像度レベルをデフォルト画像撮影解像度に設定するための手段をさらに備える、請求項21に記載の装置。
【請求項２４】
実行されると、少なくとも1つの物理的コンピュータプロセッサに、プレビュー画像データに基づいて画像撮影解像度を演繹的に決定する方法を実行させる命令を記憶する非一時的コンピュータ可読記録媒体であって、前記方法が、
第1の解像度レベルでシーンの前記プレビュー画像データを撮影するステップと、
前記プレビュー画像データに基づいて、前記シーンの1つまたは複数の関心領域を決するステップと、
前記1つまたは複数の関心領域の1つまたは複数の特徴を決定するステップと、
前記1つまたは複数の関心領域の前記1つまたは複数の特徴に基づいて第2の解像度レベルを決定するステップと、
前記第2の解像度レベルで前記シーンの画像を撮影するステップと
を備える、非一時的コンピュータ可読記録媒体。
【請求項２５】
前記1つまたは複数の特徴が、前記1つまたは複数の関心領域のサイズ、前記シーン内の高周波成分の量、前記シーンの照明条件、および電子デバイスのバッテリレベルを具備するグループから選択される、請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項２６】
前記プレビュー画像データの撮影中に、撮像デバイスをプレビューモードで動作するステップをさらに備える、請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項２７】
顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムのうちの1つまたは複数を使用して前記シーン内の前記1つまたは複数の関心領域を決定するステップと、各関心領域の画素エリアに基づいて、前記1つまたは複数の関心領域を関心前景領域または関心背景領域として分類するステップとをさらに備える、請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項２８】
関心前景領域の前記画素エリアが、撮像センサの全視野のユーザが指定した割合未満であると決定することに応じて、前記第1の解像度レベルと比較して前記第2の解像度レベルを増加させるステップをさらに備える、請求項27に記載の非一時的コンピュータ可読記録媒体。
【請求項２９】
高速フーリエ変換またはスライディングウィンドウを使用して前記シーンをスキャンしエッジを探すことによって、前記シーン内の高周波成分の最大量を識別するステップと、前記シーン内の高周波成分の前記量に基づいて前記第1の解像度レベルと比較して前記第2の解像度レベルを増加させるステップとをさらに備える、請求項25に記載の非一時的コンピュータ可読記録媒体。
【請求項３０】
前記撮像デバイスが、モバイルデバイスのカメラアプリケーションの一部として動作するように構成される、請求項26に記載の非一時的コンピュータ可読記録媒体。
【手続補正書】
【提出日】平成29年2月14日(2017.2.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像撮影解像度を決定するためのシステムであって、
デフォルト画像撮影解像度でプレビューモードにおいてシーンの画像を取得するように、撮像デバイスを動作し、
前記シーンの前記画像の1つまたは複数の関心領域のサイズを決定し、
前記決定されたサイズに基づいて、シーン依存解像度設定を決定し、
ここで、
前記シーン依存解像度設定は、前記デフォルト画像撮影解像度より高いか又は低く、
前記シーン依存解像度設定は、
前記1つまたは複数の関心領域の前景領域の画素エリアが、前記撮像デバイスの視野の割合未満である場合、前記デフォルト画像撮影解像度より高く、また、
前記前景領域の前記画素エリアが、前記撮像デバイスの前記視野の前記割合未満でない場合、前記デフォルト画像撮影解像度より低く、
前記シーン依存解像度設定に前記撮像デバイスのための前記画像撮影解像度を調整し、
前記シーン依存解像度設定で、前記シーンの画像を取得する
ように構成されたプロセッサを備える、システム。
【請求項２】
撮像センサを備える前記撮像デバイスをさらに備える、請求項1に記載のシステム。
【請求項３】
前記プロセッサが、顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムのうちの1つまたは複数を使用して前記シーン内の前記画像の前記関心領域を決定するようにさらに構成される、請求項2に記載のシステム。
【請求項４】
前記プロセッサが、各関心領域の画素エリアに基づいて、前記関心領域を関心前景領域または関心背景領域として分類するようにさらに構成される、請求項3に記載のシステム。
【請求項５】
前記プロセッサが、前記撮像デバイスの前記視野の前記割合を指定するユーザからの入力を受信するようにさらに構成される、請求項4に記載のシステム。
【請求項６】
前記プロセッサが、関心前景領域の前記画素エリアが、前記撮像センサの全視野の5%未満である場合、前記画像撮影解像度を増加させるようにさらに構成される、請求項4に記載のシステム。
【請求項７】
前記プロセッサが、高速フーリエ変換またはスライディングウィンドウを使用して前記シーンをスキャンしエッジを探すことによって、前記シーン内の高周波成分の最大量を識別するようにさらに構成される、請求項1に記載のシステム。
【請求項８】
前記プロセッサが、前記シーン内の高周波成分の量に基づいて、解像度設定への増加を決定するために、ルックアップテーブルにアクセスするようにさらに構成される、請求項7に記載のシステム。
【請求項９】
前記プロセッサが、シーンの照明条件を決定し、かつ、前記照明条件に基づいて解像度設定を増加させるようにさらに構成される、請求項1に記載のシステム。
【請求項１０】
前記プロセッサが、モバイルデバイスのカメラアプリケーションの構成要素として動作する、請求項1に記載のシステム。
【請求項１１】
画像撮影解像度を決定するための方法であって、
デフォルト画像撮影解像度でプレビューモードにおいてシーンの画像を取得するように、撮像デバイスを動作するステップと、
前記シーンの前記画像の1つまたは複数の関心領域のサイズを決定するステップと、
前記決定されたサイズに基づいて、シーン依存解像度設定を決定するステップであって、
前記シーン依存解像度設定は、前記デフォルト画像撮影解像度より高いか又は低く、
前記シーン依存解像度設定は、
前記1つまたは複数の関心領域の前景領域の画素エリアが、前記撮像デバイスの視野の割合未満である場合、前記デフォルト画像撮影解像度より高く、また、
前記前景領域の前記画素エリアが、前記撮像デバイスの前記視野の前記割合未満でない場合、前記デフォルト画像撮影解像度より低い、ステップと、
前記シーン依存解像度設定に前記撮像デバイスのための前記画像撮影解像度を調整するステップと、
前記シーン依存解像度設定で、前記シーンの画像を撮影するステップと
を備える、方法。
【請求項１２】
顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムのうちの1つまたは複数を使用して前記関心領域を決定するステップをさらに備える、請求項11に記載の方法。
【請求項１３】
各関心領域の画素エリアに基づいて、前記関心領域を関心前景領域または関心背景領域として分類するステップをさらに備える、請求項12に記載の方法。
【請求項１４】
前記撮像デバイスの前記視野の前記割合を設定するユーザからの入力を受信するステップをさらに備える、請求項13に記載の方法。
【請求項１５】
高速フーリエ変換またはスライディングウィンドウを使用して前記シーンをスキャンしエッジを探すことによって、前記シーン内の高周波成分の最大量を識別するステップをさらに備える、請求項11に記載の方法。
【請求項１６】
前記シーン内の高周波成分の量に基づいて解像度設定を増加させるステップをさらに備える、請求項15に記載の方法。
【請求項１７】
モバイルデバイスのカメラアプリケーションの一部として動作するように、前記撮像デバイスを動作させるステップをさらに備える、請求項11に記載の方法。
【請求項１８】
画像撮影解像度を決定するための装置であって、
デフォルト画像撮影解像度でプレビューモードにおいてシーンの画像を取得するように、撮像デバイスを動作するための手段と、
前記シーンの前記画像の1つまたは複数の関心領域のサイズを決定するための手段と、
前記1つまたは複数の関心領域の前記決定されたサイズに基づいて、シーン依存解像度設定を決定するための手段であって、
前記シーン依存解像度設定は、前記デフォルト画像撮影解像度より高いか又は低く、
前記シーン依存解像度設定は、
前記1つまたは複数の関心領域の前景領域の画素エリアが、前記撮像デバイスの視野の割合未満である場合、前記デフォルト画像撮影解像度より高く、また、
前記前景領域の前記画素エリアが、前記撮像デバイスの前記視野の前記割合未満でない場合、前記デフォルト画像撮影解像度より低い、手段と、
前記シーン依存解像度設定に前記撮像デバイスのための前記画像撮影解像度を調整するための手段と、
前記シーン依存解像度設定で、前記シーンの画像を撮影するための手段と
を備える、装置。
【請求項１９】
実行されると、少なくとも1つの物理的コンピュータプロセッサに、シーンのフィーチャに基づいて画像撮影解像度を決定する方法を実行させる命令を記憶する非一時的コンピュータ可読記録媒体であって、前記方法が、
デフォルト画像撮影解像度でプレビューモードにおいてシーンの画像を取得するように、撮像デバイスを動作するステップと、
前記シーンの前記画像の1つまたは複数の関心領域のサイズを決定するステップと、
前記決定されたサイズに基づいて、シーン依存解像度設定を決定するステップであって、
前記シーン依存解像度設定は、前記デフォルト画像撮影解像度より高いか又は低く、
前記シーン依存解像度設定は、
前記1つまたは複数の関心領域の前景領域の画素エリアが、前記撮像デバイスの視野の割合未満である場合、前記デフォルト画像撮影解像度より高く、また、
前記前景領域の前記画素エリアが、前記撮像デバイスの前記視野の前記割合未満でない場合、前記デフォルト画像撮影解像度より低い、ステップと、
前記シーン依存解像度設定に前記撮像デバイスのための前記画像撮影解像度を調整するステップと、
前記シーン依存解像度設定で、前記シーンの画像を撮影するステップと
を備える、非一時的コンピュータ可読記録媒体。
【請求項２０】
前記方法は、撮像デバイスをプレビューモードで動作するステップをさらに備える、請求項19に記載の非一時的コンピュータ可読記録媒体。
【請求項２１】
前記方法は、
顔検出アルゴリズムまたはオブジェクト追跡アルゴリズムのうちの1つまたは複数を使用して前記関心領域を決定するステップと、
各関心領域の画素エリアに基づいて、前記関心領域を関心前景領域または関心背景領域として分類するステップと
をさらに備える、請求項19に記載の非一時的コンピュータ可読記録媒体。
【請求項２２】
前記割合は、ユーザが指定した割合を含む、請求項19に記載の非一時的コンピュータ可読記録媒体。
【請求項２３】
高速フーリエ変換またはスライディングウィンドウを使用して前記シーンをスキャンしエッジを探すことによって、前記シーン内の高周波成分の最大量を識別するステップと、
前記シーン内の高周波成分の量に基づいて解像度設定を増加させるステップと
をさらに備える、請求項19に記載の非一時的コンピュータ可読記録媒体。
【請求項２４】
前記方法は、モバイルデバイスのカメラアプリケーションの一部として前記撮像デバイスを動作させるステップをさらに備える、請求項19に記載の非一時的コンピュータ可読記録媒体。
【国際調査報告】
2017516415.tif 000007
2017516415.tif 000008
2017516415.tif 000009
2017516415.tif 000010
2017516415.tif 000011