(57)【特許請求の範囲】
【請求項１】
デュアルカメラベースの撮像のための方法であって、前記デュアルカメラが広角カメラと望遠カメラとを含み、前記方法が、
前記広角カメラによって撮影された第１の画像と前記望遠カメラによって撮影された第２の画像とを取得することと、
前記第２の画像と同じ視野を有する前記第１の画像の分布領域を決定することと、
前記第１の画像のターゲット領域に対応する前記第１の画像の第１の部分と前記分布領域に対応する前記第１の画像の第２の部分との交差部分を第３の画像として取得するために前記第１の画像を切り取ることと、
前記第３の画像と前記第２の画像とに従って前記第３の画像の深度情報を決定することと、
第４の画像を取得するために、前記深度情報に従って前記第３の画像に対してぼかし処理を行うことと
を含む、方法。
【請求項２】
前記ターゲット領域が、前記第１の画像の中心を前記ターゲット領域の中心と見なし、  前記広角カメラの画角、前記広角カメラの解像度、または周囲光強度
のうちの少なくとも１つに従って決定された範囲にわたる、前記第１の画像の第１の部分である、請求項１に記載の方法。
【請求項３】
前記第４の画像を取得することが、
前記分布領域が前記ターゲット領域を完全に覆う場合、前記ターゲット領域に対応する前記第１の画像の前記第１の部分を前記第３の画像であると判断すること、
前記ターゲット領域が前記分布領域を完全に覆う場合、前記分布領域に対応する前記第１の画像の前記第２の部分を前記第３の画像であると判断すること、または
前記ターゲット領域と前記分布領域とが部分的にオーバーラップした領域を有する場合、前記部分的にオーバーラップした領域に対応する前記第１の画像の第３の部分を前記第３の画像であると判断すること
を含む、請求項１に記載の方法。
【請求項４】
前記広角カメラによって撮影された前記第１の画像と前記望遠カメラによって撮影された前記第２の画像とを取得する前に、
周囲光強度を測定することと、
前記周囲光強度が光強度閾値よりも低い場合、前記第１の画像を撮影するよう前記広角カメラを制御し、前記第２の画像を撮影するよう前記望遠カメラを制御することと
をさらに含む、請求項１に記載の方法。
【請求項５】
前記第１の画像を撮影するよう前記広角カメラを制御し、前記第２の画像を撮影するよう前記望遠カメラを制御することが、
ビューファインディングを同時に行って、撮像用の前記第１の画像と被写界深度を計算するための前記第２の画像とを取得するよう前記広角カメラと前記望遠カメラとを制御すること
を含む、請求項４に記載の方法。
【請求項６】
前記第３の画像の深度情報を決定した後、前記方法が、
前記第３の画像内の複数の物体の各々について、前記物体の深度情報に従って前記物体が前景物体であるかそれとも背景物体であるかを判断すること
をさらに含み、
第４の画像を取得するために前記深度情報に従って前記第３の画像に対してぼかし処理を行うことが、
前記第４の画像を取得するために、前記背景物体に判断された物体に対してぼかし処理を行うこと
を含む、請求項１に記載の方法。
【請求項７】
前記周囲光強度を測定することが、
独立した測光構成要素を使用して前記周囲光強度を測定すること、
イメージセンサを使用して前記周囲光強度を取得すること、または
前記広角カメラと前記望遠カメラとの自動調整された国際標準化機構（ＩＳＯ）値を読み取り、前記読み取られたＩＳＯ値に従って周囲輝度を決定し、周囲輝度値と周囲光強度値とのマッピング関係に従って前記周囲光強度を決定すること
のうちの１つを含む、請求項４に記載の方法。
【請求項８】
前記周囲光強度を測定した後、
前記周囲光強度が前記光強度閾値以上である場合、
選択されたビュー・ファインディング・モードを取得することと、
前記ビュー・ファインディング・モードがクロース・ショット・モードである場合、前記広角カメラによって撮影された前記第１の画像と前記望遠カメラによって撮影された前記第２の画像とに従って前記第１の画像の深度情報を決定し、前記第１の画像の前記深度情報に従って前記第１の画像に対してぼかし処理を行い、
前記ビュー・ファインディング・モードがロング・ショット・モードである場合、前記広角カメラによって撮影された前記第１の画像と前記望遠カメラによって撮影された前記第２の画像とを使用して前記第２の画像の深度情報を決定し、前記第２の画像の前記深度情報に従って前記第２の画像に対してぼかし処理を行うことと
をさらに含む、請求項４に記載の方法。
【請求項９】
前記ぼかし処理を行った後、
自動的に、またはユーザの操作に応答して、前記デュアルカメラを装備した、または前記デュアルカメラに通信可能に接続されたハードウェアデバイスのディスプレイに前記第４の画像を表示すること
をさらに含む、請求項１に記載の方法。
【請求項１０】
広角カメラによって撮影された第１の画像と望遠カメラによって撮影された第２の画像とを取得するように構成された、取得モジュールと、
前記第２の画像と同じ視野を有する前記第１の画像の分布領域を決定するように構成された、決定モジュールと、
前記第１の画像のターゲット領域に対応する前記第１の画像の第１の部分と前記分布領域に対応する前記第１の画像の第２の部分との交差部分を第３の画像として取得するために前記第１の画像を切り取る、切り取りモジュールと、
前記第３の画像と前記第２の画像とに従って前記第３の画像の深度情報を決定するように構成された、被写界深度モジュールと、
第４の画像を取得するために、前記深度情報に従って前記第３の画像に対してぼかし処理を行うように構成された、処理モジュールと
を含む、移動端末。
【請求項１１】
前記決定モジュールが、
前記分布領域が前記ターゲット領域を完全に覆う場合、前記ターゲット領域に対応する前記第１の画像の前記第１の部分を前記第３の画像であると判断し、
前記ターゲット領域が前記分布領域を完全に覆う場合、前記分布領域に対応する前記第１の画像の前記第２の部分を前記第３の画像であると判断し、または
前記ターゲット領域と前記分布領域とが部分的にオーバーラップした領域を有する場合、前記部分的にオーバーラップした領域に対応する前記第１の画像の第３の部分を前記第３の画像であると判断する
ように構成される、請求項１０に記載の移動端末。
【請求項１２】
広角カメラと、
望遠カメラと、
プロセッサと、
コンピュータプログラムが格納されたメモリであって、前記コンピュータプログラムが、前記プロセッサで動作すると、前記プロセッサに請求項１から９のいずれか一項に記載の方法を実行させる、メモリと
を含む、移動端末。
【請求項１３】
コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムが、プロセッサによって実行されると、前記プロセッサに請求項１から９のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、移動端末の技術分野に関し、特に、デュアルカメラベースの撮像のための方法、移動端末、および記憶媒体に関する。
【背景技術】
【０００２】
デュアルカメラは、移動端末機器で広く使用されるようになっている。デュアルカメラは通常、望遠レンズと広角レンズとを含む。望遠レンズは写真を撮るために使用され、広角レンズは、それに続く画像ぼかし処理のために、写真の深度情報の計算を支援するのに使用される。
【０００３】
既存のデュアルカメラは、高輝度環境では良好な画像効果を有するが、暗い環境では画像効果が低い。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本出願は、関連技術における上記の技術的問題の１つを少なくともある程度解決することを意図している。
【課題を解決するための手段】
【０００５】
このために、本出願は、暗い環境でのデュアルカメラの画像効果を向上させる、デュアルカメラベースの撮像方法を開示する。
【０００６】
第１の態様では、デュアルカメラベースの撮像のための方法が提供される。デュアルカメラは広角カメラと望遠カメラとを含み、本方法は以下の動作を含む。広角カメラによって撮影された第１の画像と望遠カメラによって撮影された第２の画像とが取得される。第１の画像は、第３の画像を取得するために第１の画像のターゲット領域に従って切り取られる。第３の画像と第２の画像とに従って第３の画像の深度情報が決定される。第４の画像を取得するために深度情報に従って第３の画像に対してぼかし処理が行われる。上述した方法によれば、暗い環境で比較的良好な撮像画像が得られてもよく、画像効果が保証され、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。
【０００７】
第２の態様では、取得モジュールと、切り取りモジュールと、被写界深度モジュールと、処理モジュールと、を含み得る移動端末が提供される。取得モジュールは、広角カメラによって撮影された第１の画像と望遠カメラによって撮影された第２の撮影画像とを取得するように構成される。第３の画像を取得するために第１の画像のターゲット領域に従って第１の画像を切り取るように構成された、切り取りモジュール。被写界深度モジュールは、第３の画像と第２の画像とに従って第３の画像の深度情報を決定するように構成される。処理モジュールは、第４の画像を取得するために深度情報に従って第３の画像に対してぼかし処理を行うように構成される。
【０００８】
上述した移動端末によれば、暗い環境で比較的良好な撮像画像が得られ、画像効果が保証され、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。
【０００９】
第３の態様では、広角カメラと、望遠カメラと、メモリと、プロセッサと、メモリに格納された、プロセッサ上で動作することができるコンピュータプログラムと、を含み得る移動端末であって、プロセッサが、実施形態の第１の態様によるデュアルカメラベースの撮像方法を実施するためにプログラムを実行し得る、移動端末が提供される。
【００１０】
第４の態様では、コンピュータプログラムが格納され得るコンピュータ可読記憶媒体であって、プログラムが、実施形態の第１の態様によるデュアルカメラベースの撮像方法を実施するためにプロセッサによって実行され得る、コンピュータ可読記憶媒体が提供される。
【００１１】
本出願のその他の態様および利点は、一部は以下の説明に提示され、一部は、以下の説明から明らかになり、または本出願を実施することによって理解されるであろう。
【００１２】
本出願の上記および／またはその他の態様および利点は、図面と組み合わせて以下の実施形態に対してなされる説明を読めば明らかになり、理解しやすくなるであろう。
【図面の簡単な説明】
【００１３】
【図１】本出願の一実施形態によるデュアルカメラベースの撮像のための方法を示すフローチャートである。
【図２】一実施形態による撮影画像を示す概略図である。
【図３】三角測量測距原理を示す概略図である。
【図４】本出願の一実施形態によるデュアルカメラベースの撮像のための別の方法を示すフローチャートである。
【図５】本出願の一実施形態によるデュアルカメラベースの撮像のための別の方法を示すフローチャートである。
【図６】本出願の一実施形態によるデュアルカメラベースの撮像のための装置を示す構造図である。
【図７】本出願の一実施形態によるデュアルカメラベースの撮像のための別の装置を示す構造図である。
【図８】本出願の別の実施形態による端末機器を示す構造図である。
【図９】一実施形態による画像処理回路を示す概略図である。
【発明を実施するための形態】
【００１４】
本出願の実施形態について以下で詳細に説明する。図面には実施形態の例が示されており、同一もしくは類似の参照符号は、常に同一もしくは類似の構成要素または同一もしくは類似の機能を備えた構成要素を表す。図面を参照して以下で説明される実施形態は例示であり、本出願を説明するためのものであり、本出願に対する限定として理解されるべきではない。
【００１５】
本開示の実施形態のデュアルカメラベースの撮像のための方法および装置、移動端末、ならびに記憶媒体について、図面を参照して以下に説明する。
【００１６】
第１の態様では、デュアルカメラベースの撮像のための方法が提供される。デュアルカメラは広角カメラと望遠カメラとを含み、本方法は以下の動作を含む。広角カメラによって撮影された第１の画像と望遠カメラによって撮影された第２の画像とが取得される。第１の画像は、第３の画像を取得するために第１の画像のターゲット領域に従って切り取られる。第３の画像と第２の画像とに従って第３の画像の深度情報が決定される。第４の画像を取得するために深度情報に従って第３の画像に対してぼかし処理が行われる。
【００１７】
一例では、ターゲット領域は、第１の画像の中心をターゲット領域の中心と見なし、広角カメラの画角、広角カメラの解像度、または周囲光輝度、のうちの少なくとも１つに従って決定された範囲にわたる第１の画像の第１の部分であり得る。
【００１８】
一例では、第３の画像を取得するために第１の画像のターゲット領域に従って第１の画像を切り取る前に、本方法は、第２の画像と同じ視野を有する第１の画像の分布領域を決定することをさらに含み得る。第３の画像を取得するために第１の画像のターゲット領域に従って第１の画像を切り取ることに関して、第１の画像は、ターゲット領域に対応する第１の画像の第１の部分と分布領域に対応する第１の画像の第２の部分との交差部分を第３の画像として取得するために切り取られ得る。
【００１９】
一例では、第４の画像を取得することに関して、分布領域がターゲット領域を完全に覆う場合、ターゲット領域に対応する第１の画像の第１の部分が第３の画像であると判断され得る。ターゲット領域が分布領域を完全に覆う場合、分布領域に対応する第１の画像の第２の部分が第３の画像であると判断され得る。ターゲット領域と分布領域とが部分的にオーバーラップした領域を有する場合、部分的にオーバーラップした領域に対応する第１の画像の第３の部分が第３の画像であると判断され得る。
【００２０】
一例では、広角カメラによって撮影された第１の画像と望遠カメラによって撮影された第２の画像とを取得する前に、本方法は、周囲光強度を測定することと、周囲光強度が光強度閾値よりも低い場合、第１の画像を撮影するよう広角カメラを制御し、第２の画像を撮影するよう望遠カメラを制御することとをさらに含み得る。
【００２１】
一例では、第１の画像を撮影するよう広角カメラを制御し、第２の画像を撮影するよう望遠カメラを制御することに関して、広角カメラと望遠カメラとは、ビューファインディングを同時に行って、撮像用の第１の画像と被写界深度を計算するための第２の画像とを取得するよう制御され得る。
【００２２】
一例では、第３の画像の深度情報を決定した後、本方法は、第３の画像内の複数の物体の各々について、各物体の深度情報に従って各物体が前景物体であるかそれとも背景物体であるかを判断することを含み得る。第４の画像を取得するために深度情報に従って第３の画像に対してぼかし処理を行うことに関して、第４の画像を取得するために、背景物体に判断された物体に対してぼかし処理が行われ得る。
【００２３】
一例では、周囲光強度を測定することに関して、独立した測光構成要素を使用して周囲光強度を測定すること、イメージセンサを使用して周囲光強度を取得すること、または、広角カメラと望遠カメラとの自動調整された国際標準化機構（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ（ＩＳＯ））値を読み取り、読み取られたＩＳＯ値に従って周囲輝度を決定し、周囲輝度値と周囲光強度値とのマッピング関係に従って周囲光強度を決定すること、のうちの１つが行われ得る。
【００２４】
一例では、周囲光強度を測定した後、本方法は、周囲光強度が光強度閾値以上である場合、選択されたビュー・ファインディング・モードを取得することをさらに含み得る。ビュー・ファインディング・モードがクロース・ショット・モードである場合、広角カメラによって撮影された第１の画像と望遠カメラによって撮影された第２の画像とに従って第１の画像の深度情報が決定され、第１の画像の深度情報に従って第１の画像に対してぼかし処理が行われ得る。ビュー・ファインディング・モードがロング・ショット・モードである場合、広角カメラによって撮影された第１の画像と望遠カメラによって撮影された第２の画像とを使用して第２の画像の深度情報が決定され、第２の画像の深度情報に従って第２の画像に対してぼかし処理が行われ得る。
【００２５】
一例では、ぼかし処理を行った後、本方法は、自動的に、またはユーザの操作に応答して、デュアルカメラを装備した、またはデュアルカメラに通信可能に接続されたハードウェアデバイスのディスプレイに第４の画像を表示すること、をさらに含み得る。
【００２６】
第２の態様では、移動端末が提供される。移動端末は、広角カメラと、望遠カメラと、プロセッサと、コンピュータプログラムが格納されたメモリとを含む。コンピュータプログラムは、プロセッサで動作すると、プロセッサに、第１の態様およびその例において上述された１つまたは複数の動作を実行させる。
【００２７】
第３の態様では、デュアルカメラベースの撮像のための方法が提供される。デュアルカメラは、広角カメラと望遠カメラとを含む。本方法は、以下の動作を含む。広角カメラによって撮影された第１の画像と望遠カメラによって撮影された第２の画像とが取得される。現在の撮影条件に対応する画像が、第１の画像と第２の画像とに基づいて決定される。現在の撮影条件に対応する画像の深度情報が決定される。第４の画像を取得するために、深度情報に従って現在の撮影条件に対応する画像に対してぼかし処理が行われる。
【００２８】
一例では、事前設定撮影条件は周囲光強度を含んでいてもよく、広角カメラによって撮影された第１の画像と望遠カメラによって撮影された第２の画像とを取得する前に、本方法は、周囲光強度を測定することをさらに含み得る。広角カメラによって撮影された第１の画像と望遠カメラによって撮影された第２の画像とを取得することに関して、広角カメラは第１の画像を撮影するように制御され、望遠カメラは第２の画像を撮影するように制御され得る。
【００２９】
一例では、事前設定撮影条件は、現在選択されているビュー・ファインディング・モードをさらに含んでいてもよく、ビュー・ファインディング・モードは、クロース・ショット・モードおよびロング・ショット・モードを含み得る。周囲光強度が光強度閾値以上である場合、第１の画像と第２の画像とに基づいて現在の撮影条件に対応する画像を決定することに関して、ビュー・ファインディング・モードがクロース・ショット・モードである場合、広角カメラによって撮影された第１の画像と望遠カメラによって撮影された第２の画像とに従って第１の画像の深度情報が決定され、ビュー・ファインディング・モードがロング・ショット・モードである場合、広角カメラによって撮影された第１の画像と望遠カメラによって撮影された第２の画像とを使用して第２の画像の深度情報が決定され得る。
【００３０】
一例では、周囲光強度が光強度閾値より低い場合、第１の画像と第２の画像とに基づいて現在の撮影条件に対応する画像を決定することに関して、第１の画像は、ターゲット領域に対応する第１の画像の第１の部分と分布領域に対応する第１の画像の第２の部分との交差部分を現在の撮影条件に対応する画像として取得するために、第１の画像のターゲット領域に従って切り取られ得る。
【００３１】
第４の態様では、移動端末が提供される。移動端末は、広角カメラと、望遠カメラと、プロセッサと、コンピュータプログラムが格納されたメモリとを含む。コンピュータプログラムは、プロセッサで動作すると、プロセッサに、第３の態様およびその例において上述された１つまたは複数の動作を実行させる。
【００３２】
第５の態様では、コンピュータプログラムが格納された、非一時的なコンピュータ可読記憶媒体が提供される。コンピュータプログラムは、プロセッサで動作すると、プロセッサに、第１または第３の態様およびその例において上述された１つまたは複数の動作を実行させる。
【００３３】
図１に、本開示の一実施形態によるデュアルカメラベースの撮像のための方法のフローチャートを示す。
【００３４】
図１に示されるように、この方法は、各ブロックに示される以下の動作を含む。この方法は、ブロック１０１から開始し得る。
【００３５】
ブロックＳ１０１で、広角カメラによって撮影された第１の撮影画像と望遠カメラによって撮影された第２の撮影画像とが取得される。
【００３６】
具体的には、移動端末の写真装置の電源が入れられ、写真装置の広角カメラと望遠カメラとがビューファインディングを同時に行って、それぞれ撮像用の第１の撮影画像と被写界深度を計算するための第２の撮影画像とを取得する。
【００３７】
画像取り込みの前に、写真セットのイメージセンサが周囲光強度を測定し、現在の周囲光強度が光強度閾値よりも低いと判断されると、暗い環境が判断される。
【００３８】
これは、暗い環境では、光が望遠カメラにほとんど入射せず、望遠カメラを撮像に使用される場合、取得される画像が多くのノイズポイントを有する可能性があり、画像効果が比較的低くなるからである。しかし、暗い環境では、広角カメラによって撮影された画像の中央部の画像効果は依然として比較的良好である。したがって、撮像に広角カメラを使用し、被写界深度の計算を支援するために望遠カメラを使用することにより、比較的良好な画像効果が達成され得る。
【００３９】
ブロックＳ１０２で、第１の撮影画像は、撮像画像を取得するために事前設定ターゲット領域に従って切り取られる。
【００４０】
具体的には、まず、第１の撮影画像から第２の撮影画像と同じ視野を有する分布領域が決定される。広角カメラの視野は望遠カメラの視野よりも大きいため、同じ場面を撮影する場合、広角カメラによって撮影された第１の撮影画像の画像領域は、望遠カメラによって撮影された第２の撮影画像の画像領域よりも相対的に大きい。図２に、この実施形態による撮影画像の概略図を示す。図２に示されるように、第１の撮影画像の視野範囲は第２の撮影画像の視野範囲よりも相対的に広く、第２の撮影画像と同じ視野を有する第１の撮影画像の部分、すなわち、第１の画像の細い破線ボックス内の、第１の撮影画像の分布領域と呼ばれるものが、第１の撮影画像の中から見出される。
【００４１】
ターゲット領域は、第１の撮影画像の中央領域であってもよく、中央領域は、中心、すなわち第１の撮影画像の中心点から、第１の撮影画像の端まで放射された特定の範囲内の画像である。例えば、図２の太い破線ボックス内の画像範囲は、第１の撮影画像のターゲット領域である。これは、広角カメラには低い画像効果をもたらす周辺歪みがあるからである。比較的良好な撮像画像を取得し、画像効果を保証するために、広角カメラによって撮影された第１の撮影画像が切り取られる。中央領域の画像効果は比較的良好であり、広角カメラの画像効果を向上させるために画像の中央領域は保持され、周辺の歪んだ領域は除去される。
【００４２】
さらに、ターゲット領域と分布領域のサイズが決定され、それによって撮像画像が決定される。具体的には、分布領域の範囲がターゲット領域の範囲よりも広い場合、ターゲット領域に対応する第１の撮影画像の部分が撮像画像であると判断される。ターゲット領域の範囲が分布領域の範囲よりも広い場合、分布領域に対応する第１の撮影画像の部分が撮像画像であると判断される。ターゲット領域と分布領域とが部分的にオーバーラップした領域を有する場合、部分的にオーバーラップした領域に対応する第１の撮影画像の部分が撮像画像であると判断される。
【００４３】
ターゲット領域の具体的な範囲は、具体的には、実際の用途における１つまたは複数の画像パラメータ、例えば、広角カメラの解像度、撮影環境などに従って当業者によって設定され得ることに留意されたい。
【００４４】
１つの可能な実施態様において、ターゲット領域の具体的な範囲は、広角カメラの解像度、周辺歪み度などに従って設定され得る。広角カメラの光学設計により、広視野条件下では避けられない周辺歪みが発生する。具体的には、近軸結像はｙ’＝ｆ×ｔａｎ（Ｔ）という結像関係を満たし、式中、ｙ’はセンサの半径方向寸法であり、Ｔは視野であり、ｆは焦点距離である。センサの半径方向寸法ｙ’は一定であるので、ｆが減少すると、すなわち短焦点端の条件下ではＴが疑う余地な増加し、その場合広角が達成され得る。しかし、広視野条件下では結像規則が近軸条件と徐々に矛盾するようになり、ｙ’＝ｆ×ｔａｎ（Ｔ）を満たす結像関係は、広視野で負の歪みをもたらすように、徐々にｙ＝ｆ×Ｔという規則に近づく。そのような歪みは、画像の周辺で顕著である。
【００４５】
上記の歪み原理に基づき、周辺歪み度はある程度まで視野のサイズと関連付けられることがわかる。したがって、ターゲット領域の具体的な範囲は、広角カメラの視野と解像度の少なくとも一方に従って決定され得る。
【００４６】
あるいは、ターゲット領域の範囲は、広角カメラの視野のみに従って決定されてもよい。視野が広い場合、周辺歪み範囲は広がり、ターゲット領域の設定範囲は画像の中心に近づき、ターゲット領域の設定範囲は狭まり、解像度は下がる。視野が狭い場合、周辺歪み範囲は比較的狭まり、ターゲット領域の設定範囲を拡大でき、解像度は上がる。
【００４７】
あるいは、ターゲット領域の範囲は、広角カメラの解像度のみに従って決定される。広角カメラの解像度が高く、一方でイメージセンサのサイズが適度に設定されている場合、画質は向上し、ターゲット領域の設定範囲は広がり、解像度は上がる。広角カメラの解像度が低い場合、画質は低下し、ターゲット領域の設定範囲は狭まり、解像度は下がる。
【００４８】
これは、同じ解像度の条件下では、イメージセンサのサイズが大きくなると、画質が向上するからである。イメージセンサのサイズが固定されている場合、解像度が上がると、画質は低下し得る。解像度が下がると、画像粒度が増加し、画質も低下し得る。
【００４９】
あるいは、ターゲット領域の設定範囲は、広角カメラの視野と解像度の両方に従って決定されてもよい。広角カメラの視野が小さく、画像の解像度が高い場合、画質は向上し、ターゲット領域の範囲をより広く設定でき、ターゲット領域の解像度は上がる。これに対して、ターゲット領域の範囲は狭まる。具体的には、広角カメラの視野と解像度の組み合わせとターゲット領域の解像度との間のマッピング関係を設定でき、マッピング関係は経験によって事前に較正され得る。例えば、様々な広角カメラの視野と解像度の組み合わせが撮影に使用され、撮影画像に歪みが生じない（または歪みの程度が許容範囲内にある）最大範囲が決定され、最大範囲に従ってターゲット領域の解像度が決定され得る。
【００５０】
別の可能な実施態様では、ターゲット領域の範囲は、周囲輝度に従って決定され得る。周囲輝度が高い場合、画像の画質は向上し、比較的大きなターゲット領域を設定でき、すなわち、ターゲット領域の解像度が比較的上がり得る。
【００５１】
ブロックＳ１０３で、撮像画像と第２の撮影画像とに従って撮像画像の深度情報が取得される。
【００５２】
具体的には、第１の撮影画像と第２の撮影画像とはそれぞれ異なるカメラによって撮影され、２台のカメラ間に一定の距離があるため、視差をもたらす場合がある。加えて、撮像画像は第１の撮影画像を切り取ることによって取得されるため、撮像画像と第２の撮影画像との間にもそのような視差が生じる。撮像画像と第２の撮影画像とが登録された後、撮像画像内と第２の撮影画像内の同じ物体の深度情報、すなわち、物体と、広角カメラと望遠カメラとが位置する平面との間の距離が、三角測量測距原理に従って計算され得る。
【００５３】
プロセスを明確にするために、三角測量測距原理について以下で簡単に紹介する。
【００５４】
実際のシナリオでは、ある視野特徴の深度は主に両眼視によって解像される。これは、デュアルカメラによって深度を解像する原理と同じである。本実施形態では、第２の撮影画像に従って撮像画像の深度情報を計算するための主な方法は、三角測量測距原理である。図３に、三角測量測距原理の概略図を示す。
【００５５】
図３には、実際の空間における被写体、２つのカメラの位置ＯＲおよびＯＴ、ならびに２つのカメラの焦点面が示されている。焦点面と２つのカメラが配置されている平面との間の距離はｆである。２つのカメラは、焦点面の位置で結像を行い、それによって２つの撮影画像を取得する。
【００５６】
ＰとＰ’とは、同じ物体のそれぞれ異なる撮影画像内での位置であり、Ｐと対応する撮影画像の左境界との間の距離はＸＲであり、Ｐ’と対応する撮影画像の左境界との間の距離はＸＴである。ＯＲとＯＴとはそれぞれ２つのカメラを表し、２つのカメラは同じ平面に位置し、距離Ｂを有する。
【００５７】
三角測量測距原理に基づき、図２Ａで物体と２つのカメラが配置されている平面との間の距離Ｚは、次の関係を有する。
【数１】
0006968992.tif 000002
これに基づき、
【数２】
0006968992.tif 000003
が計算されてもよく、式中、ｄは異なる撮影画像内の同じ物体の位置間の距離の差である。Ｂとｆとは固定値であるため、物体の距離Ｚはｄに従って決定され得る。
【００５８】
Ｓ１０４で、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理が行われる。
【００５９】
具体的には、撮像画像の深度情報が計算された後、撮像画像内の物体の深度情報に従って、各物体が前景物体であるかそれとも背景物体であるかが判断され得る。一般に、深度情報が、物体が主カメラと補助カメラとが位置する平面に比較的近く、深度値が比較的小さいことを示す場合、物体は前景物体であると判断されてもよく、そうでない場合、物体は背景物体である。
【００６０】
ターゲット画像を取得するために認識された背景に対してぼかし処理が行われ得る。ターゲット画像では、前景がより強調され、背景はぼかされ、前景が合焦された画像効果が達成される。
【００６１】
本開示の本実施形態のデュアルカメラベースの撮像のための方法では、広角カメラによって撮影された第１の撮影画像と望遠カメラによって撮影された第２の撮影画像とが取得され、撮像画像を取得するために第１の撮影画像がターゲット領域の事前設定範囲に従って切り取られ、撮像画像と第２の撮影画像とに従って撮像画像の深度情報が計算され、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理が行われる。広角カメラは第１のカメラに決定され、望遠カメラは第２のカメラに決定され、広角カメラによって撮影された第１の撮影画像は撮像画像を取得するためにターゲット領域に従って切り取られる。したがって、暗い環境で比較的良好な撮像画像が得られ、画像効果が保証され、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。
【００６２】
前述の実施形態を明確に説明するために、本開示の一実施形態は、デュアルカメラベースの撮像のための別の方法をさらに開示する。図４に、本開示の一実施形態によるデュアルカメラベースの撮像のための別の方法のフローチャートを示す。図４に示されるように、この方法は、各ブロックに示される以下の動作を含む。この方法は、ブロックＳ３０１から開始し得る。
【００６３】
ブロックＳ３０１で、周囲光強度が測定される。
【００６４】
具体的には、１つの可能な実施態様では、周囲光強度を測定し、周囲光強度値を出力するために独立した測光構成要素が使用される。
【００６５】
別の可能な実施態様では、写真セットのイメージセンサが現在の周囲光強度を取得し、周囲光強度値を出力する。
【００６６】
別の可能な実施態様では、広角カメラと望遠カメラとの自動調整された国際標準化機構（ＩＳＯ）値が読み取られ、読み取られたＩＳＯ値に従って周囲輝度が決定され、周囲輝度と光強度値との間のマッピング関係に従って現在の周囲光強度値が決定される。一般に、広角カメラと望遠カメラとは同じＩＳＯ値を使用するはずなので、対応する周囲輝度はＩＳＯ値を使用して決定され得る。しかしながら、読み取られた望遠カメラのＩＳＯ値と広角カメラのＩＳＯ値とが互いに異なる場合、対応する周囲輝度は、２つの値の平均値に従って決定され得る。
【００６７】
ＩＳＯ値はカメラの感度を指示するために使用されることに留意されたい。一般的なＩＳＯ値には、５０、１００、２００、４００、１，０００などが含まれる。カメラは、周囲輝度に従ってＩＳＯ値を自動調整し得る。したがって、本実施形態では、周囲輝度はＩＳＯ値から推定され得る。一般に、十分な光の条件下ではＩＳＯ値は５０または１００であり、不十分な光の条件下ではＩＳＯ値は４００以上になり得る。
【００６８】
ブロックＳ３０２で、周囲光強度が光強度閾値よりも低い場合、広角カメラは第１の撮影画像を撮影するよう制御され、望遠カメラは第２の撮影画像を撮影するよう制御される。
【００６９】
具体的には、測定された周囲光強度値は、光強度閾値と比較される。周囲光強度が光強度閾値より低い場合、すなわち、撮影環境が比較的暗い場合、本開示の本実施形態の方法を使用することにより、画像効果が向上し得る。
【００７０】
移動端末の写真装置の電源が入れられ、広角カメラと望遠カメラとは、それぞれ、撮像用の第１の撮影画像と被写界深度を計算するための第２の撮影画像とを取得するために画像を同時に取り込むように駆動される。
【００７１】
ブロックＳ３０３で、分布領域の範囲がターゲット領域の範囲よりも広いかどうかが判断される。はいの場合、ブロックＳ３０４が実行される。いいえの場合、ブロックＳ３０５が実行される。
【００７２】
具体的には、広角カメラによって撮影された画像の周辺は、暗い環境では歪んでおり、中央領域に対応するターゲット領域の画像効果は比較的良好であるため、撮影時に第１の撮影画像のターゲット領域において視野が結像され得る。広角カメラと望遠カメラとは画像を同時に取り込むが、レンズパラメータの制限により視野間に一定の違いが生じ得るので、第２の撮影画像と同じ視野を有する第１の撮影画像の分布領域を決定する必要がある。深度情報の計算時には、視野の一方にのみ存在する物体の深度情報が計算されない場合もある。したがって、深度情報の計算を簡便にするために、本実施形態では、第１の撮影画像は、撮像画像とするために、第１の撮影画像のターゲット領域から分布領域に位置する部分をできるだけ多く取得するように切り取られ、それによって、撮像画像の深度情報の正確さが保証される。
【００７３】
ブロックＳ３０４で、分布領域の範囲がターゲット領域の範囲よりも広い場合、ターゲット領域に対応する第１の撮影画像の部分が撮像画像であると判断される。
【００７４】
具体的には、分布領域の範囲がターゲット領域の範囲よりも広い場合、ターゲット領域内のすべての物体が分布領域で結像され、よってターゲット領域に対応する第１の撮影画像の部分が撮像画像であると判断される。
【００７５】
ブロックＳ３０５で、ターゲット領域の範囲が分布領域の範囲よりも広いかどうかが判断される。はいの場合、ブロックＳ３０６が実行される。いいえの場合、ブロックＳ３０７が実行される。
【００７６】
この動作は、具体的には、本実施形態のブロックＳ３０３の関連する説明から理解でき、これについてここでは詳述しない。
【００７７】
ブロックＳ３０６で、ターゲット領域の範囲が分布領域の範囲よりも広い場合、分布領域の範囲内の第１の撮影画像の部分が撮像画像であると判断される。
【００７８】
具体的には、ターゲット領域の範囲が分布領域の範囲よりも広い場合、分布領域内のすべての物体がターゲット領域で結像され、よって分布領域に対応する第１の撮影画像の部分が撮像画像であると判断される。
【００７９】
ブロックＳ３０７で、ターゲット領域と分布領域とが部分的にオーバーラップした領域を有する場合、部分的にオーバーラップした領域に対応する第１の撮影画像の部分が撮像画像であると判断される。
【００８０】
具体的には、ターゲット領域と分布領域とが部分的にオーバーラップした領域を有する場合、オーバーラップした領域内の各物体は分布領域とターゲット領域の両方で結像され、よって、部分的にオーバーラップした領域に対応する第１の撮影画像の部分が撮像画像であると判断される。
【００８１】
ブロックＳ３０８で、撮像画像の深度情報が第２の撮影画像に従って計算される。
【００８２】
具体的には、撮像画像の深度情報は、第２の撮影画像内と第１の撮影画像内の同じ物体の位置ずれと、デュアルカメラのパラメータとに従って決定される。
【００８３】
具体的な計算プロセスは、上記の実施形態のブロック１０３に関する関連する説明から理解でき、これについてここでは詳述しない。
【００８４】
ブロックＳ３０９で、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理が行われる。
【００８５】
具体的には、撮像画像の深度情報が計算された後、撮像画像内の物体の深度情報に従って、各物体が前景であるかそれとも背景であるかが判断され得る。一般に、深度情報が、物体が主カメラと補助カメラとが位置する平面に比較的近く、深度値が比較的小さいことを示す場合、物体は前景物体であると判断されてもよく、そうでない場合、物体は背景物体である。さらに、ターゲット画像を取得するために認識された背景に対してぼかし処理が行われ得る。
【００８６】
本開示の実施形態のデュアルカメラベースの撮像のための方法では、広角カメラによって撮影された第１の撮影画像と望遠カメラによって撮影された第２の撮影画像とが取得され、撮像画像を取得するために第１の撮影画像がターゲット領域の事前設定範囲に従って切り取られ、撮像画像と第２の撮影画像とに従って撮像画像の深度情報が取得され、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理が行われる。広角カメラは第１のカメラに決定され、望遠カメラは第２のカメラに決定され、広角カメラによって撮影された第１の撮影画像は撮像画像を取得するためにターゲット領域に従って切り取られる。したがって、暗い環境で比較的良好な撮像画像が得られ、画像効果が保証され、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。加えて、ターゲット画像を切り取ることにより、画像処理速度が増し、画像処理に必要な時間が短縮される。
【００８７】
上記の実施形態には周囲光強度が光強度閾値よりも低いという条件下でのデュアルカメラベースの画像処理方法が記載されている。上記の実施形態に基づき、本発明は、デュアルカメラベースの撮像のための方法の１つの可能な実施態様をさらに開示する。周囲光強度が測定された後に周囲光強度が光強度閾値よりも高いという条件下での画像処理方法について具体的に説明する。図５に、本発明の一実施形態によるデュアルカメラベースの撮像のための別の方法のフローチャートを示す。図５に示されるように、前の実施形態に基づき、ブロックＳ３０１の後、方法は、各ブロックに示される以下の動作をさらに含み得る。この方法は、ブロックＳ４０１から開始し得る。
【００８８】
ブロックＳ４０１で、周囲光強度が光強度閾値よりも高いと判断される。
【００８９】
ブロックＳ４０２で、選択されたビュー・ファインディング・モードがクロース・ショット・モードであるか否かが判断され、クロース・ショット・モードである場合、Ｓ４０３が実行され、ロング・ショット・モードである場合、Ｓ４０５が実行される。
【００９０】
具体的には、周囲光強度が光強度閾値よりも高い場合、それは、現在の撮影環境に比較的良い光があることを指示する。この場合、カメラは２つの撮影モード、すなわち、クロース・ショット・モードとロング・ショット・モードの一方で動作し得る。クロース・ショット・モードでは、集束距離が比較的短く、例えば、集束距離は０．３メートルから１メートルである。クロース・ショット・モードは主に、比較的近い距離内の画像を撮影するために使用され、被写体の主要部分および主要な特徴が強調表示される。クロース・ショット・モードは、人物の顔写真やクローズアップなど、人物の表情や被写体の主要な特徴を美しく描写することに優れている。ロング・ショット・モードでは、集束距離が比較的長く、例えば、集束距離は１メートルより長くなる。ロング・ショット・モードは主に、比較的長い距離内の画像を撮影するために使用される。ビューファインディング距離が比較的長い場合、自然が主として表現対象と見なされ、被写体の全体的な構造が強調され、その詳細な表現は無視される。
【００９１】
ブロックＳ４０３で、クロース・ショット・モードで、広角カメラによって撮影された第１の撮影画像と望遠カメラによって撮影された第２の撮影画像とに基づいて、第１の撮影画像の深度情報が決定される。
【００９２】
具体的には、比較的良好な光の条件下では、広角カメラと望遠カメラの両方が比較的良好な画像効果を達成し得る。広角カメラは、レンズ角度が広く、視野が広く、有効視距離が短いので、広角カメラは、クロース・ショット・モードでより良い画像効果を達成し得る。したがって、クロース・ショット・モードでは、広角カメラは、撮像用に構成された第１の撮影画像を取得するために使用され、望遠カメラは、被写界深度の計算を支援し、第１の撮影画像の深度情報を決定するように構成された第２の撮影画像を取得するために使用される。第１の撮影画像の深度情報を計算するための方法は、図４に対応する実施形態のステップＳ３０８を参照してもよく、同じ原理が使用されており、これについてここでは詳述しない。
【００９３】
ブロックＳ４０４で、第１の撮影画像の深度情報に従って第１の撮影画像に対してぼかし処理が行われる。
【００９４】
この動作は、図４に対応する実施形態のブロックＳ３０９から理解でき、同じ原理が使用されており、これについてここでは詳述しない。
【００９５】
ブロックＳ４０５で、ロング・ショット・モードで、広角カメラによって撮影された第１の撮影画像と望遠カメラによって撮影された第２の撮影画像とを使用して第２の撮影画像の深度情報が決定される。
【００９６】
具体的には、比較的良好な光の条件下では、ロング・ショット・モードで、望遠カメラの焦点距離は標準焦点距離を有するカメラよりも長く、長距離撮影に適し、より高い画質が達成され得る。したがって、望遠カメラは、撮像用の第２の撮影画像を取り込むために使用され、広角カメラは、被写界深度の計算を支援し、第２の撮影画像の深度情報を決定するための第１の撮影画像を取り込むために使用される。第２の撮影画像の深度情報を計算するための方法は、図４に対応する実施形態のステップＳ３０８から理解でき、同じ原理が使用されており、これについてここでは詳述しない。
【００９７】
ブロックＳ４０６で、第２の撮影画像の深度情報に従って、第２の撮影画像に対してぼかし処理が行われる。
【００９８】
このステップは、図４に対応する実施形態のブロックＳ３０９から理解でき、同じ原理が使用されており、これについてここでは詳述しない。
【００９９】
本実施形態のデュアルカメラベースの撮像のための方法では、周囲光強度が光強度閾値よりも高い場合、撮像用の画像を取り込むためのカメラが選択されたビュー・ファインディング・モードに従って切り替えられるので、より高い画質とより良好なぼかし効果が達成される。
【０１００】
上記の実施形態を実施するために、本開示は、デュアルカメラベースの撮像のための装置をさらに提供する。
【０１０１】
図６に、本開示の一実施形態によるデュアルカメラベースの撮像のための装置の構造図を示す。
【０１０２】
図６に示されるように、この装置は、取得モジュール４１と、切り取りモジュール４２と、被写界深度モジュール４３と、処理モジュール４４とを含む。
【０１０３】
取得モジュール４１は、広角カメラによって撮影された第１の撮影画像と望遠カメラによって撮影された第２の撮影画像とを取得するように構成され得る。
【０１０４】
切り取りモジュール４２は、撮像画像を取得するために、ターゲット領域の事前設定範囲に従って第１の撮影画像を切り取るように構成され得る。
【０１０５】
被写界深度モジュール４３は、撮像画像と第２の撮影画像とに従って撮像画像の深度情報を取得するように構成され得る。
【０１０６】
処理モジュール４４は、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理を行うように構成され得る。
【０１０７】
上記の方法実施形態に関する説明および記述は、本実施形態の装置にも適用され、これについてここでは詳述しないことに留意されたい。
【０１０８】
本開示の実施形態のデュアルカメラベースの撮像のための装置では、取得モジュールは、広角カメラによって撮影された第１の撮影画像と望遠カメラによって撮影された第２の撮影画像とを取得するように構成される。切り取りモジュールは、撮像画像を取得するためにターゲット領域の事前設定範囲に従って第１の撮影画像を切り取る。被写界深度モジュールは、撮像画像と第２の撮影画像とに従って撮像画像の深度情報を取得するように構成される。処理モジュールは、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理を行うように構成される。広角カメラは第１のカメラであると判断され、望遠カメラは第２のカメラであると判断される。広角カメラによって撮影された第１の撮影画像は撮像画像を取得するためにターゲット領域に従って切り取られる。したがって、暗い環境で比較的良好な撮像画像が得られ、画像効果が保証され、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。
【０１０９】
上記の実施形態に基づき、本開示の一実施形態は、デュアルカメラベースの撮像のための装置の１つの可能な実施態様をさらに提供する。図７に、本開示の一実施形態によるデュアルカメラベースの撮像のための別の装置の構造図を示す。図７に示されるように、上記の実施形態に基づき、この装置は、決定モジュール４５と、測光モジュール４５と、判断実行モジュール４７と、モード取得モジュール４８とをさらに含む。
【０１１０】
決定モジュール４５は、第２の撮影画像と同じ視野を有する第１の撮影画像の分布領域を決定するように構成され得る。
【０１１１】
１つの可能な実施態様では、切り取りモジュール４２は、分布領域の範囲がターゲット領域の範囲よりも広い場合、ターゲット領域に対応する第１の撮影画像の部分を撮像画像であると判断するように特に構成され得る。
【０１１２】
別の可能な実施態様では、切り取りモジュール４２は、ターゲット領域の範囲が分布領域の範囲よりも広い場合、分布領域に対応する第１の撮影画像の部分を撮像画像であると判断するように特に構成される。
【０１１３】
別の可能な実施態様では、切り取りモジュール４２は、ターゲット領域と分布領域とが部分的にオーバーラップした領域を有する場合、部分的にオーバーラップした領域内の第１の撮影画像の部分を撮像画像であると判断するように特に構成される。
【０１１４】
測光モジュール４６は、周囲光強度を測定するように構成され得る。
【０１１５】
判断実行モジュール４７は、周囲光強度が光強度閾値よりも低い場合、第１の撮影画像を撮影するよう広角カメラを制御し、第２の撮影画像を撮影するよう望遠カメラを制御する。
【０１１６】
さらに、本実施形態の１つの可能な実施態様では、判断実行モジュール４７は、周囲光強度が光強度閾値よりも高いと判断するようにさらに構成され得る。モード取得モジュール４８は、選択されたビュー・ファインディング・モードを取得するように構成される。被写界深度モジュール４３は、ビュー・ファインディング・モードがクロース・ショット・モードである場合、広角カメラによって撮影された第１の撮影画像と望遠カメラによって撮影された第２の撮影画像とに従って第１の撮影画像の深度情報を決定するようにさらに構成され得る。処理モジュール４４は、第１の撮影画像の深度情報に従って第１の撮影画像に対してぼかし処理を行うようにさらに構成され得る。
【０１１７】
別の可能な実施態様形態では、被写界深度モジュール４３は、ビュー・ファインディング・モードがロング・ショット・モードである場合、広角カメラによって撮影された第１の撮影画像と望遠カメラによって撮影された第２の撮影画像とを使用して第２の撮影画像の深度情報を決定するようにさらに構成され得る。処理モジュール４４は、第２の撮影画像の深度情報に従って第２の撮影画像に対してぼかし処理を行うようにさらに構成され得る。
【０１１８】
上記の方法実施形態に関する説明および記述は、本実施形態の装置にも適用され、これについてここでは詳述しないことに留意されたい。
【０１１９】
本開示の本実施形態のデュアルカメラベースの撮像のための装置では、取得モジュールは、広角カメラによって撮影された第１の撮影画像と望遠カメラによって撮影された第２の撮影画像とを取得するように構成され、第１の撮影画像は、撮像画像を取得するために事前設定ターゲット領域に従って切り取られ、被写界深度モジュールは、撮像画像と第２の撮影画像とに従って撮像画像の深度情報を取得するように構成され、処理モジュールは、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理を行うように構成される。広角カメラは第１のカメラに決定され、望遠カメラは第２のカメラに決定され、広角カメラによって撮影された第１の撮影画像は撮像画像を取得するためにターゲット領域に従って切り取られる。したがって、暗い環境で比較的良好な撮像画像が得られ、画像効果が保証され、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。加えて、ターゲット画像を切り取ることにより、画像処理速度が増し、画像処理に必要な時間が短縮される。
【０１２０】
上記の実施形態を実施するために、本開示は移動端末をさらに開示する。図７に、本開示の別の実施形態による端末機器の構造図を示す。図６に示されるように、端末機器１０００は、ハウジング１１００と、ハウジング１１００内に位置する広角カメラ１１１２と、望遠カメラ１１１３と、メモリ１１１４と、プロセッサ１１１５とを含む。
【０１２１】
メモリ１１１４には実行可能プログラムコードが格納され、プロセッサ１１１５は、実行可能プログラムコードに対応するプログラムを実行して上記の方法実施形態のデュアルカメラベースの撮像のための方法を実施するために、メモリ１１１４に格納された実行可能プログラムコードを読み取る。
【０１２２】
上記の実施形態を実施するために、本開示は、コンピュータプログラムが格納されたコンピュータ可読記憶媒体をさらに開示する。プログラムは、上記の実施形態におけるデュアルカメラベースの撮像のための方法を実施するために移動端末のプロセッサによって実行される。
【０１２３】
移動端末は、画像処理回路をさらに含み、画像処理回路は、ハードウェアおよび／またはソフトウェア構成要素を使用して実装されてもよく、画像信号処理（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ（ＩＳＰ））パイプラインを定義する様々な処理装置を含んでいてもよい。図８に、一実施形態による画像処理回路の概略図を示す。図８に示されるように、説明の便宜上、本開示の実施形態に関連した画像処理技術の様々な態様が示されている。
【０１２４】
図８に示されるように、画像処理回路は、ＩＳＰデバイス９４０と制御論理デバイス９５０とを含む。撮像装置９１０によって撮影された画像データは、最初にＩＳＰデバイス９４０によって処理され、ＩＳＰデバイス９４０は、画像データを解析して、ＩＳＰデバイスおよび／または撮像装置９１０の１つまたは複数の制御パラメータを決定するための画像統計情報を取り込む。撮像装置９１０は２つのカメラを特に含んでいてもよく、各カメラは１つまたは複数のレンズ９１２とイメージセンサ９１４とを含み得る。イメージセンサ９１４は、カラー・フィルタ・アレイ（ベイヤフィルタなど）を含んでいてもよく、イメージセンサ９１４は、イメージセンサ９１４の各撮像画素によって撮影された光強度と波長情報とを取得し、ＩＳＰデバイス９４０による処理が可能な元の画像データセットを提供し得る。センサ９２０は、センサ９２０のインターフェースタイプに基づいてＩＳＰデバイス９４０に元の画像データを提供し得る。センサ９２０のインターフェースは、標準モバイル・イメージング・アーキテクチャ（Ｓｔａｎｄａｒｄ  Ｍｏｂｉｌｅ  Ｉｍａｇｉｎｇ  Ａｒｃｈｉｔｅｃｔｕｒｅ（ＳＭＩＡ））・インターフェース、別のシリアルもしくはパラレルカメラインターフェース、または上記インターフェースの組み合わせを使用し得る。
【０１２５】
ＩＳＰデバイス９４０は、複数のフォーマットに従ってピクセルごとに元の画像データを処理する。例えば、各画素は、８、１０、１２、または１４ビットのビット深度を有し得る。ＩＳＰデバイス９４０は、元の画像データに対して１つまたは複数の画像処理操作を実行し、画像データに関する画像統計情報を収集し得る。画像処理操作は、同じかまたは異なるビット深度精度に従って実行され得る。
【０１２６】
ＩＳＰデバイス９４０は、画像メモリ９３０から画素データをさらに受け取り得る。例えば、センサ９２０のインターフェースが画像メモリ９３０に元の画素データを送り、画像メモリ９３０内の元の画素データが処理のためにＩＳＰデバイス９４０に提供される。画像メモリ９３０は、電子機器内のメモリデバイス、ストレージデバイス、または独立した専用メモリの一部であってもよく、ダイレクト・メモリ・アクセス（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ（ＤＭＡ））機構を含み得る。
【０１２７】
センサ９２０のインターフェースからまたは画像メモリ９３０から元の画像データを受け取ると、ＩＳＰデバイス９４０は、１つまたは複数の画像処理操作、例えば、時間領域フィルタリングを実行し得る。処理された画像データは、表示前に他の処理のために画像メモリ９３０に送られ得る。ＩＳＰデバイス９４０は、画像メモリ９３０から処理されたデータを受け取り、処理されたデータに対して元の領域と色空間赤、緑、青（ＲＧＢ）およびＹＣｂＣｒとで画像データ処理を行う。処理された画像データは、ユーザが見るために、かつ／またはグラフィックス処理装置（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＧＰＵ））によるさらなる処理のためにディスプレイ９７０に出力され得る。加えて、ＩＳＰデバイス９４０の出力が画像メモリ９３０にさらに送られてもよく、ディスプレイ９７０は画像メモリ９３０から画像データを読み取り得る。一実施形態では、画像メモリ９３０は、１つまたは複数のフレームバッファを実装するように構成され得る。さらに、ＩＳＰデバイス９４０の出力は、画像データを符号化／復号化するために符号器／復号器９６０に送られ得る。符号化された画像データは格納されてもよく、ディスプレイ９７０に表示される前に解凍される。符号器／復号器９６０は、中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ））またはＧＰＵまたはコプロセッサによって実施され得る。
【０１２８】
ＩＳＰデバイス９４０によって決定された統計情報は、制御論理デバイス９５０に送られ得る。例えば、統計情報は、イメージセンサ９１４の自動露出、自動ホワイトバランス、自動焦点、フラッシュ検出、黒レベル補正、レンズ９１２の影補正などの統計情報を含み得る。制御論理デバイス９５０は、１つまたは複数のルーチン（例えば、ファームウェア）を実行するプロセッサおよび／またはマイクロコントローラを含んでいてもよく、１つまたは複数のルーチンは、受け取られた統計データに従って撮像装置９１０の制御パラメータおよびＩＳＰデバイスの制御パラメータを決定し得る。例えば、制御パラメータには、センサ９２０の制御パラメータ（例えば、利得および露出制御のための積分時間）、カメラフラッシュ制御パラメータ、レンズ９１２の制御パラメータ（例えば、合焦やズーミングのための焦点距離）またはこれらのパラメータの組み合わせが含まれ得る。ＩＳＰデバイスの制御パラメータには、自動ホワイトバランスおよび色調整のための利得レベルおよび色補正マトリックス（例えば、ＲＧＢ処理時）と、レンズ９１２の影補正パラメータが含まれ得る。
【０１２９】
本明細書の記述において、「一実施形態」、「いくつかの実施形態」、「例」、「具体例」、「いくつかの例」などの用語に関してなされた記述は、その実施形態または例と組み合わせて記述されている特定の特徴、構造、材料、または特性が本開示の少なくとも１つの実施形態または例に含まれることを指す。本明細書では、これらの用語は、必ずしも同じ実施形態または例について概略的に表現されているとは限らない。さらに、記載された特定の特徴、構造、材料、または特性は、任意の１つまたは複数の実施形態または例において適切な方法で組み合わされ得る。加えて、当業者であれば、本明細書に記載される異なる実施形態または例および異なる実施形態または例の特徴を矛盾なく統合し、組み合わせることもできよう。
【０１３０】
加えて、「第１」および「第２」という用語は、記述のために使用されているにすぎず、相対的な重要度を指示または示唆するとも、指示される技術的特徴の数を暗黙的に指示するとも理解されるべきではない。したがって、「第１」および「第２」によって定義される特徴は、少なくとも１つのそのような特徴の包含を明示的または暗黙的に示し得る。本開示の記述において、「複数」とは、特に明確かつ具体的に限定されない限り、少なくとも２つ、例えば２つおよび３つを意味する。
【０１３１】
フローチャート内の、または別の方法で本明細書に記載された任意のプロセスまたは方法は、プロセスの特定の論理機能またはステップを実現するように構成された１つまたは複数の実行可能命令のコードを含むモジュール、セグメントまたは部分を表すと理解されてもよく、さらに、本開示の好ましい実施モードの範囲は、基本的に同時の、または関与する機能に従った逆の順序での機能の実行を含む、本明細書で図示または考察された順序ではない、他の実施態様を含む。これは、本開示の実施形態の当業者によって理解されるはずである。
【０１３２】
フローチャートで表された、または別の方法で本明細書に記載された論理および／またはステップは、論理機能を実現するように構成された実行可能命令の固定順のリストと見なされてもよく、具体的には、命令実行システム、機器もしくは装置（例えば、コンピュータベースのシステム、プロセッサを含むシステム、または命令実行システム、機器もしくは装置から命令を読み取り、命令を実行することができる別のシステム）が使用するための、または命令実行システム、機器もしくは装置と組み合わせて使用するための任意のコンピュータ可読媒体において実装され得る。本明細書では、「コンピュータ可読媒体」とは、命令実行システム、機器もしくは装置が使用するための、または命令実行システム、機器もしくは装置と組み合わせて使用するためのプログラムを含み、格納し、プログラムと通信し、プログラムを伝搬し、または送信することができる任意のデバイスであり得る。コンピュータ可読媒体のより具体的な例（非網羅的リスト）には、１つまたは複数の配線を備えた電子接続部分（電子機器）、ポータブル・コンピュータ・ディスク（磁気デバイス）、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能書込み可能ＲＯＭ（ＥＰＲＯＭ）（またはフラッシュメモリ）、光ファイバデバイス、およびポータブル・コンパクト・ディスク読取り専用メモリ（ＣＤ‐ＲＯＭ）が含まれる。加えて、コンピュータ可読媒体は、紙やプログラムがプリントされ得る別の媒体でさえもよい。というのは、例えば、紙や別の媒体は、光学的にスキャンされ、次いで、編集、解釈され、または、必要に応じて、コンピュータメモリに格納するための電子方式のプログラムを取得するために任意の適切な方法で処理され得るからである。
【０１３３】
本開示の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせによって実施され得ることを理解されたい。上記の実施モードでは、メモリに格納され、適切な命令実行システムによって実行されるソフトウェアまたはファームウェアによって複数のステップまたは方法が実施され得る。例えば、別の実施モードのような、ハードウェアによる実施の場合には、データ信号のための論理機能を実現するように構成された論理ゲート回路を備えたディスクリート論理回路、適切な組み合わせ論理ゲート回路を備えた特定用途向け集積回路、プログラマブル・ゲート・アレイ（ＰＧＡ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの、当技術分野で周知の技術のうちのいずれか１つまたはそれらの組み合わせが、実施のために使用され得る。
【０１３４】
上記の実施形態の方法におけるステップの全部または一部が、プログラムによって命令される関連ハードウェアを介して完了され得ることを当業者は理解するはずであり、プログラムはコンピュータ可読記憶媒体に格納されてもよく、プログラムが実行される場合、方法実施形態のステップのうちの１つまたはそれらの組み合わせが含まれる。
【０１３５】
加えて、本開示の各実施形態における各機能ユニットは処理モジュールに統合されてもよく、各ユニットはまた、物理的に独立して存在してもよく、２つ以上のユニットがモジュールに統合されてもよい。統合モジュールは、ハードウェア形態で実施されてもよく、ソフトウェア機能モジュールの形態で実施されてもよい。ソフトウェア機能モジュールの形態で実施され、独立した製品として販売または使用される場合、統合モジュールはコンピュータ可読記憶媒体に格納され得る。
【０１３６】
記憶媒体は、読取り専用メモリ、磁気ディスク、光ディスクなどであり得る。本開示の実施形態は上記で図示または説明されている。しかしながら、上記の実施形態は例示であり、本開示に対する限定として理解されるべきではなく、当業者であれば、本開示の範囲内で上記の実施形態に対して様々な変形、改変、置換、変換を行い得ることが理解されよう。
【図１】
0006968992.tif 000004
【図２】
0006968992.tif 000005
【図３】
0006968992.tif 000006
【図４】
0006968992.tif 000007
【図５】
0006968992.tif 000008
【図６】
0006968992.tif 000009
【図７】
0006968992.tif 000010
【図８】
0006968992.tif 000011
【図９】
0006968992.tif 000012