(57)【要約】  画像キャプチャのために被写体を照明するためのシステムおよび方法について、本明細書で説明する。プロセッサは、被写体の周囲色温度を決定し得る。プロセッサは、第1の方向を向いているディスプレイから光を出力するための色温度を、第1の方向を向いている専用照明要素のための光出力特性、決定された周囲色温度、および被写体の所望の色温度に基づいてさらに決定し得る。プロセッサは、専用照明要素とディスプレイの両方を使用して、被写体をさらに照明し得る。ディスプレイは、ディスプレイから光を出力するための決定された色温度に基づいて光を出力し得る。プロセッサは、被写体が専用照明要素とディスプレイの両方を使用して照明されている間に、第1の方向を向いている画像センサを使用して、被写体の画像をさらにキャプチャし得る。
2019501406.tif 000002
【特許請求の範囲】
【請求項１】
モバイルデバイスであって、
メモリと、
プロセッサと
を備え、前記プロセッサが、
被写体の周囲色温度を決定すること、
第1の方向を向いているディスプレイから光を出力するための色温度を、前記第1の方向を向いている専用照明要素のための光出力特性、前記決定された周囲色温度、および前記被写体の所望の色温度に基づいて決定すること、
前記専用照明要素と前記ディスプレイの両方を使用して、前記被写体を照明することであって、前記ディスプレイが、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力する、照明すること、および
前記被写体が前記専用照明要素と前記ディスプレイの両方を使用して照明されている間に、前記第1の方向を向いている画像センサを使用して、前記被写体の画像をキャプチャすること
を行うように構成される、モバイルデバイス。
【請求項２】
前記ディスプレイが、前記ディスプレイの表面エリア全体にわたってほぼ均一に光を出力することによって、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力する、請求項1に記載のモバイルデバイス。
【請求項３】
前記ディスプレイが、第1のパラメータに従って前記ディスプレイの第1のエリアから光を出力すること、および、第2のパラメータに従って前記ディスプレイの第2のエリアから光を出力することを含む、複数のエリアから光を出力することによって、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力し、前記複数のエリアから出力された結合された光が、前記ディスプレイから光を出力するための前記決定された色温度に基づく、請求項1に記載のモバイルデバイス。
【請求項４】
前記プロセッサが、前記専用照明要素のために利用可能な複数の光出力特性から、前記専用照明要素のための前記光出力特性を選択するようにさらに構成される、請求項1に記載のモバイルデバイス。
【請求項５】
前記光出力特性が、前記専用照明要素のための色温度および輝度のうちの少なくとも1つである、請求項4に記載のモバイルデバイス。
【請求項６】
前記プロセッサが、前記専用照明要素のための前記光出力特性、前記決定された周囲色温度、および前記被写体の前記所望の色温度に基づいて、前記ディスプレイから光を出力するための輝度を決定するようにさらに構成される、請求項1に記載のモバイルデバイス。
【請求項７】
前記プロセッサが、前記被写体を照明するより前に、前記ディスプレイ上で前記被写体のプレビューの表示を引き起こすこと、次いで、前記被写体を照明し、前記被写体の前記画像をキャプチャすること、および、前記被写体の前記画像のキャプチャに続いて、前記ディスプレイ上で前記被写体の別のプレビューの表示を引き起こすことを行うようにさらに構成される、請求項1に記載のモバイルデバイス。
【請求項８】
前記被写体のための前記所望の色温度が、ユーザによって選択可能である、請求項1に記載のモバイルデバイス。
【請求項９】
前記所望の色温度が、前記決定された周囲色温度である、請求項1に記載のモバイルデバイス。
【請求項１０】
画像キャプチャのために被写体を照明するための方法であって、
被写体の周囲色温度を決定するステップと、
第1の方向を向いているディスプレイから光を出力するための色温度を、前記第1の方向を向いている専用照明要素のための光出力特性、前記決定された周囲色温度、および前記被写体の所望の色温度に基づいて決定するステップと、
前記専用照明要素と前記ディスプレイの両方を使用して前記被写体を照明するステップであって、前記ディスプレイが、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力する、ステップと、
前記被写体が前記専用照明要素と前記ディスプレイの両方を使用して照明されている間に、前記第1の方向を向いている画像センサを使用して、前記被写体の画像をキャプチャするステップと
を含む方法。
【請求項１１】
前記ディスプレイが、前記ディスプレイの表面エリア全体にわたってほぼ均一に光を出力することによって、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力する、請求項10に記載の方法。
【請求項１２】
前記ディスプレイが、第1のパラメータに従って前記ディスプレイの第1のエリアから光を出力すること、および、第2のパラメータに従って前記ディスプレイの第2のエリアから光を出力することを含む、複数のエリアから光を出力することによって、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力し、前記複数のエリアから出力された結合された光が、前記ディスプレイから光を出力するための前記決定された色温度に基づく、請求項10に記載の方法。
【請求項１３】
前記専用照明要素のために利用可能な複数の光出力特性から、前記専用照明要素のための前記光出力特性を選択するステップをさらに含む、請求項10に記載の方法。
【請求項１４】
前記光出力特性が、前記専用照明要素のための色温度および輝度のうちの少なくとも1つである、請求項13に記載の方法。
【請求項１５】
前記専用照明要素のための前記光出力特性、前記決定された周囲色温度、および前記被写体の前記所望の色温度に基づいて、前記ディスプレイから光を出力するための輝度を決定するステップをさらに含む、請求項10に記載の方法。
【請求項１６】
前記被写体を照明するより前に、前記ディスプレイ上で前記被写体のプレビューを表示するステップと、次いで、前記被写体を照明し、前記被写体の前記画像をキャプチャするステップと、前記被写体の前記画像のキャプチャに続いて、前記ディスプレイ上で前記被写体の別のプレビューを表示するステップとをさらに含む、請求項10に記載の方法。
【請求項１７】
前記被写体のための前記所望の色温度が、ユーザによって選択可能である、請求項10に記載の方法。
【請求項１８】
前記所望の色温度が、前記決定された周囲色温度である、請求項10に記載の方法。
【請求項１９】
モバイルデバイスであって、
被写体の周囲色温度を決定するための手段と、
第1の方向を向いているディスプレイから光を出力するための色温度を、前記第1の方向を向いている専用照明要素のための光出力特性、前記決定された周囲色温度、および前記被写体の所望の色温度に基づいて決定するための手段と、
前記専用照明要素と前記ディスプレイの両方を使用して前記被写体を照明するための手段であって、前記ディスプレイが、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力する、手段と、
前記被写体が前記専用照明要素と前記ディスプレイの両方を使用して照明されている間に、前記第1の方向を向いている画像センサを使用して、前記被写体の画像をキャプチャするための手段と
を備えるモバイルデバイス。
【請求項２０】
前記専用照明要素のために利用可能な複数の光出力特性から、前記専用照明要素のための前記光出力特性を選択するための手段をさらに備える、請求項19に記載のモバイルデバイス。
【請求項２１】
前記専用照明要素のための前記光出力特性、前記決定された周囲色温度、および前記被写体の前記所望の色温度に基づいて、前記ディスプレイから光を出力するための輝度を決定するための手段をさらに備える、請求項19に記載のモバイルデバイス。
【請求項２２】
前記被写体を照明するより前に、前記ディスプレイ上で前記被写体のプレビューを表示すること、次いで、前記被写体を照明し、前記被写体の前記画像をキャプチャすること、および、前記被写体の前記画像のキャプチャに続いて、前記ディスプレイ上で前記被写体の別のプレビューを表示することを行うための手段をさらに備える、請求項19に記載のモバイルデバイス。
【請求項２３】
前記被写体のための前記所望の色温度が、ユーザによって選択可能である、請求項19に記載のモバイルデバイス。
【請求項２４】
前記所望の色温度が、前記決定された周囲色温度である、請求項19に記載のモバイルデバイス。
【請求項２５】
実行されたとき、デバイスのプロセッサに、画像キャプチャのために被写体を照明するための方法を実行させる命令を記憶した非一時的コンピュータ可読記録媒体であって、前記方法が、
被写体の周囲色温度を決定するステップと、
第1の方向を向いているディスプレイから光を出力するための色温度を、前記第1の方向を向いている専用照明要素のための光出力特性、前記決定された周囲色温度、および前記被写体の所望の色温度に基づいて決定するステップと、
前記専用照明要素と前記ディスプレイの両方を使用して前記被写体を照明するステップであって、前記ディスプレイが、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力する、ステップと、
前記被写体が前記専用照明要素と前記ディスプレイの両方を使用して照明されている間に、前記第1の方向を向いている画像センサを使用して、前記被写体の画像をキャプチャするステップと
を含む、非一時的コンピュータ可読記録媒体。
【請求項２６】
前記方法が、前記専用照明要素のために利用可能な複数の光出力特性から、前記専用照明要素のための前記光出力特性を選択するステップをさらに含む、請求項25に記載のコンピュータ可読記録媒体。
【請求項２７】
前記方法が、前記専用照明要素のための前記光出力特性、前記決定された周囲色温度、および前記被写体の前記所望の色温度に基づいて、前記ディスプレイから光を出力するための輝度を決定するステップをさらに含む、請求項25に記載のコンピュータ可読記録媒体。
【請求項２８】
前記方法が、前記被写体を照明するより前に、前記ディスプレイ上で前記被写体のプレビューを表示するステップと、次いで、前記被写体を照明し、前記被写体の前記画像をキャプチャするステップと、前記被写体の前記画像のキャプチャに続いて、前記ディスプレイ上で前記被写体の別のプレビューを表示するステップとをさらに含む、請求項25に記載のコンピュータ可読記録媒体。
【請求項２９】
前記被写体のための前記所望の色温度が、ユーザによって選択可能である、請求項25に記載のコンピュータ可読記録媒体。
【請求項３０】
前記所望の色温度が、前記決定された周囲色温度である、請求項25に記載のコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カメライメージング技法に関する。詳細には、本開示は、デバイスの専用照明要素およびディスプレイをフラッシュとして利用して、画像のキャプチャ中にシーンを照明することに関する。
【背景技術】
【０００２】
多数のモバイルデバイス(たとえば、スマートフォン、タブレット、ラップトップなど)は、ディスプレイと、モバイルデバイスの前の被写体のピクチャを撮影するか、または被写体のビデオを記録するように構成される、前向きカメラとを含む(すなわち、カメラは、ディスプレイと同じ方向を向いている)。これらの前向きカメラは、モバイルデバイスのユーザによって、「セルフィ」として知られる、ユーザ自身の写真を撮影するために使用されることが多い。前向きカメラは、ユーザの画像をキャプチャし、ユーザの画像をディスプレイ上に表示して、ユーザが自分自身のピクチャを撮影しながら、モバイルデバイスのディスプレイ内で自分自身を見ることができるようにし得る。
【０００３】
低光の状況におけるモバイルデバイス内の前向きカメラの使用は、前向きカメラを使用してキャプチャされる画像の低品質画像につながり得る。たとえば、前向きカメラは、モバイルデバイスの設計制約のために、センサ品質が制限された(たとえば、小さいピクセルサイズ、低解像度など)、画像センサ(たとえば、電荷結合デバイス(CCD)、相補型金属酸化膜半導体(CMOS)など)を利用し得る。そのような画像センサは、画像キャプチャプロセス中に十分な光をキャプチャすることが可能ではないことがあり、そのことが、雑音の多い、暗い、色あせた、平坦な、および/または不適切な色でキャプチャされた画像につながり得る。
【発明の概要】
【課題を解決するための手段】
【０００４】
本開示の教示の一態様は、メモリとプロセッサとを備えるモバイルデバイスに関する。プロセッサは、被写体の周囲色温度(ambient color temperature)を決定するように構成される。プロセッサは、第1の方向を向いているディスプレイから光を出力するための色温度を、第1の方向を向いている専用照明要素のための光出力特性、決定された周囲色温度、および被写体の所望の色温度に基づいて決定するようにさらに構成される。プロセッサは、専用照明要素とディスプレイの両方を使用して、被写体を照明するように構成される。ディスプレイは、ディスプレイから光を出力するための決定された色温度に基づいて光を出力する。プロセッサは、被写体が専用照明要素とディスプレイの両方を使用して照明されている間に、第1の方向を向いている画像センサを使用して、被写体の画像をキャプチャするように構成される。
【０００５】
本開示の教示の別の態様は、画像キャプチャのために被写体を照明するための方法に関する。方法は、被写体の周囲色温度を決定するステップを含む。方法は、第1の方向を向いているディスプレイから光を出力するための色温度を、第1の方向を向いている専用照明要素のための光出力特性、決定された周囲色温度、および被写体の所望の色温度に基づいて決定するステップをさらに含む。方法は、専用照明要素とディスプレイの両方を使用して、被写体を照明するステップをさらに含む。ディスプレイは、ディスプレイから光を出力するための決定された色温度に基づいて光を出力する。方法は、被写体が専用照明要素とディスプレイの両方を使用して照明されている間に、第1の方向を向いている画像センサを使用して、被写体の画像をキャプチャするステップをさらに含む。
【０００６】
本開示のまた別の態様は、被写体の周囲色温度を決定するための手段を備える、モバイルデバイスに関する。モバイルデバイスは、第1の方向を向いているディスプレイから光を出力するための色温度を、第1の方向を向いている専用照明要素のための光出力特性、決定された周囲色温度、および被写体の所望の色温度に基づいて決定するための手段をさらに備える。モバイルデバイスは、専用照明要素とディスプレイの両方を使用して、被写体を照明するための手段をさらに備える。ディスプレイは、ディスプレイから光を出力するための決定された色温度に基づいて光を出力する。モバイルデバイスは、被写体が専用照明要素とディスプレイの両方を使用して照明されている間に、第1の方向を向いている画像センサを使用して、被写体の画像をキャプチャするための手段をさらに備える。
【０００７】
本開示の別の態様は、実行されたとき、デバイスのプロセッサに、画像キャプチャのために被写体を照明するための方法を実行させる命令を記憶した非一時的コンピュータ可読媒体に関する。方法は、被写体の周囲色温度を決定するステップを含む。方法は、第1の方向を向いているディスプレイから光を出力するための色温度を、第1の方向を向いている専用照明要素のための光出力特性、決定された周囲色温度、および被写体の所望の色温度に基づいて決定するステップをさらに含む。方法は、専用照明要素とディスプレイの両方を使用して、被写体を照明するステップをさらに含む。ディスプレイは、ディスプレイから光を出力するための決定された色温度に基づいて光を出力する。方法は、被写体が専用照明要素とディスプレイの両方を使用して照明されている間に、第1の方向を向いている画像センサを使用して、被写体の画像をキャプチャするステップをさらに含む。
【図面の簡単な説明】
【０００８】
【図１】被写体を照明するために、単一の専用照明要素のみがフラッシュとして使用される場合の、光の色温度を示すグラフである。
【図２】被写体を照明するために、ディスプレイのみがフラッシュとして使用される場合の、光の色温度を示すグラフである。
【図３】被写体を照明するために、ディスプレイが別の専用照明要素と組み合わせてフラッシュとして使用される場合の、光の色温度の例を示すグラフである。
【図４】画像キャプチャデバイスの一例の機能ブロック図である。
【図５】画像キャプチャデバイスの一例の図である。
【図６】被写体のピクチャを撮影するために、被写体を照明するためのプロセスのためのフローチャートである。
【図７】画像キャプチャデバイスのディスプレイが、ピクチャの被写体を照明するために使用される、ピクチャを撮影するためのプロセスのためのフローチャートである。
【図８】被写体を照明するために、画像キャプチャデバイスから出力するべき色温度を決定するためのプロセスのためのフローチャートである。
【発明を実施するための形態】
【０００９】
本開示は、選択された色温度(たとえば、被写体の周囲色温度、特定の色温度、および/または被写体のための所望の色温度)(および場合によっては、被写体のための所望の輝度(luminance))に基づいて、画像キャプチャデバイス(たとえば、スマートフォン、タブレット、モバイルデバイス、ラップトップ、デジタルカメラなど)の前向き画像センサ(すなわち、ディスプレイと同じ方向を向いている画像センサ)によって撮影される写真の被写体(たとえば、物体、人物、風景など)を照明するためのシステムおよび方法に関する。画像センサは、本明細書でカメラと呼ばれることもある。いくつかの実施形態では、写真の被写体は、画像キャプチャデバイスのディスプレイ(たとえば、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)、アクティブマトリックスOLED(AMOLED)、干渉変調器ディスプレイなど)と、画像キャプチャデバイスの専用照明要素(たとえば、LED(発光ダイオード)ライト、キセノンライト、閃光管など)とを、フラッシュとして使用して照明され、組み合わせられたディスプレイと専用照明要素の光出力は、選択された色温度に基づく。
【００１０】
たとえば、いくつかの実施形態では、結合された光出力は、ほぼ、(たとえば、画像キャプチャデバイスによって測定されるような)被写体の周囲色温度であり得る。さらに、いくつかの実施形態では、結合された光出力は、ほぼ、画像キャプチャデバイスのユーザによって設定された特定の色温度など、特定の色温度であり得る。いくつかの他の実施形態では、結合された光出力は、被写体が、ほぼ被写体のための所望の色温度で照明されることを引き起こし得る。たとえば、ユーザは、被写体のための所望の色温度を選択し得、さらに、画像キャプチャデバイスは、被写体の周囲色温度を測定し得、結合された光出力は、ディスプレイ、専用照明要素、および被写体上にすでにある周囲光から出力された光の結合が、ほぼ被写体の所望の色温度であるように、選択され得る。
【００１１】
本明細書で使用する、「ほぼ」特定の色温度(たとえば、選択された色温度、所望の色温度、特定の色温度、周囲色温度など)であることは、特定の色温度の10%以内であることを指すことがある。さらに、「ほぼ」特定の輝度であることは、特定の輝度の10%以内であることを指すことがある。
【００１２】
いくつかの実施形態について、ピクチャ(「写真」とも呼ばれる)を撮影することに関して説明することに留意されたい。しかしながら、そのような技法はまた、本質的にいくつかのピクチャを次々に撮影することである、ビデオキャプチャに対しても容易に使用され得る。
【００１３】
光の色温度(たとえば、被写体の周囲色温度、特定の色温度、および/または被写体のための所望の色温度)は、一例では、相関色温度(CCT)として定義され得る。光のCCTレーティングは、ケルビン単位で測定された特定の絶対温度まで加熱された黒体放射体のものに出力される色に関係する光源のカラーアピアランスの測定値である。より低いケルビン値は、より赤みがかった色調をもつ「より暖かい」アピアランスに対応する。より高いケルビン値は、より青みがかった色調をもつ「より冷たい」アピアランスに対応する。
【００１４】
ハロゲンライト、白熱ライト、蛍光灯、太陽光、月光など、異なる光源が、被写体を照明するために使用され得る。これらの光源の各々は、被写体上に異なる色温度の光を出力し得る。次いで、被写体が、元の光源とは異なる色温度を有する追加の光源によってさらに照明される場合、被写体の外観は、望ましくなく変化し得る。たとえば、被写体は、被写体の画像キャプチャ中に、被写体をさらに照明するために、光源(たとえば、ディスプレイ、専用照明要素)をフラッシュとして使用することによって、さらに照明され得る。したがって、照明に関して本明細書で使用する「フラッシュ」という用語は、被写体の照明を全体的に与えている任意の光源に追加するものである、画像キャプチャプロセス中に被写体をさらに照明するために使用される光源の任意の組合せであり得る。
【００１５】
したがって、いくつかの実施形態では、画像キャプチャデバイスは、被写体のピクチャを撮影するために、どのように被写体をさらに照明するかを決定するために、被写体の周囲色温度を決定し得る。周囲色温度に一致する色温度を用いて、被写体をさらに照明することによって、画像キャプチャデバイス(たとえば、前向きカメラを使用して写真を撮影する、スマートフォン上で実行しているアプリケーション)によって撮影された写真のユーザエクスペリエンスおよび品質が改善され得る。具体的には、撮影された写真は、より実物にそっくりな色、および/またはより自然に見える肌の色合いを有し得る。
【００１６】
加えて、ユーザが、さらなる照明のための色温度を決定する、特定の色温度または所望の色温度を設定することができる実施形態では、ユーザは、撮影されて得られた写真上で、より創造的な制御を有することができる。具体的には、ユーザは、芸術的および/または興味深い配色を用いて、写真を撮影することが可能であり得る。
【００１７】
いくつかの実施形態では、画像キャプチャデバイスは、被写体の周囲色温度(および場合によっては、輝度)を決定するために、別個の1つまたは複数のセンサを含み得る。いくつかの実施形態では、被写体のピクチャを撮影するために使用される同じ画像センサはまた、ピクチャを撮影する前に被写体の画像をキャプチャし、周囲色温度(および場合によっては、輝度)を計算するためにも使用される。画像のキャプチャとピクチャの撮影との間の違いは、画像のキャプチャは、画像センサが、後に見直すために画像をピクチャとして記憶することなしに、画像をキャプチャすることを指し、ピクチャの撮影は、キャプチャされた画像が、後の見直しなどのために不揮発性メモリ内(たとえば、フラッシュベースのメモリなどのメモリ内)に追加として記憶されることを意味し得ることであり得る。不揮発性メモリ内に記憶されない、キャプチャされた画像(さらには、撮影されたピクチャ)は、何を画像センサがキャプチャ中であるかのプレビューを表示する、デバイスのディスプレイ上の画像プレビューなどの技法を処理すること、被写体の輝度を決定すること、画像センサによってキャプチャされている被写体のための周囲色温度を決定することなどを行うために使用され得る。
【００１８】
周囲色温度は、知られているイメージング技法(たとえば、RGB測光(RGB metering))を使用して決定され得る。たとえば、いくつかの実施形態は、キャプチャされた画像の被写体の前景に対応するピクセルと、背景に対応するピクセルとを決定し、背景ピクセルを分析して、色温度を決定することができる。さらに、いくつかの実施形態では、キャプチャされた周囲光のR/G(赤対緑)比およびB/G(青対緑)比が、画像キャプチャデバイスによって使用されて、被写体の照明のための所望の周囲色温度または所望の色温度で、被写体のピクチャを撮影するために、専用照明要素および/またはディスプレイのための光の周囲色温度および/または適切な出力(たとえば、色温度、輝度など)が決定される。
【００１９】
画像キャプチャデバイスは、知られている技法(たとえば、RGB測光)を使用して、被写体の輝度レベルを決定するようにさらに構成され得る。たとえば、いくつかの実施形態は、被写体のキャプチャされた画像の輝度を測定する。決定された輝度レベルは、画像キャプチャデバイスによって、被写体のための所望の輝度レベルと比較され得、画像キャプチャデバイスは、所望の輝度レベルで被写体のピクチャを撮影するために、専用照明要素および/またはディスプレイのための適切な出力(たとえば、色温度、輝度など)を決定し得る。いくつかの実施形態では、被写体の照明のための決定された周囲色温度と、所望の輝度レベルの両方が、本明細書でさらに説明するように、画像キャプチャデバイスの専用照明要素および/またはディスプレイのための出力(たとえば、色温度、輝度など)を決定するために使用され得ることに留意されたい。具体的には、画像キャプチャデバイスの専用照明要素およびディスプレイは、本明細書で説明するように、異なる色温度および/または輝度で光を出力するように構成され得る。
【００２０】
図1は、被写体を照明するために、単一の専用照明要素のみがフラッシュとして使用される場合の、光の色温度を示すグラフ100である。x軸は光のR/G比を表し、y軸はB/G比を表す。点105は、単一の専用照明要素(たとえば、およびLEDライト)によって生じた色温度を表す。図示のように、点105における色温度は、ほぼ4000K〜5000Kの間のどこかである。しかしながら、専用照明要素が、任意の特定の色温度を有するように作成され得ることに留意されたい。ただし、この色温度は一定のままであり、画像キャプチャデバイスに組み込まれた後、変更することはできない。
【００２１】
残りの点は、いくつかの他の典型的な光源の色温度である。凡例に示されているように、点は、ケルビン単位の特定のCCTに対応する、CCTのための科学的な略記(たとえば、D75)を使用して記載されている。見てわかるように、単一の専用照明要素は、多数の典型的な光源と同じ色温度の光を生じることができない。たとえば、画像キャプチャデバイスの専用照明要素(たとえば、LED(発光ダイオード)ライト、キセノンライト、閃光管など)は、単一の色温度のみで光を出力することが可能であり得る。ただし、専用照明要素は、異なる輝度レベルで光を出力することが可能であり得る。さらに、異なる色温度で光を出力する複数の専用照明要素があり得、複数の専用照明要素のための異なる輝度レベルの異なる組合せが、複数の専用照明要素から出力される結合された光のための限られた数の異なる色温度を作成するために使用され得る。しかしながら、場合によっては、複数の専用照明要素を含めることは、法外な設計またはコストを要することがある。たとえば、複数の専用照明要素を含めて、依然として画像キャプチャデバイスを美的に感じのよいものにするために、画像キャプチャデバイスのディスプレイ側に十分なスペースがないことがある。
【００２２】
図2は、被写体を照明するために、ディスプレイ(たとえば、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)、アクティブマトリックスOLED(AMOLED)、干渉変調器ディスプレイなど)のみがフラッシュとして使用される場合の、光の色温度を示すグラフ200である。x軸は光のR/G比を表し、y軸はB/G比を表す。ディスプレイは、典型的な光源の色温度(グラフ上の点として示される)を含む、実質的にすべての色温度(エリア205によって示されている)を表すことが可能であり得る。さらに、ディスプレイの輝度レベルは変動され得る。たとえば、画像キャプチャデバイスのディスプレイは、ディスプレイの表面エリア全体にわたってほぼ均一である(たとえば、ディスプレイにおけるいくつかの不完全性または設計特徴は、出力が厳密に均一であるとは限らないことを意味し得るが、たとえば、ディスプレイ全体にわたる色温度および/または輝度の5%以内であり得る)色温度および/または輝度で光を出力し得る。他の例では、ディスプレイは、ディスプレイの表面エリアにわたって異なる色温度および輝度で光を出力し得る。たとえば、ディスプレイは、任意の形状またはサイズ(たとえば、背景上の矩形グリッド、正方形パターン、円など)の領域(すなわち、エリア)に分割され得る。各領域、または領域の異なるグループは、ディスプレイの異なる領域から出力される結合された光が、所望の輝度および色温度(たとえば、被写体の周囲色温度)を有するように、異なる色温度および/または輝度で光を出力し得る。
【００２３】
しかしながら、ディスプレイは、高輝度を出力することが可能ではないことがある(たとえば、ディスプレイの最大ルーメン出力が制限され得る)。したがって、ディスプレイのみでは、いくつかの状況では、被写体を照明するために十分な光を出力することが可能ではないことがある。
【００２４】
図3は、被写体を照明するために、ディスプレイが別の専用照明要素と組み合わせてフラッシュとして使用される場合の、光の色温度の例を示すグラフ300である。x軸は光のR/G比を表し、y軸はB/G比を表す。点305は、専用照明要素によって生じた色温度を表す。点310A、310B、および310Cは、ディスプレイが(たとえば、均一に、または結合された領域に基づいて)それにおいて光を出力するように設定され得る、異なる色温度を表す。
【００２５】
被写体を照明するために、ディスプレイおよび専用照明要素の組合せをフラッシュとして使用することで、ディスプレイのみをフラッシュとして使用することに比較して、フラッシュのためのより高い出力輝度をも与えながら、色温度が本明細書で説明する光出力のために調整されることが可能になり得る。たとえば、(たとえば、スマートフォンにおける)ディスプレイは、ほぼ350ルーメン(たとえば、120度の視野角および1メートルの距離において、ほぼ120ルクス)の光出力を有し得る。加えて、ディスプレイは、ほぼ700ルーメン(たとえば、120度の視野角および1メートルの距離において、ほぼ240ルクス)など、より高い出力で光を瞬間的に出力することが可能であり得る。対照的に、専用照明要素は、ほぼ1000ルーメン(たとえば、120度の視野角および1メートルの距離において、ほぼ300ルクス)の光出力を有し得る。したがって、ディスプレイのみをフラッシュとして使用することは、専用照明要素ほど、被写体を照明する際に効果的ではないことがある(たとえば、それほど被写体から遠距離で被写体を照明することが可能ではないことがある)。さらに、専用照明要素のみをフラッシュとして使用すると、光出力の色温度が調整されることが可能にならない。しかしながら、本明細書で説明するように、ディスプレイおよび専用照明要素の使用を組み合わせることによって、光出力の色温度が調整され得、ディスプレイのみ、さらには単に専用照明要素のみよりも、高い輝度(たとえば、ほぼ1700ルーメン(たとえば、120度の視野角および1メートルの距離において、ほぼ540ルクス))で、光が出力され得る。これによって、被写体がより遠い距離で照明されることが可能になり、それによって、ディスプレイのみ、さらには専用照明要素のみの使用よりも遠い距離から、画像キャプチャデバイスによって、画像が照明およびキャプチャされることが可能になり得る。たとえば、1メートルの距離において、フラッシュとして使用されるディスプレイおよび専用照明要素の組合せの光出力は、ほぼ540ルクスであり得、ほぼ540ルクスは、フラッシュとして使用される専用照明要素のみの300ルクスよりもほぼ80%高く、フラッシュとして使用されるディスプレイのみの240ルクスよりも125%高い。
【００２６】
図2に関して説明したように、ディスプレイは、エリア205内の実質的にすべての色温度に設定され得る。線315A、315B、および315Cは、それぞれ、点310A、310B、および310Cによって示されるような色温度を用いて光を出力するように設定されるときの、専用照明要素およびディスプレイの出力を結合することによって可能である、光出力の色温度を表す。所与の線315A〜Cに沿った、専用照明要素およびディスプレイの組合せによって出力される光の色温度は、(たとえば、均一に、または結合された領域に基づいて)専用照明要素およびディスプレイから出力される光の輝度の比を調整することによって達成され得る。たとえば、専用照明要素の輝度の、ディスプレイの輝度に対する比が高いほど、結合された光出力の色温度は、専用照明要素の色温度(たとえば、点305)に近くなる。さらに、専用照明要素の輝度の、ディスプレイの輝度に対する比が低いほど、結合された光出力の色温度は、ディスプレイの色温度(たとえば、点310A〜310C)に近くなる。したがって、ディスプレイおよび専用照明要素の輝度、ならびにディスプレイの光出力の色温度が、所望の色温度および輝度の光出力を作成するために調整され得る。
【００２７】
いくつかの実施形態では、ディスプレイの専用照明要素に対する輝度の比、および(たとえば、均一に、または結合された領域に基づく)ディスプレイの色温度は、公式に基づいており、所与の特定の色温度(たとえば、点320)、または決定された周囲色温度(たとえば、および場合によっては、結合された光出力のための所望の輝度)のために、画像キャプチャデバイスによって計算される。たとえば、ディスプレイの専用照明要素に対する輝度の比、およびディスプレイの色温度が、決定された周囲色温度に基づく場合、それらは、結合された光出力が周囲色温度(たとえば、点330)と同じ色温度を有するように、または、周囲光とともに結合された光出力が被写体のための所望の色温度(たとえば、点340)を有するように、設定され得る。
【００２８】
いくつかの実施形態では、テーブル(または、データを関係付ける他のデータ構造)が、画像キャプチャデバイスのメモリ内に記憶され、テーブルは、特定の色温度または決定された周囲色温度(たとえば、および場合によっては、結合された光出力のための所望の輝度)に基づく、ディスプレイの専用照明要素に対する輝度の比、および(たとえば、均一に、または結合された領域に基づく)ディスプレイの色温度を示す。異なる輝度および/または色温度の結合された領域が、ディスプレイからの出力のために使用される場合、所与の輝度および/または色温度のためにディスプレイによって出力されるべきパターンがあらかじめ決定され、画像キャプチャデバイスにおいて出力のためのパターンとして記憶され得る。
【００２９】
いくつかの実施形態では、専用照明要素とディスプレイとの間の輝度の比を設定し、ピクチャを撮影する前にディスプレイの色温度を設定するために、画像キャプチャデバイスは、ディスプレイの推定された輝度の比および推定された色温度において、専用照明要素およびディスプレイをオンにし得る。推定された値は、特定の色温度、または被写体の決定された周囲色温度に基づき、説明したように、テーブルまたは公式を使用して決定され得る。画像キャプチャデバイスは、(たとえば、周囲色温度を決定するために使用されるような同様の技法に従って)専用照明要素およびディスプレイの結合された光出力を検出すること、ならびに、結合された光出力が、特定の色温度、決定された周囲色温度、または被写体のための所望の色温度に等しくないと決定される場合、専用照明要素の輝度、ディスプレイの輝度、および/またはディスプレイの色温度を調整することを行うように構成され得る。画像キャプチャデバイスは、不一致が解消されるまで、専用照明要素の輝度、ディスプレイの輝度、および/またはディスプレイの色温度を調整することを続けるように構成され得る。たとえば、画像キャプチャデバイスは、間欠的にまたは継続的に調整を行い、結合された光出力の色温度を決定し得る。
【００３０】
いくつかの実施形態では、プレビューモードでは、プレビュー画像が画像キャプチャデバイスのディスプレイ上に表示され、プレビュー画像は、ピクチャが画像キャプチャデバイスによって撮影されるまで、画像センサデバイスによってキャプチャされた現在の画像を示す。ピクチャが画像キャプチャデバイスによって撮影されている時間において、ディスプレイは、本明細書で説明するように、適切な色温度(および場合によっては、輝度)を用いて被写体を照明するために出力された光を用いて、画像キャプチャ中にフラッシュし、キャプチャされた画像をピクチャとして記憶し、次いで、ディスプレイ上で画像(たとえば、別のプレビュー画像、記憶されたピクチャの画像など)を表示することに戻り得る。
【００３１】
図4は、画像キャプチャデバイス400の機能ブロック図である。たとえば、画像キャプチャデバイス400は、スマートフォン、デジタルカメラなどを含む、任意の適切な画像キャプチャデバイスに対応し得る。画像キャプチャデバイス400は、図1〜図3に関して説明した教示を含む、本明細書で説明する教示の一部または全部を実装するように構成され得る。たとえば、画像キャプチャデバイス400は、被写体の光の周囲色温度を決定すること、被写体の輝度を決定すること、被写体の所望の輝度を決定すること、画像をキャプチャすること、ピクチャを撮影すること、画像のプレビューを表示すること、画像キャプチャデバイスの専用照明要素の光出力(たとえば、色温度、輝度など)を決定すること、画像キャプチャデバイスのディスプレイの光出力(たとえば、色温度、輝度など)を決定することなどを行うように構成され得る。
【００３２】
画像キャプチャデバイス400は、メモリ420とデータ通信しているプロセッサ410と、入出力インターフェース430とを含む。入出力インターフェース430は、ディスプレイ440(たとえば、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)、アクティブマトリックスOLED(AMOLED)など)、および画像センサ405(たとえば、電荷結合デバイス(CCD)、相補型金属酸化膜半導体(CMOS)など)とさらにデータ通信している。入出力インターフェース430はまた、専用照明要素(たとえば、LED(発光ダイオード)ライト、キセノンライト、閃光管など)ともデータ通信中であり得る。プロセッサ410は、ネットワークインターフェース460とさらにデータ通信している。別個に説明するが、画像キャプチャデバイス400に関して説明する機能ブロックは、個別の構造要素である必要はないことを諒解されたい。たとえば、プロセッサ410およびメモリ420は単一のチップの中で具現化され得る。同様に、プロセッサ410、およびネットワークインターフェース460のうちの2つ以上は、単一のチップの中で具現化され得る。画像キャプチャデバイス400は、本明細書で説明する機能を実行するように構成され得る。たとえば、プロセッサ410は、本明細書で説明する機能およびプロセスを画像キャプチャデバイス400に実行させる、メモリ420内に記憶された命令を実行するように構成され得る。
【００３３】
プロセッサ410は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の好適な組合せであり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成としても実装され得る。
【００３４】
プロセッサ410は、メモリ420から情報を読み取るため、またはメモリ420に情報を書き込むために、1つまたは複数のバスを介して結合され得る。プロセッサは、追加または代替として、プロセッサレジスタなどのメモリを含むことができる。メモリ420は、異なるレベルが異なる容量およびアクセス速度を有するマルチレベル階層型キャッシュを含む、プロセッサキャッシュを含むことができる。メモリ420はまた、ランダムアクセスメモリ(RAM)、他の揮発性記憶デバイス、または不揮発性記憶デバイスを含むことができる。記憶装置には、ハードドライブ、コンパクトディスク(CD)またはデジタルビデオディスク(DVD)などの光ディスク、フラッシュメモリ、フロッピーディスク、磁気テープ、およびZipドライブが含まれ得る。
【００３５】
プロセッサ410はまた、画像キャプチャデバイス400に接続されたデバイスから入力を受信するため、および画像キャプチャデバイス400に接続されたデバイスに出力を提供するために、入出力インターフェース430にも結合される。そのようなデバイスの例には、限定はしないが、キーボード、ボタン、キー、スイッチ、ポインティングデバイス、マウス、ジョイスティック、リモートコントロール、赤外線検出器、カメラセンサ(たとえば、センサ405)、DVDプレーヤ、ブルーレイプレーヤ、動き検出器、(場合によっては、たとえば、音声コマンドを検出するために、オーディオ処理ソフトウェアに結合される)マイクロフォン、ディスプレイおよびプリンタを含むタッチスクリーンディスプレイ(たとえば、ディスプレイ440)などの視覚出力デバイス、スピーカー、ヘッドフォン、イヤフォン、およびアラームを含むオーディオ出力デバイス、ならびに、フォースフィードバックゲームコントローラおよび振動デバイスを含むハプティック出力デバイスが含まれる。入出力インターフェース430は、1つまたは複数のプロトコルを使用して、ワイヤレスに、またはワイヤード接続を通して、デバイスと通信し得、限定はしないが、ユニバーサルシリアルバス(USB)、FireWire、Thunderbolt、Light Peak、デジタルビデオインターフェース(DVI)、高解像度マルチメディアインターフェース(HDMI(登録商標))、ビデオグラフィックスアレイ(VGA)、周辺構成要素相互接続(PCI)などが含まれる。
【００３６】
プロセッサ410は、ネットワークインターフェース460にさらに結合される。ネットワークインターフェース460は、1つまたは複数のモデムを備え得る。ネットワークインターフェース460は、プロセッサ410によって生成されたデータを、ネットワークまたは別のデバイスへの送信のために準備する。ネットワークインターフェース460はまた、ネットワークを介して受信されたデータを復調し得る。ネットワークインターフェース460は、送信機、受信機、または両方(たとえば、トランシーバ)を含み得る。他の実施形態では、送信機および受信機は、2つの別個の構成要素である。ネットワークインターフェース460は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の好適な組合せとして具現化され得る。ネットワークインターフェース460は、ワイヤードインターフェース(たとえば、イーサネット(登録商標)、ローカルエリアネットワーク(LAN)など)、および/またはワイヤレスインターフェース(たとえば、ロングタームエボリューション(LTE)、ワイヤレスローカルエリアネットワーク(WLAN)、WiFi、符号分割多元接続(CDMA)、モバイル通信用グローバルシステム(GSM(登録商標))、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMax)、Bluetooth(登録商標)など)であり得る。
【００３７】
図5は、例示的な画像キャプチャデバイス500の図である。画像キャプチャデバイス500は、いくつかの実施形態では、画像キャプチャデバイス400に対応し得る。図示のように、画像キャプチャデバイス500は、スマートフォンタイプのデバイスである。画像キャプチャデバイス500は、画像センサ505(たとえば、電荷結合デバイス(CCD)、相補型金属酸化膜半導体(CMOS)など)と、ディスプレイ540(たとえば、タッチスクリーン入力をもつ液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)、アクティブマトリックスOLED(AMOLED)など)と、専用照明要素545(たとえば、LED(発光ダイオード)ライト、キセノンライト、閃光管など)とを含む。見てわかるように、画像センサ505、ディスプレイ540、および専用照明要素545は、すべて同じ方向を向いている。内部で、画像キャプチャデバイス500は、画像キャプチャデバイス400に関して説明した機能を実行する、画像キャプチャデバイス400に関して説明した構成要素のうちの1つまたは複数など、他の構成要素を有し得る。たとえば、画像キャプチャデバイス500は、図1〜図4に関して説明した教示を含む、本明細書で説明する教示の一部または全部を実装するように構成され得る。たとえば、画像キャプチャデバイス500は、被写体の光の周囲色温度を決定すること、被写体の輝度を決定すること、被写体の所望の輝度を決定すること、画像をキャプチャすること、ピクチャを撮影すること、画像のプレビューを表示すること、画像キャプチャデバイスの専用照明要素の光出力(たとえば、色温度、輝度など)を決定すること、画像キャプチャデバイスのディスプレイの光出力(たとえば、色温度、輝度など)を決定することなどを行うように構成され得る。
【００３８】
図6は、被写体のピクチャを撮影するために、被写体を照明するためのプロセス600のためのフローチャートである。オプションのブロック605で、画像キャプチャデバイスを使用して撮影されるべきピクチャの被写体の周囲色温度が決定され得る。たとえば、いくつかの実施形態では、画像キャプチャデバイス上のセンサは、被写体の周囲色温度を直接測定し得る。いくつかの他の実施形態では、画像キャプチャデバイスの画像センサは、被写体の画像をキャプチャし、キャプチャされた画像に基づいて、被写体の周囲色温度を決定し得る。
【００３９】
オプションのブロック610で、被写体の輝度が決定され得る。たとえば、被写体の輝度は、画像キャプチャデバイス上のセンサを使用して測定され得る。別の例では、輝度は、画像キャプチャデバイスによってキャプチャされた被写体の画像における輝度の測定に基づいて決定され得る。
【００４０】
別のオプションのブロック615で、被写体のための所望の輝度が、(たとえば、ユーザによって、またはあらかじめ決定された所望の輝度に基づいて自動的に)画像キャプチャデバイスにおいて選択され得る。
【００４１】
さらに、ブロック620で、画像センサと同じ方向を向いているディスプレイから光を出力するための色温度および輝度が決定される。場合によっては、画像キャプチャデバイスの専用照明要素の輝度が調整可能である場合、専用照明要素のための輝度もまた決定される。具体的には、いくつかの実施形態では、ディスプレイから光を出力するための色温度は、光出力のために(たとえば、ユーザによって)選択された特定の色温度、ならびに専用照明要素によって出力された光の輝度および色温度に基づく。そのような実施形態では、ディスプレイから光を出力するための決定された色温度は、組み合わせられた専用照明要素およびディスプレイからの光出力が特定の色温度にほぼ等しくなるように選択され得る。いくつかの実施形態では、ディスプレイから光を出力するための色温度は、被写体の決定された周囲色温度と、専用照明要素によって出力された光の輝度および色温度とに基づいて決定される。いくつかの実施形態では、ディスプレイから光を出力するための決定された色温度は、組み合わせられた専用照明要素およびディスプレイからの光出力が被写体の決定された周囲色温度にほぼ等しくなるように選択され得る。いくつかの実施形態では、ディスプレイから光を出力するための決定された色温度は、組み合わせられた被写体上の周囲光とともに専用照明要素およびディスプレイからの光出力が、被写体のための所望の色温度にほぼ等しくなるように選択され得る。
【００４２】
さらに、いくつかの例では、ディスプレイおよび/または専用照明要素のための輝度は、プリセットされ得、(たとえば、ユーザによって)選択可能であり得、または、専用照明要素およびディスプレイから出力された結合された光が、被写体のための所望の輝度まで被写体が照明されることを引き起こすように、決定され得る。たとえば、画像キャプチャデバイスは、ディスプレイからの照明なしに、被写体の決定された輝度に基づいて、被写体の所望の輝度を得るために、ディスプレイから必要とされる追加の光出力の量を決定するように構成され得る。したがって、画像キャプチャデバイスは、決定された、必要とされる追加の光出力の量に基づいて、専用照明要素およびディスプレイから光を出力するための輝度を決定するように構成され得る。
【００４３】
いくつかの実施形態では、ディスプレイおよび専用照明要素から光を出力するための色温度および輝度は、公式に基づいて、またはルックアップテーブルを使用することによって決定され得る。さらに、ディスプレイから光を出力するための色温度および輝度は、ディスプレイのほぼ表面全体から光を出力するための均一な色温度、または、その色温度および輝度における結合された光出力を有する、ディスプレイから出力される特定のパターンであり得る。
【００４４】
ブロック625で継続すると、ディスプレイは、決定された色温度および輝度で光を出力するように構成され得、専用照明要素は、(場合によっては、決定された輝度で)光を出力し、被写体を照明するように構成され得る。ブロック630で、画像キャプチャデバイスは、照明された被写体の画像をキャプチャする(または、ピクチャを撮影する)ように構成され得る。
【００４５】
図7は、画像キャプチャデバイスのディスプレイが、ピクチャの被写体を照明するために使用される、ピクチャを撮影するためのプロセス700のためのフローチャートである。たとえば、プロセス700は、(たとえば、ブロック630を実行するために)プロセス600のようなプロセスとともに使用され得る。ブロック705で、画像キャプチャデバイスのディスプレイと同じ方向を向いている画像センサが、被写体の画像をキャプチャするように構成され得る。さらに、ブロック710で、被写体のキャプチャされた画像が、(たとえば、プレビューモードで)ディスプレイ上に表示され得る。
【００４６】
ブロック715で継続すると、被写体のピクチャを撮影するための入力が、画像キャプチャデバイスにおいて受信され得る。ブロック720で、ディスプレイは、被写体のキャプチャされた画像を表示することを停止し、ピクチャの被写体を照明するために、(たとえば、プロセス600に関して説明したように、決定された色温度および輝度に従って)光を出力する。場合によっては、画像キャプチャデバイスの専用照明要素もまた、ピクチャの被写体を照明し得る。
【００４７】
さらに、ブロック725で、画像キャプチャデバイスは、被写体が照明されるとき、被写体の画像をキャプチャし、キャプチャされた画像を撮影されたピクチャとして記憶する。
【００４８】
オプションのブロック730で、ディスプレイ(および場合によっては、専用照明要素)は、被写体を照明することを停止し、(たとえば、撮影されたピクチャ、プレビュー画像などの)新しい画像が、ディスプレイ上に表示される。
【００４９】
図8は、被写体を照明するために、画像キャプチャデバイスから出力するべき色温度を決定するためのプロセス800のためのフローチャートである。たとえば、プロセス800は、(たとえば、ブロック610および620の実行を助けるために)プロセス600のようなプロセスとともに使用され得る。
【００５０】
ブロック805で、被写体を照明するための色温度(および場合によっては、輝度)が、(たとえば、プロセス600に関してを含む、本明細書で説明したような技法に基づいて)決定される。さらに、ブロック810で、光が、画像キャプチャデバイスのディスプレイ(および場合によっては、画像キャプチャデバイスの専用照明要素)から、推定された色温度および/または輝度で出力される。推定された色温度および/または輝度は、本明細書で説明するように、被写体を照明するための決定された色温度(および場合によっては、輝度)に基づき得る。ブロック815で継続して、画像キャプチャデバイスの画像センサは、照明された被写体の画像をキャプチャする。
【００５１】
さらに、ブロック820で、画像キャプチャデバイスは、キャプチャされた画像における被写体の色温度および/または輝度が、被写体を照明するための決定された色温度(および場合によっては、輝度)にほぼ等しいか否かを決定する。ブロック820で、画像キャプチャデバイスが、キャプチャされた画像における被写体の色温度および/または輝度が、被写体を照明するための決定された色温度(および場合によっては、輝度)にほぼ等しいと決定する場合、ディスプレイデバイス(および場合によっては、画像キャプチャデバイスの専用照明要素)からの光出力のための推定された色温度および/または輝度が、被写体のピクチャを撮影するために使用されるように設定される。
【００５２】
ブロック820で、画像キャプチャデバイスが、キャプチャされた画像における被写体の色温度および/または輝度が、被写体を照明するための決定された色温度(および場合によっては、輝度)にほぼ等しくないと決定する場合、プロセスはブロック825に進む。ブロック825で、ディスプレイの輝度および/または色温度(および場合によっては、専用照明要素の輝度)が、キャプチャされた画像における被写体の決定された色温度および/または輝度と、被写体を照明するための決定された色温度(および場合によっては、輝度)との間の差分に基づいて調整される。次いで、プロセス800はブロック820に戻る。
【００５３】
プロセス600〜800のいずれかおよびすべては、実行され得るプロセスの例であることに留意されたい。他の同様のプロセスもまた本明細書の教示に従って実行され得ることを、当業者は理解されよう。たとえば、プロセス600〜800の1つまたは複数のブロックが、追加、除去、かつ/または実行される順序において変更され得る。
【００５４】
プロセス600〜800のいずれかおよびすべては、本明細書で説明した画像キャプチャデバイス400および500のいずれかなど、画像キャプチャデバイスによって実行され得る。いくつかの実施形態では、プロセス600〜800は、画像キャプチャデバイス上のハードウェアおよび/またはソフトウェア(たとえば、プロセッサ、画像センサ、ディスプレイ、専用照明要素、メモリなど)によって実行され得る。たとえば、本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアおよびソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、上では全般的にそれらの機能に関して説明した。そのような機能がハードウェアとして実装されるのか、それともソフトウェアとして実装されるのかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装決定は、本発明の範囲からの逸脱を引き起こすものと解釈されるべきではない。
【００５５】
本明細書で説明した技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、デジタルカメラ、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明した任意の特徴が、集積論理デバイスの中で一緒に、または個別であるが相互動作可能な論理デバイスとして別個に実装され得る。ソフトウェアで実装される場合、技法は、実行されたとき、上記で説明した方法の1つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ(SDRAM)などのランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM)、フラッシュメモリ、磁気または光データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。技法は、追加または代替として、伝搬される信号または波などの、命令またはデータ構造の形態でプログラムコードを搬送または通信し、コンピュータによってアクセスされ、読み取られ、かつ/または実行され得る、コンピュータ可読通信媒体によって少なくとも部分的に実現され得る。
【００５６】
プログラムコードは、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価な集積論理回路もしくは個別論理回路などの、1つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明した技法のうちのいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成としても実装され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書で説明した技法の実装に好適な任意の他の構造もしくは装置のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアモジュールもしくはハードウェアモジュール内に設けられるか、または組み合わせられたビデオエンコーダ/デコーダ(コーデック)に組み込まれ得る。
【００５７】
本明細書で説明したコーディング技法は、例示的なビデオ符号化および復号システムにおいて実施され得る。システムは、宛先デバイスによって後で復号されるべき符号化ビデオデータを提供するソースデバイスを含む。具体的には、ソースデバイスは、コンピュータ可読媒体を介して宛先デバイスにビデオデータを提供する。ソースデバイスおよび宛先デバイスは、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。場合によっては、ソースデバイスおよび宛先デバイスは、ワイヤレス通信のために装備され得る。
【００５８】
宛先デバイスは、復号されるべき符号化ビデオデータを、コンピュータ可読媒体を介して受信し得る。コンピュータ可読媒体は、ソースデバイスから宛先デバイスへ符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体は、ソースデバイスが符号化ビデオデータをリアルタイムで宛先デバイスに直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され得、宛先デバイスへ送信され得る。通信媒体は、無線周波数(RF)スペクトル、または1つもしくは複数の物理伝送線路など、任意のワイヤレス通信媒体またはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイスから宛先デバイスへの通信を容易にするために有用であり得る任意の他の機器を含み得る。
【００５９】
いくつかの例では、符号化データは、出力インターフェースから記憶デバイスに出力され得る。同様に、符号化データは、入力インターフェースによって、記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、ブルーレイディスク、DVD、CD-ROM、フラッシュメモリ、揮発性メモリもしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、分散されるかまたは局所的にアクセスされる様々なデータ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイスは、ソースデバイスによって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイスは、ストリーミングまたはダウンロードを介して記憶デバイスから記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイスに送信することが可能な、任意のタイプのサーバであり得る。例示的なファイルサーバは、ウェブサーバ(たとえば、ウェブサイトのための)、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブを含む。宛先デバイスは、インターネット接続を含む任意の標準的なデータ接続を通じて符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに適した、ワイヤレスチャネル(たとえば、Wi-Fi接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、またはその両方の組合せを含み得る。記憶デバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
【００６０】
本開示の技法は、必ずしもワイヤレスの適用例または設定に限定されるとは限らない。技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上へ符号化されるデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のうちのいずれかをサポートする際にビデオコーディングに適用され得る。いくつかの例では、システムは、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオ電話などの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
【００６１】
一例では、ソースデバイスは、ビデオソースと、ビデオエンコーダと、出力インターフェースとを含む。宛先デバイスは、入力インターフェースと、ビデオデコーダと、ディスプレイデバイスとを含み得る。ソースデバイスのビデオエンコーダは、本明細書で開示する技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。たとえば、ソースデバイスは、外部のカメラのような外部のビデオソースからビデオデータを受信し得る。同様に、宛先デバイスは、統合されたディスプレイデバイスを含むのではなく、外部のディスプレイデバイスとインターフェースし得る。
【００６２】
述べたように、コンピュータ可読媒体は、ワイヤレスブロードキャスト送信もしくはワイヤードネットワーク送信などの一時的媒体、または、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、もしくは他のコンピュータ可読媒体などの記憶媒体(すなわち、非一時的記憶媒体)を含み得る。いくつかの例では、ネットワークサーバ(図示せず)は、ソースデバイスから符号化ビデオデータを受信し得、符号化ビデオデータを、たとえば、ネットワーク送信を介して宛先デバイスに提供し得る。同様に、ディスクスタンピング施設などの媒体生産施設のコンピューティングデバイスは、ソースデバイスから符号化ビデオデータを受信し得、符号化ビデオデータを含むディスクを生産し得る。したがって、コンピュータ可読媒体は、様々な例において、様々な形式の1つまたは複数のコンピュータ可読媒体を含むものと理解され得る。宛先デバイスの入力インターフェースは、コンピュータ可読媒体から情報を受信する。ディスプレイデバイスは、復号ビデオデータをユーザに表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなどの、様々なディスプレイデバイスのいずれかを備え得る。本発明の様々な実施形態について説明した。
【符号の説明】
【００６３】
105、305、310A、310B、310C、320、330、340  点
205  エリア
315A、315B、315C  線
400、500  画像キャプチャデバイス
405  画像センサ、センサ
410  プロセッサ
420  メモリ
430  入出力インターフェース
440、540  ディスプレイ
460  ネットワークインターフェース
505  画像センサ
545  専用照明要素
【図１】
2019501406.tif 000003
【図２】
2019501406.tif 000004
【図３】
2019501406.tif 000005
【図４】
2019501406.tif 000006
【図５】
2019501406.tif 000007
【図６】
2019501406.tif 000008
【図７】
2019501406.tif 000009
【図８】
2019501406.tif 000010
【手続補正書】
【提出日】平成30年5月10日(2018.5.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
モバイルデバイスであって、
メモリと、
プロセッサと
を備え、前記プロセッサが、
被写体の周囲色温度を決定すること、
第1の方向を向いているディスプレイから光を出力するための色温度を、前記第1の方向を向いている専用照明要素のための光出力特性、前記決定された周囲色温度、および前記被写体の所望の色温度に基づいて決定すること、
前記専用照明要素と前記ディスプレイの両方を使用して、前記被写体を照明することであって、前記ディスプレイが、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力する、照明すること、および
前記被写体が前記専用照明要素と前記ディスプレイの両方を使用して照明されている間に、前記第1の方向を向いている画像センサを使用して、前記被写体の画像をキャプチャすること
を行うように構成される、モバイルデバイス。
【請求項２】
前記ディスプレイが、前記ディスプレイの表面エリア全体にわたってほぼ均一に光を出力することによって、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力する、請求項1に記載のモバイルデバイス。
【請求項３】
前記ディスプレイが、第1のパラメータに従って前記ディスプレイの第1のエリアから光を出力すること、および、第2のパラメータに従って前記ディスプレイの第2のエリアから光を出力することを含む、複数のエリアから光を出力することによって、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力し、前記複数のエリアから出力された結合された光が、前記ディスプレイから光を出力するための前記決定された色温度に基づく、請求項1に記載のモバイルデバイス。
【請求項４】
前記プロセッサが、前記専用照明要素のために利用可能な複数の光出力特性から、前記専用照明要素のための前記光出力特性を選択するようにさらに構成される、請求項1に記載のモバイルデバイス。
【請求項５】
前記光出力特性が、前記専用照明要素のための色温度および輝度のうちの少なくとも1つである、請求項4に記載のモバイルデバイス。
【請求項６】
前記プロセッサが、前記専用照明要素のための前記光出力特性、前記決定された周囲色温度、および前記被写体の前記所望の色温度に基づいて、前記ディスプレイから光を出力するための輝度を決定するようにさらに構成される、請求項1に記載のモバイルデバイス。
【請求項７】
前記プロセッサが、前記被写体を照明するより前に、前記ディスプレイ上で前記被写体のプレビューを表示すること、次いで、前記被写体を照明し、前記被写体の前記画像をキャプチャすること、および、前記被写体の前記画像のキャプチャに続いて、前記ディスプレイ上で前記被写体の別のプレビューの表示を引き起こすことを行うようにさらに構成される、請求項1に記載のモバイルデバイス。
【請求項８】
前記被写体のための前記所望の色温度が、ユーザによって選択可能である、請求項1に記載のモバイルデバイス。
【請求項９】
前記所望の色温度が、前記決定された周囲色温度である、請求項1に記載のモバイルデバイス。
【請求項１０】
画像キャプチャのために被写体を照明するための方法であって、
被写体の周囲色温度を決定するステップと、
第1の方向を向いているディスプレイから光を出力するための色温度を、前記第1の方向を向いている専用照明要素のための光出力特性、前記決定された周囲色温度、および前記被写体の所望の色温度に基づいて決定するステップと、
前記専用照明要素と前記ディスプレイの両方を使用して前記被写体を照明するステップであって、前記ディスプレイが、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力する、ステップと、
前記被写体が前記専用照明要素と前記ディスプレイの両方を使用して照明されている間に、前記第1の方向を向いている画像センサを使用して、前記被写体の画像をキャプチャするステップと
を含む方法。
【請求項１１】
前記ディスプレイが、前記ディスプレイの表面エリア全体にわたってほぼ均一に光を出力することによって、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力する、請求項10に記載の方法。
【請求項１２】
前記ディスプレイが、第1のパラメータに従って前記ディスプレイの第1のエリアから光を出力すること、および、第2のパラメータに従って前記ディスプレイの第2のエリアから光を出力することを含む、複数のエリアから光を出力することによって、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力し、前記複数のエリアから出力された結合された光が、前記ディスプレイから光を出力するための前記決定された色温度に基づく、請求項10に記載の方法。
【請求項１３】
前記専用照明要素のために利用可能な複数の光出力特性から、前記専用照明要素のための前記光出力特性を選択するステップをさらに含む、請求項10に記載の方法。
【請求項１４】
前記光出力特性が、前記専用照明要素のための色温度および輝度のうちの少なくとも1つである、請求項13に記載の方法。
【請求項１５】
前記専用照明要素のための前記光出力特性、前記決定された周囲色温度、および前記被写体の前記所望の色温度に基づいて、前記ディスプレイから光を出力するための輝度を決定するステップをさらに含む、請求項10に記載の方法。
【請求項１６】
前記被写体を照明するより前に、前記ディスプレイ上で前記被写体のプレビューを表示するステップと、次いで、前記被写体を照明し、前記被写体の前記画像をキャプチャするステップと、前記被写体の前記画像のキャプチャに続いて、前記ディスプレイ上で前記被写体の別のプレビューを表示するステップとをさらに含む、請求項10に記載の方法。
【請求項１７】
前記被写体のための前記所望の色温度が、ユーザによって選択可能である、請求項10に記載の方法。
【請求項１８】
前記所望の色温度が、前記決定された周囲色温度である、請求項10に記載の方法。
【請求項１９】
モバイルデバイスであって、
被写体の周囲色温度を決定するための手段と、
第1の方向を向いているディスプレイから光を出力するための色温度を、前記第1の方向を向いている専用照明要素のための光出力特性、前記決定された周囲色温度、および前記被写体の所望の色温度に基づいて決定するための手段と、
前記専用照明要素と前記ディスプレイの両方を使用して前記被写体を照明するための手段であって、前記ディスプレイが、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力する、手段と、
前記被写体が前記専用照明要素と前記ディスプレイの両方を使用して照明されている間に、前記第1の方向を向いている画像センサを使用して、前記被写体の画像をキャプチャするための手段と
を備えるモバイルデバイス。
【請求項２０】
前記専用照明要素のために利用可能な複数の光出力特性から、前記専用照明要素のための前記光出力特性を選択するための手段をさらに備える、請求項19に記載のモバイルデバイス。
【請求項２１】
前記専用照明要素のための前記光出力特性、前記決定された周囲色温度、および前記被写体の前記所望の色温度に基づいて、前記ディスプレイから光を出力するための輝度を決定するための手段をさらに備える、請求項19に記載のモバイルデバイス。
【請求項２２】
前記被写体を照明するより前に、前記被写体のプレビューを表示すること、次いで、前記被写体を照明し、前記被写体の前記画像をキャプチャすること、および、前記被写体の前記画像のキャプチャに続いて、前記被写体の別のプレビューを表示することを行うための手段をさらに備える、請求項19に記載のモバイルデバイス。
【請求項２３】
前記被写体のための前記所望の色温度が、ユーザによって選択可能である、請求項19に記載のモバイルデバイス。
【請求項２４】
前記所望の色温度が、前記決定された周囲色温度である、請求項19に記載のモバイルデバイス。
【請求項２５】
実行されたとき、デバイスのプロセッサに、画像キャプチャのために被写体を照明するための方法を実行させる命令を記憶した非一時的コンピュータ可読記録媒体であって、前記方法が、
被写体の周囲色温度を決定するステップと、
第1の方向を向いているディスプレイから光を出力するための色温度を、前記第1の方向を向いている専用照明要素のための光出力特性、前記決定された周囲色温度、および前記被写体の所望の色温度に基づいて決定するステップと、
前記専用照明要素と前記ディスプレイの両方を使用して前記被写体を照明するステップであって、前記ディスプレイが、前記ディスプレイから光を出力するための前記決定された色温度に基づいて光を出力する、ステップと、
前記被写体が前記専用照明要素と前記ディスプレイの両方を使用して照明されている間に、前記第1の方向を向いている画像センサを使用して、前記被写体の画像をキャプチャするステップと
を含む、非一時的コンピュータ可読記録媒体。
【請求項２６】
前記方法が、前記専用照明要素のために利用可能な複数の光出力特性から、前記専用照明要素のための前記光出力特性を選択するステップをさらに含む、請求項25に記載のコンピュータ可読記録媒体。
【請求項２７】
前記方法が、前記専用照明要素のための前記光出力特性、前記決定された周囲色温度、および前記被写体の前記所望の色温度に基づいて、前記ディスプレイから光を出力するための輝度を決定するステップをさらに含む、請求項25に記載のコンピュータ可読記録媒体。
【請求項２８】
前記方法が、前記被写体を照明するより前に、前記ディスプレイ上で前記被写体のプレビューを表示するステップと、次いで、前記被写体を照明し、前記被写体の前記画像をキャプチャするステップと、前記被写体の前記画像のキャプチャに続いて、前記ディスプレイ上で前記被写体の別のプレビューを表示するステップとをさらに含む、請求項25に記載のコンピュータ可読記録媒体。
【請求項２９】
前記被写体のための前記所望の色温度が、ユーザによって選択可能である、請求項25に記載のコンピュータ可読記録媒体。
【請求項３０】
前記所望の色温度が、前記決定された周囲色温度である、請求項25に記載のコンピュータ可読記録媒体。
【国際調査報告】
2019501406.tif 000011
2019501406.tif 000012
2019501406.tif 000013