(57)【要約】      （修正有）【課題】フロントフェーシング画像センサに対して照明源を提供する。【解決手段】フロントフェーシング画像センサ４０２およびデジタルディスプレイデバイスを使用してデジタル画像を取り込むための電子デバイス４００は、デジタル画像を取り込むためのコマンドを受信するように構成されたコマンド入力モジュールと、コマンドに応答してディスプレイデバイスを画像化照明条件に調整するように構成された照明調整モジュールと、所定の照明条件の下でフロントフェーシング画像センサ４０２を使用してデジタル画像を取り込むように構成されたフロントフェーシング画像センサモジュールとを含む。【選択図】図４Ｃ
2018170278.tif 000002
【特許請求の範囲】
【請求項１】
フロントフェーシング画像センサとデジタルディスプレイとを有する電子デバイスを使用して、デジタル画像を取り込むための方法であって、
前記デジタル画像を取り込むためのコマンドを受信することと、
前記コマンドに応答して、前記デジタルディスプレイを、画像化照明条件に調整することと、
前記画像化照明条件の下で前記フロントフェーシング画像センサを使用して前記デジタル画像を取り込むことと
を備える方法。
【請求項２】
前記デジタルディスプレイは、照明画像を選択することと、表示することとを含む、請求項１に記載の方法。
【請求項３】
前記デジタルディスプレイを調整することは、前記照明画像の平均輝度値を所定の輝度値に調整することを含み、前記所定の輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、請求項２に記載の方法。
【請求項４】
前記照明画像は、前記デバイスを調整する前に前記デジタルディスプレイに表示されている先行画像を含む、請求項３に記載の方法。
【請求項５】
前記照明画像は、前記フロントフェーシング画像センサによって取り込まれたユーザ画像を含む、請求項３に記載の方法。
【請求項６】
前記照明画像は、第１の照明エリアと第２の照明エリアとを含み、前記第１の照明エリア内の前記画素は、Ｒ、Ｇ、Ｂ成分値の第１のセットを有し、前記第２の照明エリア内の前記画素は、Ｒ、Ｇ、Ｂ成分値の第２のセットを有する、請求項３に記載の方法。
【請求項７】
前記デジタルディスプレイを調整する前に、前記フロントフェーシング画像センサを使用して、先行する照明条件を決定することをさらに含む、請求項１に記載の方法。
【請求項８】
前記先行する照明条件は、前記フロントフェーシング画像センサを使用してテストフレームを取り込むことを含む、請求項７に記載の方法。
【請求項９】
前記先行する照明条件を決定することは、前記テストフレームの先行する平均輝度値と前記テストフレームの被写体に対応する蓄積された輝度基準との間の差異を計算することをさらに含む、請求項８に記載の方法。
【請求項１０】
前記先行する照明条件を決定することは、前記テストフレームの前記被写体が顔を含むか否かを決定することを含む、請求項９に記載の方法。
【請求項１１】
前記デジタルディスプレイを調整することは、前記差異に基づいて追加の照明を算出することを含む、請求項９に記載の方法。
【請求項１２】
前記デジタルディスプレイを調整することは、照明画像を選択することと、表示することとを含む、請求項１１に記載の方法。
【請求項１３】
前記デジタルディスプレイを調整することは、前記照明画像の平均輝度値を、画像化輝度値に調整することを含み、前記画像化輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、請求項１２に記載の方法。
【請求項１４】
前記デジタルディスプレイを調整することは、前記算出された追加の照明に基づいて照明画像を選択することを含む、請求項１３に記載の方法。
【請求項１５】
前記照明画像は、第１の照明エリアと第２の照明エリアとを含み、前記第１の照明エリア内の前記画素は、Ｒ、Ｇ、Ｂ成分値の第１のセットを有し、前記第２の照明エリア内の前記画素は、Ｒ、Ｇ、Ｂ成分値の第２のセットを有する、請求項１２に記載の方法。
【請求項１６】
デジタル画像取込システムであって、
前記デジタル画像を取り込むためのコマンドを受信するように構成されたコマンド入力モジュールと、
前記コマンドに応答して、前記デジタルディスプレイを、画像化照明条件に調整するように構成された照明調整モジュールと、
前記所定の照明条件の下でフロントフェーシング画像センサを使用して前記デジタル画像を取り込むように構成されたフロントフェーシング画像センサモジュールと
を備える、デジタル画像取込システム。
【請求項１７】
前記照明調整モジュールは、照明画像を選択して、表示するように構成された、請求項１６に記載のデジタル画像取込システム。
【請求項１８】
前記照明調整モジュールは、前記照明画像の平均輝度値を所定の輝度値に調整するように構成され、前記所定の輝度値は、前記デジタルディスプレイを調整する前の、前記ディスプレイデバイスの先行する平均輝度値とは異なる、請求項１６に記載のデジタル画像取込システム。
【請求項１９】
前記デジタルディスプレイを調整する前に、前記フロントフェーシング画像センサを使用して、先行する照明条件を決定するように構成された照明感知モジュールをさらに備える、請求項１６に記載のデジタル画像取込システム。
【請求項２０】
前記照明感知モジュールは、前記フロントフェーシング画像センサを使用し、及び、テストフレームの先行する平均輝度値と前記テストフレームの被写体に対応する蓄積された輝度値との間の差異を計算して、前記テストフレームを取り込むように構成された、請求項１９に記載のデジタル画像取込システム。
【請求項２１】
実行された場合、プロセッサに、
前記デジタル画像を取り込むためのコマンドを受信することと、
前記コマンドに応答して、前記デジタルディスプレイを、画像化照明条件に調整することと、
前記画像化照明条件の下で前記フロントフェーシング画像センサを使用して前記デジタル画像を取り込むことと
のステップを実行させる命令を備えるコンピュータ読取可能な媒体。
【請求項２２】
前記デジタルディスプレイを調整することは、照明画像を選択し、表示することを含む、請求項２１に記載のコンピュータ読取可能な媒体。
【請求項２３】
前記デジタルディスプレイを調整することは、前記照明画像の平均輝度値を、所定の輝度値に調整することを含み、前記所定の輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、請求項２２に記載のコンピュータ読取可能な媒体。
【請求項２４】
電子デバイスにおけるデジタル画像取込システムであって、前記システムは、
前記デジタル画像を取り込むためのコマンドを受信する手段と、
前記コマンドに応答して、前記デジタルディスプレイを画像化照明条件に調整する手段と、
前記画像化照明条件の下で前記フロントフェーシング画像センサを使用して前記デジタル画像を取り込む手段と
を備えるデジタル画像取込システム。
【請求項２５】
前記調整する手段は、照明画像を選択し、表示する手段を含む、請求項２４に記載のデジタル画像取込システム。
【請求項２６】
前記調整する手段は、前記照明画像の平均輝度値を所定の輝度値に調整する手段を含み、前記所定の輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、請求項２５に記載のデジタル画像取込システム。
【請求項２７】
前記デジタルディスプレイを調整する前に前記フロントフェーシング画像センサを使用して先行する照明条件を調整する手段をさらに含む、請求項２４に記載のデジタル画像取込システム。
【発明の詳細な説明】
【背景技術】
【０００１】
（技術分野）
［0001］開示されている技術は、フロントフェーシング（front-facing）画像センサに対して照明源を提供するためにデバイス自身のディスプレイを使用するように構成された電子デバイスに関する。態様は、当該電子デバイスを使用する方法も対象としている。
【０００２】
（関連技術の説明）
［0002］多くのデジタルデバイスには、ユーザの自己画像を取り込むためにフロントフェーシング画像センサが搭載されている。しかしながら、フロントフェーシング画像センサが搭載されているデバイスの大半は、低光環境においてフロントフェーシング画像センサを使用して自己画像を取り込むために、追加の照明を提供するためには、専用の照明源が不足している。多くの場合において、そのような照明源を追加することの利益は、フロントフェーシング画像センサを有するデジタルデバイスのための、追加される科学技術の複雑さ、及び、専用の照明源を有することの関連コストに勝らない。
【発明の概要】
【０００３】
［0003］１つの態様において、フロントフェーシング画像センサおよびデジタルディスプレイを有する電子デバイスを使用してデジタル画像を取り込む方法は、デジタル画像を取り込むためのコマンドを受信することと、コマンドに応答してデジタルディスプレイを画像化照明条件に調整することと、画像化照明条件の下でフロントフェーシング画像センサを使用してデジタル画像を取り込むこととを含む。
【０００４】
［0004］別の態様において、デジタル画像取込システムは、デジタル画像を取り込むためのコマンドを受信するように構成されたコマンド入力モジュールと、コマンドに応答してデジタルディスプレイを画像化照明条件に調整するように構成された照明調整モジュールと、所定の照明条件の下でフロントフェーシング画像センサを使用してデジタル画像を取り込むように構成されたフロントフェーシング画像センサモジュールを含む。
【０００５】
［0005］別の態様において、コンピュータ読取可能な媒体であって、前記コンピュータ読取可能な媒体は、実行された場合にプロセッサに、デジタル画像を取り込むためのコマンドを受信することと、コマンドに応答してデジタルディスプレイを画像化照明条件に調整することと、画像化照明条件の下でフロントフェーシング画像センサを使用してデジタル画像を取り込むこととのステップを実行させる命令を備える。
【０００６】
［0006］さらに別の態様において、デジタル画像取込システムは、デジタル画像を取り込むためのコマンドを受信するように構成されたコマンド入力モジュールと、コマンドに応答してデジタルディスプレイを画像化照明条件に調整するように構成された照明調整モジュールと、所定の照明条件の下でフロントフェーシング画像センサを使用してデジタル画像を取り込むように構成されたフロントフェーシング画像センサモジュールとを含む。
【図面の簡単な説明】
【０００７】
【図１Ａ】［0007］図１Ａは、１つの実施形態に従った、フロントフェーシング画像センサを有する典型的なデジタルデバイスと、自己画像または自己ビデオを取り込むためにデジタルデバイスとを使用するユーザを図示する斜視図である。
【図１Ｂ】［0008］図１Ｂは、別の実施形態に従った、フロントフェーシング画像センサを有する典型的なデジタルデバイスと、ネットワークを通じて画像またはビデオを交換するために、デジタルデバイスを使用する複数のユーザとを図示する斜視図である。
【図２】［0009］図２は、１つの実施形態に従った、フロントフェーシング画像センサと、照明源として構成されたディスプレイデバイスとを備えるデジタルデバイスを図示する機能的なブロック図である。
【図３Ａ】［0010］図３Ａは、１つの実施形態に従った、フロントフェーシング画像センサを有するデジタルデバイスと、照明源として構成されたディスプレイデバイスとを使用する方法を図示するフローチャートである。
【図３Ｂ】［0011］図３Ｂは、図３Ａの実施形態に従った、先行する照明条件を決定する方法を図示するフローチャートである。
【図３Ｃ】［0012］図３Ｃは、図３Ａの実施形態に従った、ディスプレイデバイスを最適化された画像化照明に調整する方法を図示するフローチャートである。
【図３Ｄ】［0013］図３Ｄは、図３Ａの実施形態に従った、ディスプレイデバイスをデフォルト画像化照明に調整する方法を図示するフローチャートである。
【図４Ａ】［0014]図４Ａは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
【図４Ｂ】［0014]図４Ｂは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
【図４Ｃ】［0014]図４Ｃは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
【図４Ｄ】［0014]図４Ｄは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
【図４Ｅ】［0014]図４Ｅは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
【図４Ｆ】［0014]図４Ｆは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
【図４Ｇ】［0014]図４Ｇは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
【図４Ｈ】［0014]図４Ｈは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
【図４Ｉ】［0014]図４Ｉは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
【図４Ｊ】［0014]図４Ｊは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
【図４Ｋ】［0014]図４Ｋは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
【図４Ｌ】［0014]図４Ｌは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
【発明を実施するための形態】
【０００８】
［0015］多くのデジタルデバイスは、ユーザの自己画像を取り込むためにフロントフェーシング画像センサを装備している。取り込まれた自己画像は、写真のような静的画像（static image）であってもよく、または、ビデオのような動的画像であってもよい。しかしながら、フロントフェーシングカメラを有する、全てではないにしてもほとんどのデバイスでは、専用の照明源（例えば、静止画像（still image）またはビデオを取り込むためのフラッシュまたはＬＥＤライト）が不足している。その結果、フロントフェーシング画像センサを低光環境で使用する場合に、周囲の光からの照明は、画像センサに十分な照明を提供するのに不十分かもしれない。フラッシュまたはＬＥＤ源が、解決策を提供することができるが、そのような照明源を追加する利益は、デジタルデバイス上のフロントフェーシングカメラのための、追加された科学技術の複雑さ、および、専用の照明源を有することの関連コストに勝らない。依って、デジタルデバイスのフロントフェーシング画像センサを使用して画像を取り込むためのコスト効率のよい照明源に対するニーズがある。
【０００９】
[0016]本開示は、フロントフェーシング画像センサおよびデジタルディスプレイを有する電子デバイスを対象とし、電子デバイスは、フロントフェーシング画像センサのための照明源としてデジタルディスプレイを使用するように構成されている。態様は、当該電子デバイスを使用する方法も対象としている。ここに記載された本システムの１つの利点は、追加の照明源の追加コストまたは複雑さをこうむること無く、電子デバイスのフロントフェーシング画像センサの低光性能を改善することである。
【００１０】
[0017]依って、１つの実施形態は、画像がフロントフェーシングカメラにより取り込まれるとき、デジタルディスプレイを照明するように構成された電子デバイスである。ユーザは、画像を取り込むために、フロントフェーシングカメラを起動するかもしれない。このことにより、画像が取り込まれている間に、デジタルディスプレイに明るい白色を発光させるであろう。別の態様において、画像が取り込まれるとき、デジタルディスプレイは、予め定義された明るさ、または、予め定義された色に明るくなる。この特徴により、ユーザは、フロントカメラからの画像の低光取込を改善するためにデジタルディスプレイがどのように使用されるかを、選択することができる。
【００１１】
[0018]以下の開示は、あるタイプのデバイス（例えば、スマートフォン）との関連で、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスの様々な実施形態の特徴を記載してもよい。しかしながら、フロントフェーシング画像センサと照明源としてディスプレイデバイスとを有するように構成されることができる任意の適切な電子デバイスを含む、他の実施形態が可能であることが理解されるべきである。このようなデバイスは、例えば、とりわけ、モバイルフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、ビデオカメラ、携帯音楽プレーヤを含む。さらに、この機能を提供し得るディスプレイデバイスは、ＬＥＤ、ＬＣＤ、ＯＬＥＤ、ＡＭＯＬＥＤ、または、デジタルデバイスのフロントフェーシング画像センサのための照明源として構成されることができる他の類似タイプのディスプレイを含んでいる。
【００１２】
［0019］図１Ａは、１つの実施形態に従って、フロントフェーシング画像センサ１１０を有するデジタルデバイス１０２、および、自己画像または自己ビデオを取り込むためにデジタルデバイスを使用するユーザ１２０を図示している。上述したように、図示されたデジタルデバイス１０２は、タブレットまたはスマートフォンであってもよいが、態様はそれに限定されない。デジタルデバイス１０２は、フロントフェーシング画像センサ１１０を通して取り込まれるものの画像を表示するディスプレイデバイス１０４を含む。図示された実施形態において、ディスプレイデバイス１０４は、この例ではユーザ１２０の自己画像を含む照明画像１０６を表示するように構成されている。フロントフェーシング画像センサ１１０により取り込まれた照明画像１０６としてのユーザの自己画像は、ユーザ１２０によるコマンドに応答して取り込まれてもよい。
【００１３】
[0020]ここに記載されているように、「画像」は、静止デジタル画像に言及しているだけでなく、同様に、多くの画像の瞬間のフレームを含むビデオに言及し得る。さらに、画像は、ディスプレイデバイス１０４上に表示された画像、または、ディスプレイデバイス１０４上に表示されていないがデジタルデバイス１０２のメモリデバイスまたは蓄積デバイスに存在する画像に言及することができる。
【００１４】
[0021]示されているように、ユーザ１２０は、デジタルデバイス１０２で画像取込モードを開始し、そこには、照明画像１０６が表示されるだろう。ユーザ１２０は、特定のポイントで画像を取り込むために、シャッターボタンを起動することができる。シャッターボタンが起動されると、デジタルデバイス１０２は、ディスプレイデバイス１０４に、ユーザ１２０をよりよく照明するだろう明るい白色を発光するように命令する。このことは、ユーザ１２０に追加の光を加えることにより取り込まれている画像を改善するだろう。
【００１５】
［0022］図１Ｂは、別の実施形態に従って、フロントフェーシング画像センサを有するデジタルデバイスと、ネットワークを通じて画像またはビデオを交換するためにデジタルデバイスを使用する複数のユーザとを図示している。第１のユーザ１２０Ａにより使用中のデジタルデバイス１０２Ａは、第１のフロントフェーシング画像センサ１１０Ａと、第１の照明画像を表示するように構成された第１のディスプレイデバイス１０４Ａとを含む。この例では、照明画像は、第１のユーザ１２０Ａによるコマンドに応答して、第１のフロントフェーシング画像センサ１１０Ａにより取り込まれた第１のユーザ１０２Ａの自己画像１０６Ａを含む。類似して、第２のユーザ１２０Ｂにより使用中のデジタルデバイス１０２Ｂは、第２のフロントフェーシング画像センサ１１０Ｂと、第２の照明画像を表示するように構成された第２のディスプレイデバイス１０４Ｂとを含む。この例では、第２の照明画像は、第２のユーザ１２０Ｂによるコマンドに応答して、第２のフロントフェーシング画像センサ１１０Ｂにより取り込まれた第２のユーザ１０２Ｂの第２の自己画像１０６Ｂを含む。
【００１６】
[0023]例えばビデオ通話などの使用中、第１のディスプレイデバイス１０４Ａは、ユーザ１２０ａが通話しているとき、明るくなるように構成されてもよい。このように明るくなることにより、システムは、より高品質な画像を第２のユーザ１２０ｂに送信することが可能になる。同様に、第２のディスプレイデバイス１０４ｂは、第２のユーザ１２０ｂがビデオ通話をしていた間、明るくなるように構成されることができる。
【００１７】
[0024]図１Ｂの第１のデジタルデバイス１０２Ａおよび第２のデジタルデバイス１０２Ｂのようなフロントフェーシング画像センサを有するデジタルデバイスはまた、検出された光子に応答して画像センサによって生成された電気信号を電磁気信号に変換し、電磁気信号を送信するように構成されることもできる。デジタルデバイスは、デジタルデバイスに通信可能に結合された別のデバイスによって生成された類似の電磁気信号を受信するようにさらに構成されることができる。例えば、図１Ｂの図示された実施形態において、第１のデジタルデバイス１０２Ａは、第１の画像センサ１１０Ａによって検出された光子に応答して生成された第１の自己画像１０６Ａに対応する電気信号を変換し、電気信号を第１のアップロード電磁気信号１２２Ａに変換するように構成されてもよい。第１のアップロード電磁気信号１２２Ａに含まれる情報は、次に、ネットワーク１３０を通じて第１のダウンロード電磁気信号１２２Ｂを受信するように構成された第２のデジタルデバイス１０２Ｂによって受信され、第１のダウンロード電磁気信号１２２Ｂを、第１の通信された画像１０８Ｂとして表示される電気信号に変換することができる。この例における第１の通信された画像１０８Ｂは、第１の画像センサ１１０Ａによって取り込まれた第１の自己画像１０６Ａに対応する。類似して、第２のデジタルデバイス１０２Ｂは、第２の画像センサ１１０Ｂにより検出された光子に応答して生成された第２の自己画像１０６Ｂに対応する電気信号を変換し、電気信号を第２のアップロード電磁気信号１２４Ｂに変換するように構成されることができる。第２のアップロード電磁気信号１２４Ｂに含まれる情報は、次に、ネットワーク１３０を通じて第２のダウンロード電磁気信号１２４Ａを受信するように構成された第１のデジタルデバイス１０２Ａによって受信され、第２のダウンロード電磁気信号１２４Ａを、第２の画像センサ１１０Ｂにより取り込まれた第２の自己画像１０６Ｂに対応する第２の通信された画像１０８Ａとして表示される電気信号に変換することができる。
【００１８】
［0025］図２は、１つの実施形態に従って、スマートフォンのような、フロントフェーシング画像センサ、および、照明源として構成されたディスプレイデバイスを有するデジタルデバイス２００を図示する機能的なブロック図である。デジタルデバイス２００は、コマンド入力モジュール２１０、照明感知モジュール２２０、照明調整モジュール２３０、フロントフェーシング画像センサモジュール２４０を含む。コマンド入力モジュール２１０、照明感知モジュール２２０、照明調整モジュール２３０、フロントフェーシング画像センサモジュール２４０の各々は、中央処理モジュール２５０に通信可能に接続されている。デジタルデバイス２００は、中央処理モジュール２５０に通信可能に接続されたメモリモジュール２６０と、蓄積モジュール２７０とをさらに含む。デジタルデバイス２００は、ネットワーク２９０にデジタルデバイス２００を通信可能に接続するように構成された通信サブシステム２８０をさらに含む。
【００１９】
[0026]例示されたデジタルデバイス２００は、デジタルデバイス２００の全体の動作を制御するように構成された中央処理モジュール２５０を含み、デジタルデバイス２００の処理機能を実行するように構成された適切なマイクロプロセッサを含んでもよい。いくつかの実施形態において、中央処理モジュール２５０は、グラフィック処理モジュールなどの特殊サブ処理モジュールを含む。
【００２０】
[0027]デジタルデバイス２００は、ユーザから入力された様々なモードのコマンドを受信するように構成されたコマンド入力モジュール２１０をさらに含む。いくつかの実施形態において、コマンド入力モジュール２１０は、とりわけ、音声認識デバイス、ジェスチャ認識デバイス、動き感知デバイス、タッチスクリーンデバイス、キーボードデバイス、補助入力／出力（Ｉ／Ｏ）デバイスのようないくつかの適切な入力デバイスを含むことができる。コマンド入力モジュールは、音声波または動きのような物理的な入力信号をデジタル信号に変えるために補助回路を含むこともできる。
【００２１】
[0028]デジタルデバイス２００は、照明条件を決定するように構成された照明感知モジュール２２０をさらに含む。照明感知モジュール２２０は、フロントフェーシング画像センサと、画像センサコントローラを含む。画像センサは、入射光子を、処理されるために中央処理モジュールに転送される電気信号に変換するように構成された複数の画素を含む。典型的な画像センサにおいて、各画素は、光の入射光子を吸収するように構成された感光性エリアを含む。いくつかの実施形態において、入射光子は、光子収集の量子効率を向上させるために各画素を覆うマイクロレンズによって方向付けられてもよい。吸収された光子は、電子に変換される。電子の数は、入射光子のエネルギー次第かもしれない。電子は、次に、電圧信号に変換される。
【００２２】
[0029]いくつかの実施形態において、画像センサは、電荷結合素子（ＣＣＤ）画像センサを含む。ＣＣＤ画像センサは、色フィルタアレイ、および、画素アレイを備える。ＣＣＤ画像センサの各ピクセルは、赤、緑、青フィルタのパターンを備える色フィルタを含む。１つの例では、色フィルタは、２×２の市松模様の色フィルタパターンを有するベイヤーフィルタパターンに配置されてもよい。ベイヤーフィルタの２×２の市松模様は、互いに対角線状に配列された１つの赤フィルタおよび青フィルタ、並びに、互いに対角線状に配列された２つの緑フィルタを含む。異なる色フィルタを通過してフィルタされた光子は、その後、画素アレイ内のフォトダイオードによって吸収される。フォトダイオードは、吸収された光子を電荷に変換する。電荷は、電荷結合と呼ばれる過程で、異なる電圧を画素に印加することによって、単一の場所に移動させられる。画素の電荷は、異なる電圧を印加することによって移動させられるので、ＣＣＤ画像センサは、外部の電圧生成器によってサポートされる。
【００２３】
[0030]いくつかの実施形態において、画像センサは、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサを含む。ＣＣＤ画像センサのように、ＣＭＯＳ画像センサは、感光性ダイオードのアレイ―各画素内に１つのダイオード―を含む。しかしながら、ＣＣＤとは違い、ＣＭＯＳ画像装置の各画素は、自身の個別に集積された増幅器を有している。さらに、ＣＭＯＳ画像装置の各画素は、電荷の動きを通してというより、ｘ−ｙ座標システムで直接読み取られることができる。依って、ＣＭＯＳ画像センサ画素は、光子を直接検出し、光子を、出力される電圧に変換する。
【００２４】
[0031]照明感知モジュール２２０は、入射光子に由来する出力された電圧を、デジタル情報に変換するための追加の回路を含む。これは、中央処理モジュール２５０により処理されてもよい。照明感知モジュール２２０は、中央処理モジュール２５０からの様々なコマンドに応答して、画像センサを制御するように構成された画像センサコントローラをさらに含む。
【００２５】
[0032]照明調整モジュール２３０は、ユーザから受信したコマンドに応答して、ディスプレイデバイスの照明条件を、画像化照明条件から通常のビューイング照明条件へと、および、通常のビューイング照明条件から画像化照明条件へと調整するように構成されてもよい。照明調整モジュールは、ディスプレイデバイスおよびディスプレイコントローラを含む。１つの実施形態において、ディスプレイデバイスは、電気的活性化すると光を生成する有機発光ダイオード（ＯＬＥＤ）のアクティブマトリクスを備える、アクティブマトリクス式有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイを含むことができる。ＯＬＥＤ画素は、電流の流れを各個別の画素に制御するための一連のスイッチとして機能する、薄膜トランジスタ（ＴＦＴ）アレイ上に集積されることができる。ＬＥＤ、ＬＣＤ、ＯＬＥＤ、ＡＭＯＬＥＤ、または、デジタルデバイス２００のフロントフェーシング画像センサに関する照明源として構成されることができる任意の他の類似タイプのディスプレイを含む、ディスプレイデバイスの他の実施形態が可能である。
【００２６】
[0033]発光強度、したがって、ディスプレイ内の各画素の輝度は、発光ダイオード（ＬＥＤ）のような放射素子（emitting element）に供給される電流により調整されることができる。１つの実施形態において、ディスプレイは、画素が２つのトランジスタおよびコンデンサを備えるＡＭＯＬＥＤのようなアクティブマトリクスディスプレイである。ドレインが発光ダイオード（例えば、ＯＬＥＤ）に接続されている第１のトランジスタは、第１のトランジスタのゲート・ソース電圧を制御することにより、ダイオードを通して流れる電流の量を、したがって、発光強度を制御するように構成されている。ゲート・ソース電圧は、次に、第１のトランジスタのゲートとソースとの間で接続されたコンデンサによって維持されている。ゲート・ソース電圧は、ゲートが行選択ラインに接続され、ソースがデータラインに接続される第２のトランジスタを制御することを通してコンデンサに蓄積された電荷の量を制御することにより修正されることができる。依って、次に第１のトランジスタを通して発光ダイオードに送られた電流を制御する、第２のトランジスタを制御するために、行選択ライン電圧、および、データライン電圧のような様々な電圧を制御することによって、ディスプレイデバイスの各画素の輝度値は、フロントフェーシング画像センサに対する様々な程度の照明を提供するように調整されることができる。
【００２７】
[0034]フロントフェーシング画像センサモジュール２４０は、画像照明条件の下でフロントフェーシング画像センサを通じてデジタル画像を取り込むように構成される。フロントフェーシング画像センサモジュールは、照明感知モジュールとして類似のハードウェアデバイスを含み、共有することができる。例えば、フロントフェーシング画像センサモジュール２４０は、フロントフェーシング画像センサおよび画像センサコントローラを備える。その機能および動作は、照明感知モジュール２２０と実質的に同じである。さらに、照明調整モジュールは、照明調整モジュール２３０のディスプレイデバイスに関する様々な照明条件を決定するのに必要である算出を実行する。
【００２８】
[0035]デジタルデバイス２００は、デジタルデバイス２００が電源が入っている間、情報を蓄積するように構成されたメモリモジュール２６０をさらに含む。メモリモジュール２６０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）およびダイナミックランダムアクセスメモリ（ＲＡＭ）のようなメモリデバイスを含むことができる。メモリデバイスは、メモリデバイスからマイクロプロセッサへ、および、マイクロプロセッサからメモリデバイスへのデータの流れに対しデータパスを提供するメモリバスを通じて中央処理モジュール２５０に通信可能に結合された異なるレベルのキャッシュメモリとして構成されることができる。特に、メモリモジュールは、ディスプレイデバイスを使用して、フロントフェーシング画像センサのための照明を提供するために、デジタルデバイスの動作の様々な段階における画像情報を保持してもよい。
【００２９】
[0036]デジタルデバイス２００は、ソフトウェアコードと同じく、写真およびビデオフィルムのような媒体を蓄積するように構成された蓄積モジュール２７０をさらに含む。いくつかの実施形態において、蓄積モジュール２７０は、デジタルデバイス２００が電源が落ちている間でさえ、永久に媒体を蓄積するように構成されている。いくつかの実施形態において、とりわけ、蓄積モジュール２７０は、ハードディスクや、フラッシュメモリ、リードオンリメモリ（ＲＯＭ）などの不揮発性メモリのような記憶メディアを含む。
【００３０】
[0037]デジタルデバイス２００は、ネットワーク２９０にデジタルデバイス２００を通信可能に接続するように構成された通信サブシステム２８０をさらに含む。通信サブシステム２８０は、無線通信のために構成された回路を含む。例えば、通信サブシステム２８０は、８０２．１１スタンダードのうちの１つを使用して、デジタルデバイス２００とネットワーク２９０との間のＷｉ−Ｆｉ（登録商標）通信を可能にしてもよい。通信システム２８０は、加えて、とりわけ、ＢＬＵＥＴＯＯＴＨ（登録商標）、符合分割多重接続（ＣＤＭＡ）（登録商標）、移動通信のためのグローバルシステム（ＧＳＭ）（登録商標）のようなスタンダードを可能にしてもよい。
【００３１】
[0038]図３Ａ−３Ｄは、１つの実施形態に従って、フロントフェーシング画像センサを有するデジタルデバイス、および、照明源として構成されたディスプレイデバイスを使用する方法３００を図示するフローチャートである。方法は、デジタル画像を取り込むためのコマンドを受信することと、コマンドに応答してディスプレイデバイスを画像化照明条件に調整することと、画像化照明条件の下でフロントフェーシング画像センサを使用してデジタル画像を取り込むこととを含む。
【００３２】
[0039]図３Ａ−３Ｄにおいて図示されている実施形態のデジタルデバイスは、１つの実施形態に従って、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスを有する図２のデジタルデバイス２００のようなデジタルデバイスであってもよい。
【００３３】
[0040]フロントフェーシング画像センサおよび照明源として構成されたディスプレイデバイスを有するデジタルデバイスを使用する方法３００は、開始状態３１０で始まり、フロントフェーシング画像センサを使用してデジタル画像を取り込むためのコマンドを受信するために状態３２０に移動する。１つの態様において、コマンドは、コマンド入力モジュール２１０によって処理されることができる任意の適切な形態で受信されてもよく、ユーザコマンドの他の適切な形態の中でも、とりわけ、音声認識デバイスにより処理される音声コマンド、ジェスチャ認識デバイスにより処理されるジェスチャコマンド、タッチスクリーンデバイスにより処理されるタッチコマンド、キーボードデバイスにより処理されるキーボードコマンド、動き感知デバイスにより処理される動きコマンドを含んでいる。
【００３４】
[0041]状態３２０においてデジタル画像を取り込むためのコマンドを受信した後で、方法３００は、状態３３０に移動し、フロントフェーシング画像センサを起動する。１つの態様において、状態３３０においてフロントフェーシング画像センサを起動することは、例えば、画像センサのアクセスラインにアクセス電圧を提供することと、画像センサモジュール２２０の画像センサコントローラにＶｃｃを提供することとを含むことができる。
【００３５】
[0042]ディスプレイデバイスによって提供された照明条件は、ディスプレイデバイスの画素の輝度およびクロミナンス値を含む、多くのパラメータによって定義されることができる。例えば、当業者は理解するであろうように、輝度およびクロミナンスの実際の値は、それらを描写するのに使用される色空間に依存している。例えば、ＲＧＢまたはｓＲＧＢ色空間において、各画素は、式Ｙ＝ｒＲ＋ｇＧ＋ｂＢによって表される相対輝度Ｙを有することができ、ここで、Ｒ、Ｇ、Ｂは、色成分、赤（red）、緑（green）、青（blue）を表し、ｒ、ｇ、ｂは、定数である。例えば、ｓＲＧＢ空間について、定数ｒ、ｂ、および、ｂは、それぞれ、値０．２１２、０．７１５２、０．０７２２を有する。例えば、Ｙ’ＵＶ色空間において、Ｙ’はluma値を表し、ＵとＶは２つの色成分を表す。ＲＧＢ空間およびＹ’ＵＶ空間は、周知の変換関係により関連している。
【００３６】
【数１】
2018170278.tif 000003
【００３７】
【数２】
2018170278.tif 000004
【００３８】
[0043]さらに、当業者はまた、ＹＵＶ、ＹＣｂＣｒ、ＹＰｂＰｒなどのうちの１つのような、任意の適切な色空間表現が、ディスプレイデバイスの画素の照明条件を表すのに使用されることができることを理解するでしょう。ここでの記載において、用語「輝度（luminance）」は、一般的に、光の全体の強度について言及するために使用され、用語「クロミナンス」は、一般的に、色成分について言及するために使用される。
【００３９】
[0044]１つの実施形態に従って、フロントフェーシング画像センサを有するデジタルデバイスを使用する方法３００は、ユーザが選択することができる、動的照明モードを提供することを含む。ユーザによって起動される場合、動的照明モードは、照明感知モードによって決定される先行する照明条件に基づいて、ディスプレイデバイスによって提供された照明条件の最適化を可能にする。動的照明モードが、ユーザによって起動されない場合、先行する照明条件に関係なく、所定のデフォルト照明条件が、ディスプレイデバイスによって提供される。照明モードの詳細は、続く議論でさらに明確になる。状態３３０において、フロントフェーシング画像センサを起動した後、方法３００は、動的照明モードが起動されたか否かを決定するために、判定状態３４０に移動する。
【００４０】
[0045]動的照明モードが起動されていない決定が、判定状態３４０でなされる場合、方法３００は、処理状態３５０で、ディスプレイデバイスを、デフォルト画像化照明条件に調整する。状態３５０でディスプレイデバイスを調整するように実行されたステップにおける追加の詳細は、図３Ｄに関連して以下に議論する。方法３００は、それから、状態３９０で画像取込シャッターを起動する。
【００４１】
[0046]しかしながら、動的照明モードが起動されている決定が、判定状態３４０でなされる場合、方法３００は、先行する照明条件を決定する処理状態３６０に移動する。どのように先行する照明条件を決定するかについての追加の情報は、３Ｂに関連して以下で記述されている。
【００４２】
[0047]先行する照明条件が、処理状態３６０で決定されると、方法３００は、追加の照明が必要であるか否かを決定するために、判定状態３７０に移動する。この決定は、被写体の平均的な輝度値と、その被写体に対応する蓄積された輝度基準との間の計算された差異に基づいてもよい。計算された差異が、ある閾値パーセンテージ値を超える場合、方法３００は、ディスプレイデバイスを、最適化された画像化照明条件に調整するために、処理状態３８０に進んでもよい。しかしながら、計算された差異が、ある閾値パーセンテージ値を超えない場合、方法３００は、上述のように、ディスプレイデバイスを、デフォルト画像化照明条件に調整するために、処理状態３５０に進む。
【００４３】
[0048]単に一例として、人間の顔に対する蓄積されたターゲット輝度基準は、輝度曲線のグレースケールの１８パーセントを含んでもよい。８ビット輝度曲線において、グレースケールの１８パーセントが、４６番目のグレーレベルに対応するように、２８＝２５６レベルの輝度値であってもよい。テストフレームに取り込まれた人間の顔の平均輝度値が、例えば、８ビット輝度曲線において２６番目のグレーレベルに対応するグレースケールの１０パーセントに対応する平均輝度値を有する場合、計算された差異は、８パーセントである。方法３００が、ディスプレイデバイスを最適化された画像化照明条件に調整すること、または、ディスプレイデバイスをデフォルト画像化照明条件に調整することに進むかどうかは、１つの実施形態において、８パーセントの計算された差異が閾値を超えるか否かに依存している。
【００４４】
[0049]処理状態３８０において、ディスプレイデバイスを最適化された画像化照明条件に調整した後、方法３００は、シャッターを起動するために、状態３９０に移動する。方法３００は、その後、状態３９２に移動し、照明画像がディスプレイデバイスに表示される間に画像またはビデオフレームが取り込まれる。方法３００は、状態３９４に移動し、シャッターは停止される。最後に、方法３００は、状態３９６に移動し、ディスプレイデバイスは、通常の照明条件に戻る。
【００４５】
[0050]図３Ｂは、図３Ａに関連して上述された１つの実施に従って、先行する照明条件を決定するために処理３６０において追加の詳細を提供するフローチャートである。処理３６０は、状態３６２においてフロントフェーシング画像センサを使用してテストフレームを取り込むことと、状態３６６において、テストフレームの平均輝度値と蓄積された輝度基準との間の差異を計算することとを含む。さらに、別の実施形態において、先行する照明条件を決定するための処理３６０は、状態３６４においてテストフレームにおける被写体を決定することをさらに含むことができる。この実施において、状態３６６における差異を計算することは、テストフレームの被写体の平均輝度値と被写体に対応する蓄積された輝度基準との間の差異を計算することを含む。例えば、被写体は、とりわけ、１つの顔、複数の顔、１つの体、複数の体、風景を含むことができる。状態３６２、３６４、３６６の追加の詳細は、以下に議論する。
【００４６】
[0051]１つの実施に従って、先行する照明条件を決定するための処理３６０は、状態３６２においてテストフレームを取り込むことを含む。テストフレームは、ｆナンバーと露出時間とを含む、固定されたテストフレーム画像化条件のセットを使用して取り込まれたフレームであってもよい。いくつかの実施において、テストフレーム画像化条件は、スピードを最大化するために、実際の画像化条件と比べて、比較的低いｆナンバーと比較的短い露出時間を含む。他の実施において、テストフレーム画像化条件は、実際の画像化条件に類似したｆナンバーと露出時間とを含む。
【００４７】
[0052]図３Ｂにさらに言及すると、１つの実施に従って先行する照明条件を決定するための処理３６０は、状態３６４においてテストフレームで被写体を決定することをさらに含む。１つの態様において、被写体を決定することは、測光領域を決定することと、測光領域から集められた情報に基づいて画像化されるべき被写体を決定することとを含むことができる。
【００４８】
[0053]測光領域を決定することは、測光領域であるべきテストフレームの全ディスプレイエリアの固定されたパーセンテージを備える矩形のエリアを決定することを含んでもよい。単に例として、例えば、測光領域は、テストフレーム幅の約７５パーセントに等しい幅と、テストフレーム長さの約７５パーセントに等しい長さを有する矩形測光領域を有してもよい。他の実施形態が可能であり、測光領域は、テストフレームの長さおよび／または幅の異なるパーセンテージを占める非矩形エリアおよび／または矩形エリアを含んでもよい。
【００４９】
[0054]別の態様において、画像化されるべき被写体を決定することは、被写体決定基準の任意の適切な数に基づいてもよい。いくつかの実施において、被写体決定基準は、潜在的な被写体が占める全テストフレームの断片を決定することを含んでもよい。他の実施において、被写体決定基準は、全テストフレームの輝度の総合平均と比較された潜在的な被写体の平均輝度値を含んでもよい。他の実施において、被写体決定基準は、全テストフレームの色成分の平均値と比較された潜在的な被写体の色成分の平均値のような他の基準を含んでもよい。被写体決定基準の１または複数を使用し、蓄積モジュールに蓄積された参照リストと比較して、テストフレームの被写体は決定されることができる。
【００５０】
[0055]他の態様において、画像化されるべき被写体を決定することは、被写体が人間の顔を含むことを決定することを含んでもよい。被写体が人間であることを決定することは、任意の１または複数の周知の顔検出アルゴリズムに頼ってもよい。例えば、人間の顔の決定は、被写体の卵型性質、並びに、被写体の中央点と外側の境界線との間の最小および最大距離などの、適切な因子の幾つにでも基づいてなされてもよい。
【００５１】
[0056]図３Ｂをさらに参照すると、１つの実施に従った、先行する照明条件を決定するための処理３６０は、状態３６６において、テストフレームの被写体の平均輝度値と被写体に対応する蓄積された輝度基準との間の差異を計算することを含む。
【００５２】
[0057]図３Ｃは、図３Ａに関連して上述された最適化された画像化照明条件に、ディスプレイデバイスを調整するための処理３８０について追加の詳細を提供するフローチャートを図示する。処理３８０は、状態３８２において、被写体の平均輝度値と被写体に対応する格納された輝度基準との間の計算された差異に基づいて追加の照明を算出することにより開始する。状態３８２の後、状態３８４において、照明画像を選択する。状態３８４の後、状態３８６において、平均輝度値を調整する。状態３８６の後、状態３８８において、照明画像を表示する。状態３８２、３８４、３８６、３８８のそれぞれについて、以下でさらに詳細に議論する。
【００５３】
[0058]いくつかの実施形態において、状態３８２において算出された追加の照明は、図３Ｂの状態３６６における、被写体の平均輝度値と被写体に対応する蓄積された輝度基準との間の計算された差異に、直線的にまたは非直線的に比例してもよい。ディスプレイデバイスによって提供されるべきである算出された追加の照明は、例えば、他の因子によって、被写体の平均輝度値と該被写体に対応する蓄積された輝度基準との間の計算された差異を乗算することにより取得された値であってもよい。１つのこのような因子は、例えば、相当な量の光強度が、ディスプレイデバイスと画像化される被写体との間の距離に応じて減少させられ得ることを説明する距離因子であってもよい。
【００５４】
[0059]他の実施形態において、状態382において、追加の照明は、被写体の平均クロミナンス値と該被写体に対応する蓄積されたクロミナンス基準との間の差異に基づいて算出されてもよい。この実施形態において、テストフレームの被写体において比較的低い平均値を有する色成分は、ディスプレイデバイスによって過分に補償されるように算出されてもよく、他方、テストフレームの被写体において比較的高い平均値を有する他の色成分は、美的により満足な画像を生産するために、色成分を優先的に補償するように、少なく補償されるように算出されてもよい。
【００５５】
[0060]図３Ｃをさらに参照すると、ディスプレイデバイスを調整するための処理３８０は、状態３８４において、照明画像を選択することを加えて含んでもよい。選択された照明画像は、フロントフェーシング画像センサのための所望の照明を提供するための任意の適切な画像であってもよい。
【００５６】
[0061]１つの実施において、照明画像は、最適化された輝度をともなうデバイスのデフォルトスクリーンのような、図３Ａにおける状態３２０で、デジタル画像を取り込むためのコマンドを受信する前に表示されていた画像であってもよい。別の実施において、照明画像は、最適化された輝度を有するフロントフェーシング画像センサによって取り込まれるユーザの画像のプレビューフレームのような、ディスプレイデバイスを調整する直前に表示された画像であってもよい。さらに別の実施において、照明画像は、照明領域に含まれる画素が最適化された輝度および／またはクロミナンスを有するように構成された照明領域を有する画像であってもよい。状態３８４において照明画像を選択することに含まれることができる、照明画像の様々な構成は、図４に関連して以下でより詳細に説明する。
【００５７】
[0062]照明画像は、状態３８２で算出された追加の照明に基づいて、状態３８４で選択されてもよい。例えば、適切な照明画像は、状態３８２において算出された追加の照明を提供することが可能な画像であってもよい。しかしながら、全ての有効な照明画像が、状態３８２において算出された追加の照明を提供することが可能であり得るわけではない。実例的な例として、第１の照明画像は、１−５パーセントの追加の輝度を提供するように配置された画素を有してもよいが、第２の照明画像は、５−１０パーセントの追加の輝度を提供するように配置された画素を有してもよい。この実例的な例において、状態３８２において算出された追加の画像に基づく必須の追加輝度が、５パーセントを超える場合、第２の照明画像が、状態３８４において、第１の照明画像より優先して選択されるだろう。
【００５８】
[0063]さらに図３Ｃを参照すると、ディスプレイデバイスを最適化された画像化照明条件に調整するための処理３８０は、状態３８６において、選択された照明画像の平均輝度値をターゲット画像化輝度値に調整することをさらに含む。状態３８６において平均輝度値を調整することは、選択された照明画像の平均輝度値とターゲット画像化輝度値との間の差異をまず決定することを含む。差異を決定すると、状態３８６において平均輝度値を調整することは、ターゲットデフォルト画像化輝度値の下で選択された照明画像を表示するために、照明画像に含まれる画素に必須である電圧と電流を決定することをさらに含む。
【００５９】
[0064]さらに図３Ｃを参照すると、ディスプレイデバイスを最適化された画像化照明条件に調整する処理３８０は、状態３８８において、画像化輝度値を有する選択された照明画像を表示することをさらに含む。状態３８８において選択された照明画像を表示することは、選択された照明画像に対応するディスプレイデバイスの画素を選択することと、選択された照明画像の平均輝度値とターゲット画像化輝度値との間の差異に基づいて決定された電圧と電流とを供給することを含む。
【００６０】
[0065]今度は図３Ｄを参照して、ディスプレイデバイスをデフォルト画像化照明条件に調整する処理３５０をさらに詳細に説明する。処理３５０は、照明画像を選択する処理３５２で開始する。処理３５２の後に、処理３５４で、照明画像の平均輝度値が、デフォルト画像化輝度値に調整される。状態３５４の後に、状態３５６で、デフォルト画像化輝度値を有する照明画像を表示する。状態３５２、３５４、３５６のそれぞれについて、以下にさらに詳細に記載する。
【００６１】
[0066]図３Ｄを参照すると、ディスプレイデバイスをデフォルト画像化照明条件に調整する処理３５０は、状態３５２において、照明画像を選択することを含む。状態３５２において照明画像を選択することは、デフォルト照明画像を選択することを含むことができる。デフォルト照明画像は、フロントフェーシング画像センサのための照明を提供するための任意の適切な画像であってもよい。１つの実施において、デフォルト照明画像は、図３Ａにおける状態３２０において、デジタル画像を取り込むためのコマンドを受信する前に表示されていた画像であってもよい。例えば、デフォルト照明画像は、例えばアプリケーションアイコンを含み得る、ディスプレイデバイスのデフォルトスクリーンのうちの任意の１つであってもよい。別の実施において、デフォルト照明画像は、ディスプレイデバイスを調整する直前に表示されていた画像であってもよい。例えば、デフォルト画像は、永続的画像を取り込む前にフロントフェーシング画像センサによって取り込まれたユーザの画像のプレビューフレームであってもよい。別の実施において、デフォルト照明画像は、照明エリアに含まれる画素が所定の輝度値を有するように構成された照明エリアを有する画像であってもよい。いくつかの実施形態において、デフォルト照明画像は、デジタルデバイスの蓄積モジュールで、デバイス製造者によって蓄積された所定の画像のうちの１つであり得る。他の実施形態において、デフォルト照明画像は、ユーザによって提供され、および、蓄積モジュールに蓄積されることができる。例えば、画像は、とりわけ、個人的な肖像、ウェブページのような、ユーザによって蓄積モジュールに蓄積された任意の画像であり得る。状態３５２において照明画像を選択することに含まれることができる照明画像の様々な構成は、図４に関連して以下にさらに詳細に説明する。
【００６２】
[0067]さらに図３Ｄを参照すると、ディスプレイデバイスをデフォルト画像化照明条件に調整する処理３５０は、状態３５４において、デフォルト照明画像の平均輝度値をデフォルト画像化輝度値に調整することをさらに含む。状態３５４において平均輝度値を調整することは、選択されたデフォルト照明画像の平均輝度値とターゲットデフォルト画像化輝度値との間の差異をまず決定することを含む。差異を決定すると、状態３５４において平均輝度値を調整することは、ターゲットデフォルト画像化輝度値の下でデフォルト照明画像を表示するために、照明画像に含まれる画素に必須である電圧と電流とを決定することをさらに含む。
【００６３】
[0068]さらに図３Ｄを参照すると、ディスプレイデバイスをデフォルト画像化照明条件に調整する処理３５０は、状態３５６において、デフォルト画像化輝度値を有するデフォルト照明画像を表示することをさらに含む。状態３５６において、デフォルト照明画像を表示することは、デフォルト照明画像に対応するディスプレイデバイスの画素を選択することと、選択されたデフォルト照明画像の平均輝度値とターゲットデフォルト画像化輝度値との間の差異に基づいて決定された電圧と電流を供給することを含む。
【００６４】
[0069]図４Ａから４Ｌは、ディスプレイデバイスを最適化された画像化照明条件に調整すること３８０、および、ディスプレイデバイスをデフォルト画像化照明条件に調整すること３５０で選択された照明画像の例示的な実施を図示している。図４Ａから４Ｌの各々は、フロントフェーシング画像センサ４０２を備えるデジタルデバイス４００の例示的実施を描いている。図４Ａから４Ｌに描かれたデジタルデバイス４００は、スマートフォンであるが、デジタルデバイス４００は、フロントフェーシング画像センサを含むように構成されることができる他のデジタルデバイスの中でも、とりわけ、モバイルフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、ビデオカメラ、携帯音楽プレーヤのうちのいずれか１つであり得る。さらに、図４Ａから４Ｌに図示された実施形態の各々において、デジタルデバイス４００は、照明画像４０４を表示するように構成されている。図４Ａから４Ｌに図示された実施の各々、または、実施において含まれる任意の特徴は、図４Ａから４Ｌに描かれていない実施形態を形成するために組み合わせられることができることが理解されるべきである。さらに、異なる特徴の数、形、物理的サイズが、単に例として提供されている。異なる数、異なる形、異なる物理的サイズを有する他の実施形態が可能である。
【００６５】
[0070]照明画像４０４は、フロントフェーシング画像センサ４０２に十分な照明を提供するためにデジタルデバイス４００のディスプレイデバイス上に表示される任意の適切な画像であってもよい。いくつかの実施において、照明画像４０４は、デジタル画像を取り込むユーザからのコマンドを受信する前に表示されていた画像であってもよい。そのような照明画像の１つの実施は、図４Ａに描かれている。図４Ａの照明画像４０４は、デフォルト画像４０６の照明画像である。デフォルト画像４０６は、他の特徴の中でも、とりわけ、時計、検索ウィンドウ、アプリケーションアイコンのような、ヴィジュアルおよびインタラクティブフィーチャ（feature）を含んでもよい。この実施において、デジタル画像を取り込むコマンドを受信すると、デフォルト画像４０６の平均輝度値は、ディスプレイデバイスを最適化された画像化照明に調整すること３８０に従って、または、ディスプレイデバイスを図３Ａに関連して上述されたデフォルト画像化照明条件に調整すること３５０に従って調整されてもよい。
【００６６】
[0071]いくつかの実施において、照明画像は、照明領域に含まれる画素が白色光を照明するように構成されるように構成された１または複数の照明領域を含んでもよい。人間の目が、結果として生じる光を、色嗜好を有さないニュートラルであるように知覚するように、個別の色成分（例えば、ＲＧＢ色空間のＲ、Ｇ、Ｂ）の強度が、おおむね同じ値を有するように釣り合わせられている場合に、画素は、白色光を照明するように構成され得る。
【００６７】
[0072]１つの実施に従った図４Ｂにおけるデジタルデバイス４００の照明画像４０４は、白色光を照明し、照明画像４０４全体をおおむね覆うように構成された単一の照明領域４０８を含む。この実施において、図４Ａにおけるように、照明領域４０８の平均照明値が、ディスプレイデバイスを最適化された画像化照明に調整すること３８０に従って、または、ディスプレイデバイスを上述されたデフォルト画像化照明条件に調整３５０することに従って調整されてもよい。
【００６８】
[0073]別の実施に従った図４Ｃにおけるデジタルデバイス４００の照明画像４０４は、白色光を照明し、照明画像４０４の一部を覆うように構成された単一の照明領域４１０を含む。照明領域４１０の平均輝度値は、図４Ａ−４Ｂにおけるように調整されてもよい。さらに、照明領域４１０のサイズは、ディスプレイデバイスの全体照明を増加させるために、照明領域４１０に含まれる画素の数を増加させるように調整されてもよい。不活性領域（passive region）４１２に含まれる画素は、ごくわずかな輝度値を有するように構成されている。
【００６９】
[0074]別の実施に従った図４Ｄにおけるデジタルデバイス４００の照明画像４０４は、複数の照明領域４１６ａ−４１６ｃを含み、その各々は、白色光を照明し、照明画像４０４の一部を覆うように構成されている。照明領域４１６ａ−４１６ｃの平均輝度値は、図４Ａ−４Ｃにおけるように調整されてもよい。この実施において、照明領域４１６ａ−４１６ｃの平均輝度値は、個別にまたは集合的に調整されてもよい。さらに、照明領域４１６ａ−４１６ｃのサイズは、ディスプレイデバイスの全体の照明を最適化するために、個別にまたは集合的に調整されてもよい。照明領域４１６ａ−４１６ｃの外側の不活性領域４１４ａ−４１４ｃに含まれる画素は、ごくわずかな輝度値を有するように構成されている。
【００７０】
[0075]いくつかの実施において、照明画像４０４は、照明領域に含まれる画素が色成分（例えば、ＲＧＢ空間のＲ、Ｇ、Ｂ）の有色光を優先的に照明するように構成されるように構成された１または複数の照明領域を含んでもよい。人間の目が結果として生じる光をある色を有するものとして知覚するように、色成分のうちの１つの強度が向上させられる一方、他の色成分の強度が抑えられる場合、画素は、優先的に有色光を照明するように構成されてもよい。例えば、優先的に赤い光を照明するために、色成分Ｒが、色成分ＧおよびＢと比べて比較的高い値を有するように、緑と青の光に対応するフォトダイオードは、抑制されてもよい。
【００７１】
[0076]１つの実施に従った図４Ｅにおけるデジタルデバイス４００の照明画像４０４は、複数の照明領域を含み、照明領域の各々は、優先的に有色光を照明し、照明画像４０４の一部を覆うように構成されている。図示された実施において、照明画像４０４は、３つの照明領域４２０、４２２、４２４を含み、その各々は、優先的に、それぞれ赤、緑、または青の光を照明するように構成されている。個別の照明領域４２０、４２２、４２４の各々の平均輝度値は、図４Ａ−Ｄのように調整されてもよい。その値が、優先的に照明されている色成分によって優先的に重み付けされ導き出される、３つの照明領域の各々の平均輝度値を個別に調整することによって、カスタマイズできる色混合を有する組み合わされた照明が、フロントフェーシングカメラ４０２に提供されることができる。不活性領域４１２に含まれる画素は、ごくわずかな輝度値を有するように構成される。
【００７２】
[0077]１つの実施に従った図４Ｆにおけるデジタルデバイス４００の照明画像４０４は、複数の照明領域を含んでいる。そこでは、異なる有色光を優先的に照明するように構成された照明領域がインターレースされ、照明画像４０４全体をおおむね覆う。例示された実施において、照明画像４０４は、優先的に赤い光をそれぞれ照明するように構成された４つの照明領域４３０、４３２、４４６、４４８、優先的に緑の光をそれぞれ照明するように構成された４つの照明領域４３２、４４０、４４２、４５０、優先的に青い光をそれぞれ照明するように構成された４つの照明領域４３４、４３６、４４４、４５２を含む。個別の照明領域４３０、４３２、４３４、４３６、４３８、４４０、４４２、４４４、４４６、４４８、４５０、４５２の各々の平均輝度値は、図４Ａから４Ｅのように調整されてもよい。図４Ｅのように、その値が優先的に照明されている色成分により優先的に重み付けされ導き出される、照明領域の各々の平均輝度値を個別に調整することによって、カスタマイズできる色混合を有する組み合わされた照明が、フロントフェーシングカメラ４０２に提供されることができる。さらに、インターレースパターンは、例えば、特定の色成分で被写体の異なる部分（例えば、顔）が優先的に照明されることを避けるために、有色光のさらに均等な分配を提供してもよい。
【００７３】
[0078]１つの実施に従った図４Ｇにおけるデジタルデバイス４００の照明画像４０４は、複数の照明領域を含んでいる。そこでは、異なる有色光を優先的に照明するように構成された照明領域は、照明画像４０４内で分配され、照明画像４０４の少なくとも一部を覆う。例示された実施において、照明画像４０４は、優先的に赤い光をそれぞれ照明するように構成された３つの照明領域４６０、４６６、優先的に緑の光をそれぞれ照明するように構成された２つの照明領域４６２、４６９、優先的に青い光をそれぞれ照明するように構成された２つの照明領域４６４、４７０を含む。個別の照明領域４６０、４６２、４６４、４６６、４６８、４７０の各々の平均輝度値は、図４Ａから４Ｆにあるように調整されてもよい。図４Ｅにあるように、それぞれの値が優先的に照明されている色成分により優先的に重み付けされ導き出された、照明領域の各々の平均輝度値を個別に調整することによって、カスタマイズできる色混合を有する組み合わされた照明が、フロントフェーシングカメラ４０２に提供されることができる。さらに、インターレースパターンは、例えば、被写体の異なる部分（例えば、顔）に異なる量の有色光を提供するために、有色光の不均一な分配を提供してもよい。不活性領域４１２に含まれる画素は、ごくわずかな輝度値を有するように構成される。
【００７４】
[0079]１つの実施に従った図４Ｈにおけるデジタルデバイス４００の照明画像４０４は、複数の照明領域を含んでいる。そこでは、照明領域のいくつかは、優先的に有色光を照明し、他方、他の照明領域は、白色光を照明するように構成されている。図示された実施において、照明画像４０４は、それぞれ赤、緑、または青の光を優先的に照明するように構成されている、３つの照明領域４７２、４７４を含む。照明画像４０４は、白色光を照明するように構成された照明領域４７８を加えて含む。個別の照明領域４７２、４７４、４７６、４７８の各々の平均輝度値は、図４Ａから４Ｇにおけるように調整されてもよい。その値が優先的に照明されている色成分により優先的に重み付けされて導き出された、照明領域４７２、４７４、４７６の各々の平均輝度値を個別に調整することによって、カスタマイズできる色混合を有する組み合わされた照明が、フロントフェーシングカメラ４０２に提供されることができる。さらに、照明領域４７８の平均輝度値を調整することによって、追加の白色光は、取り込まれた画像の一般的な明るさを増加させるために提供されてもよい。不活性領域４１２に含まれる画素は、ごくわずかな輝度値を有するように構成される。
【００７５】
[0080]いくつかの実施において、照明画像は、フロントフェーシング画像センサによって取り込まれた画像を含んでもよい。いくつかの実施において、フロントフェーシング画像センサによって取り込まれた画像は、静止画像のためのプレビュー画像であってもよい。他の実施において、フロントフェーシングカメラによって取り込まれた画像は、ビデオに取り込まれているリアルタイムフレームであってもよい。
【００７６】
[0081]フロントフェーシングカメラ自身によって取り込まれた画像を照明画像として使用する１つの実施が、図４Ｉに描かれている。図４Ｉの照明画像４０４は、照明画像４０４全体をおおむね覆っている照明領域４８２を含み、背景に対しユーザ４８０の画像を含む。照明領域４０４全体の平均輝度値は、図４Ａ−４Ｈにおけるように調整されてもよい。
【００７７】
[0082]フロントフェーシングカメラ自身によって取り込まれた画像を照明画像として使用する別の実施が、図４Ｊに描かれている。ユーザの画像を含む照明画像４０４の一部を覆う照明領域４８２に加え、図４Ｊの照明画像４０４は、照明画像４０４の一部を覆い、白色光を照明するように構成された照明領域４８４を加えて含んでいる。照明領域４８４、４８２の各々の平均輝度値は、図４Ａから４Ｈにおけるように調整されてもよい。不活性領域４１２に含まれる画素は、ごくわずかな輝度値を有するように構成される。
【００７８】
[0083]フロントフェーシングカメラ自身によって取り込まれた画像を照明画像として使用する別の実施が、図４Ｋおよび４Ｌに描かれている。両方の実施において、ユーザの画像を含む照明画像４０４の一部を覆う照明領域４８２に加えて、図４Ｋおよび４Ｌの照明画像４０４は、ネットワークを通じて、（例えば、第２のユーザ４８６の）別のデバイスから送信された画像を備える照明領域４８８、４９０を加えて含んでいる。照明領域４８２、４８８、４９０の各々の平均輝度値は、図４Ａから４Ｊにあるように調整されてもよい。図４Ｌの不活性領域４１２に含まれる画素は、ごくわずかな輝度値を有するように構成される。
【００７９】
[0084]開示された実施の先の説明は、いずれの当業者でも本発明を成し、または、使用することができるように提供されている。これらの実施に対するさまざまな変更は、当業者に容易に理解され、ここで定義される一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実施に適応することができる。このように、本発明は、ここに示された実施に限定されることは意図しておらず、ここに開示される原理および新規な特徴と一致する最も広い範囲が付与されるべきである。
【００８０】
（用語に関する明確化）
［0085］ここに開示されている実施は、フロントフェーシング画像センサに照明源を提供するためにデバイス自身のディスプレイを使用するためのシステム、方法、装置を提供する。当業者は、これらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実施され得ることを理解するだろう。
【００８１】
[0086]記載において、具体的な詳細が、例の完全な理解を提供するために与えられる。しかしながら、その例はこれらの具体的な詳細がなくても実行され得ることは、当業者は理解するだろう。例えば、不必要な詳細で例を曖昧にしないために、電気構成要素／デバイスが、ブロック図で示され得る。他の事例において、このような構成要素、他の構造、および技術が、例をさらに説明するために詳細に示され得る。
【００８２】
[0087]見出しは、参考のために、およびさまざまなセクションの位置を探すのを助けるために、ここに含まれる。これらの見出しは、それについて記載されている概念の範囲を限定するように意図されてはいない。そのような概念は、明細書全体を通して適用性を有し得る。
【００８３】
[0088]例が、フローチャート、フロー図、有限状態図、構造図、またはブロック図として描かれた処理として記載され得ることにも留意されたい。フローチャートは、シーケンシャルなプロセスとして動作を記述し得るけれども、動作の多くは並行、または、同時に実行されることができ、処理は繰り返されることができる。さらに、動作の順序は再配置され得る。処理は、その動作が完了されるときに終了される。プロセスは、方法、機能、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。処理が、ソフトウェア機能に対応する場合、その終了は呼び出し機能、または、主要機能に機能が戻ることに対応する。
【００８４】
[0089]開示された実施の先の説明は、いずれの当業者でも本発明を成し、または、使用することができるように提供されている。これらの実施に対するさまざまな変更は、当業者に容易に理解され、ここで定義される一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実現に適応されることができる。このように、本発明は、ここに示された実施に限定されることは意図しておらず、ここに開示される原理および新規な特徴と一致する最も広い範囲が付与されるべきである。  
【図１Ａ】
2018170278.tif 000005
【図１Ｂ】
2018170278.tif 000006
【図２】
2018170278.tif 000007
【図３Ａ】
2018170278.tif 000008
【図３Ｂ】
2018170278.tif 000009
【図３Ｃ】
2018170278.tif 000010
【図３Ｄ】
2018170278.tif 000011
【図４Ａ】
2018170278.tif 000012
【図４Ｂ】
2018170278.tif 000013
【図４Ｃ】
2018170278.tif 000014
【図４Ｄ】
2018170278.tif 000015
【図４Ｅ】
2018170278.tif 000016
【図４Ｆ】
2018170278.tif 000017
【図４Ｇ】
2018170278.tif 000018
【図４Ｈ】
2018170278.tif 000019
【図４Ｉ】
2018170278.tif 000020
【図４Ｊ】
2018170278.tif 000021
【図４Ｋ】
2018170278.tif 000022
【図４Ｌ】
2018170278.tif 000023
【手続補正書】
【提出日】平成30年6月13日(2018.6.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フロントフェーシング画像センサとタッチスクリーンとを含むモバイルデバイスを使用して、ユーザの１または複数のデジタル画像を取り込むための方法であって、前記方法は、
前記ユーザの前記１または複数のデジタル画像を取り込むためのコマンドを受信することと、
前記１または複数のデジタル画像が前記ユーザの少なくとも顔を含むことを決定することと、
前記タッチスクリーン上に照明画像を表示することによって前記ユーザを照明することと、
前記フロントフェーシング画像センサを使用してテスト画像を取り込むことと、
調整された照明画像を生成するために、前記ユーザの前記テスト画像のクロミナンス値とターゲットクロミナンス値との間の比較に基づいて、前記照明画像の色を調整することと、
前記タッチスクリーン上に表示された前記調整された照明画像によって前記ユーザが照明される間、前記フロントフェーシング画像センサを使用して前記ユーザの前記１または複数のデジタル画像を取り込むことと
を備える、方法。
【請求項２】
顔検出アルゴリズムは、前記１または複数のデジタル画像が前記ユーザの少なくとも前記顔を含むことを決定するために使用される、請求項１に記載の方法。
【請求項３】
前記照明画像は、前記ユーザにおける有色光の均等な分配に基づく、請求項１に記載の方法。
【請求項４】
前記照明画像は、白色を備える、請求項３に記載の方法。
【請求項５】
前記コマンドは、前記ユーザのジェスチャまたは動きを備える、請求項１に記載の方法。
【請求項６】
前記調整された照明画像は、前記ユーザにおける有色光の均等な分配に基づく、請求項１に記載の方法。
【請求項７】
前記照明画像は、前記フロントフェーシング画像センサによって取り込まれた前記ユーザのプレビューフレームに基づき、前記プレビューフレームは、少なくとも前記ユーザの顔を含む、請求項１に記載の方法。
【請求項８】
前記テストフレームは、固定されたｆナンバーと露出時間とを使用して取り込まれる、請求項１に記載の方法。
【請求項９】
前記ユーザの顔の少なくとも一部の輝度値を決定することと、
前記ユーザの顔の前記少なくとも前記一部の前記輝度値とターゲット輝度値とを比較することと、
前記比較に基づいて、前記タッチスクリーン上に表示された前記照明画像の強度を調整することと
をさらに備える、請求項１に記載の方法。
【請求項１０】
前記ユーザと前記モバイルデバイスとの間の距離に基づいて、前記タッチスクリーン上に表示された前記照明画像の強度を調整すること
をさらに備える、請求項１に記載の方法。
【請求項１１】
前記ユーザの顔の少なくとも一部のクロミナンス値を決定することと、
前記ユーザの顔の前記少なくとも前記一部の前記クロミナンス値と前記ターゲットクロミナンス値とを比較することと、
前記比較に基づいて前記照明画像の前記色を調整することと
をさらに備える、請求項１に記載の方法。
【請求項１２】
前記照明画像は、前記ユーザによって提供される、請求項１に記載の方法。
【請求項１３】
前記照明画像は、前記ユーザの蓄積された画像を備える、請求項１に記載の方法。
【請求項１４】
前記調整された照明画像を生成するために、前記テスト画像の平均クロミナンス値と前記ターゲットクロミナンス値との間の比較に基づいて、前記照明画像の前記色を調整することをさらに備える、請求項１に記載の方法。
【請求項１５】
前記調整された照明画像が表示される間、前記ユーザの顔の少なくとも一部が照明される、請求項１に記載の方法。
【請求項１６】
命令を記憶するように構成された非一時的コンピュータ読取可能な媒体であって、前記命令は、フロントフェーシング画像センサとタッチスクリーンとを含むモバイルデバイスのプロセッサによって実行されるとき、前記モバイルデバイスに、
ユーザの１または複数のデジタル画像を取り込むためのコマンドを受信することと、
前記１または複数のデジタル画像が前記ユーザの少なくとも顔を含むことを決定することと、
前記タッチスクリーン上に照明画像を表示することによって前記ユーザを照明することと、
前記フロントフェーシング画像センサを使用してテスト画像を取り込むことと、
調整された照明画像を生成するために、前記ユーザの前記テストフレームのクロミナンス値とターゲットクロミナンス値との間の比較に基づいて、前記照明画像の色を調整することと、
前記タッチスクリーン上に表示された前記調整された照明画像によって前記ユーザが照明される間、前記フロントフェーシング画像センサを使用して前記ユーザの前記１または複数のデジタル画像を取り込むことと
を備える動作を行わせる、非一時的コンピュータ読取可能な媒体。
【請求項１７】
前記命令の実行は、前記モバイルデバイスに、
前記１または複数のデジタル画像が前記ユーザの少なくとも前記顔を含むことを決定するために顔検出アルゴリズムを呼び出すこと
をさらに備える動作を行わせる、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項１８】
前記照明画像は、前記ユーザにおける有色光の均等な分配に基づく、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項１９】
前記照明画像は、白色を備える、請求項１８に記載の非一時的コンピュータ読取可能な媒体。
【請求項２０】
前記コマンドは、前記ユーザのジェスチャまたは動きを備える、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項２１】
前記調整された照明画像は、前記ユーザにおける有色光の均等な分配に基づく、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項２２】
前記照明画像は、前記フロントフェーシング画像センサによって取り込まれた前記ユーザのプレビューフレームに基づき、前記プレビューフレームは、少なくとも前記ユーザの顔を含む、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項２３】
前記テストフレームは、固定されたｆナンバーと露出時間とを使用して取り込まれる、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項２４】
前記命令の実行は、前記モバイルデバイスに、
前記ユーザの顔の少なくとも一部の輝度値を決定することと、
前記ユーザの顔の前記少なくとも前記一部の前記輝度値とターゲット輝度値とを比較することと、
前記比較に基づいて、前記タッチスクリーン上に表示された前記照明画像の強度を調整することと
をさらに備える動作を行わせる、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項２５】
前記命令の実行は、前記モバイルデバイスに、
前記ユーザと前記モバイルデバイスとの間の距離に基づいて、前記タッチスクリーン上に表示された前記照明画像の強度を調整すること
をさらに備える動作を行わせる、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項２６】
前記命令の実行は、前記モバイルデバイスに、
前記ユーザの顔の少なくとも一部のクロミナンス値を決定することと、
前記ユーザの顔の前記少なくとも前記一部の前記クロミナンス値と前記ターゲットクロミナンス値とを比較することと、
前記比較に基づいて前記照明画像の前記色を調整することと
をさらに備える動作を行わせる、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項２７】
前記照明画像は、前記ユーザによって提供される、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項２８】
前記照明画像は、前記ユーザの蓄積された画像を備える、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項２９】
前記命令の実行は、前記モバイルデバイスに、
前記調整された照明画像を生成するために、前記テスト画像の平均クロミナンス値と前記ターゲットクロミナンス値との間の比較に基づいて、前記照明画像の前記色を調整すること
をさらに備える動作を行わせる、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項３０】
前記命令の実行は、前記調整された照明画像が表示される間、前記ユーザの顔の少なくとも一部が照明されるようにする、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
【請求項３１】
ユーザの１または複数のデジタル画像を取り込むためのモバイルデバイスであって、前記モバイルデバイスは、
フロントフェーシング画像センサと、
タッチスクリーンと、
プロセッサと、
前記プロセッサによって実行されるとき、前記モバイルデバイスに、
前記ユーザの前記１または複数のデジタル画像を取り込むためのコマンドを受信することと、
前記１または複数のデジタル画像が前記ユーザの少なくとも顔を含むことを決定することと、
前記タッチスクリーン上に照明画像を表示することによって前記ユーザを照明することと、
前記フロントフェーシング画像センサを使用してテスト画像を取り込むことと、
調整された照明画像を生成するために、前記ユーザの前記テストフレームのクロミナンス値とターゲットクロミナンス値との間の比較に基づいて、前記照明画像の色を調整することと、
前記タッチスクリーン上に表示された前記調整された照明画像によって前記ユーザが照明される間、前記フロントフェーシング画像センサを使用して前記ユーザの前記１または複数のデジタル画像を取り込むことと
を行わせる命令を記憶するように構成されたメモリと
を備える、モバイルデバイス。
【請求項３２】
前記命令の実行は、前記モバイルデバイスに、
前記１または複数のデジタル画像が前記ユーザの少なくとも前記顔を含むことを決定するために顔検出アルゴリズムを呼び出すこと
を行わせる、請求項３１に記載のモバイルデバイス。
【請求項３３】
前記照明画像は、前記ユーザにおける有色光の均等な分配に基づく、請求項３１に記載のモバイルデバイス。
【請求項３４】
前記照明画像は、白色を備える、請求項３３に記載のモバイルデバイス。
【請求項３５】
前記コマンドは、前記ユーザのジェスチャまたは動きを備える、請求項３１に記載のモバイルデバイス。
【請求項３６】
前記調整された照明画像は、前記ユーザにおける有色光の均等な分配に基づく、請求項３１に記載のモバイルデバイス。
【請求項３７】
前記照明画像は、前記フロントフェーシング画像センサによって取り込まれた前記ユーザのプレビューフレームに基づき、前記プレビューフレームは、少なくとも前記ユーザの顔を含む、請求項３１に記載のモバイルデバイス。
【請求項３８】
前記テストフレームは、固定されたｆナンバーと露出時間とを使用して取り込まれる、請求項３１に記載のモバイルデバイス。
【請求項３９】
前記命令の実行は、前記モバイルデバイスに、
前記ユーザの顔の少なくとも一部の輝度値を決定することと、
前記ユーザの顔の前記少なくとも前記一部の前記輝度値とターゲット輝度値とを比較することと、
前記比較に基づいて、前記タッチスクリーン上に表示された前記照明画像の強度を調整することと
をさらに行わせる、請求項３１に記載のモバイルデバイス。
【請求項４０】
前記命令の実行は、前記モバイルデバイスに、
前記ユーザと前記モバイルデバイスとの間の距離に基づいて、前記タッチスクリーン上に表示された前記照明画像の強度を調整すること
をさらに行わせる、請求項３１に記載のモバイルデバイス。
【請求項４１】
前記命令の実行は、前記モバイルデバイスに、
前記ユーザの顔の少なくとも一部のクロミナンス値を決定することと、
ユーザの顔の前記少なくとも前記一部の前記クロミナンス値と前記ターゲットクロミナンス値とを比較することと、
前記比較に基づいて前記照明画像の前記色を調整することと
を行わせる、請求項３１に記載のモバイルデバイス。
【請求項４２】
前記照明画像は、前記ユーザによって提供される、請求項３１に記載のモバイルデバイス。
【請求項４３】
前記照明画像は、前記ユーザの蓄積された画像を備える、請求項３１に記載のモバイルデバイス。
【請求項４４】
前記命令の実行は、前記モバイルデバイスに、
前記調整された照明画像を生成するために、前記テスト画像の平均クロミナンス値と前記ターゲットクロミナンス値との間の比較に基づいて、前記照明画像の前記色を調整すること
を行わせる、請求項３１に記載のモバイルデバイス。
【請求項４５】
前記命令の実行は、前記調整された照明画像が表示される間、前記ユーザの顔の少なくとも一部が照明されることを行わせる、請求項３１に記載のモバイルデバイス。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
[0089]開示された実施の先の説明は、いずれの当業者でも本発明を成し、または、使用することができるように提供されている。これらの実施に対するさまざまな変更は、当業者に容易に理解され、ここで定義される一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実現に適応されることができる。このように、本発明は、ここに示された実施に限定されることは意図しておらず、ここに開示される原理および新規な特徴と一致する最も広い範囲が付与されるべきである。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
フロントフェーシング画像センサとデジタルディスプレイとを有する電子デバイスを使用して、デジタル画像を取り込むための方法であって、
前記デジタル画像を取り込むためのコマンドを受信することと、
前記コマンドに応答して、前記デジタルディスプレイを、画像化照明条件に調整することと、
前記画像化照明条件の下で前記フロントフェーシング画像センサを使用して前記デジタル画像を取り込むことと
を備える方法。
［Ｃ２］
前記デジタルディスプレイは、照明画像を選択することと、表示することとを含む、Ｃ１に記載の方法。
［Ｃ３］
前記デジタルディスプレイを調整することは、前記照明画像の平均輝度値を所定の輝度値に調整することを含み、前記所定の輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、Ｃ２に記載の方法。
［Ｃ４］
前記照明画像は、前記デバイスを調整する前に前記デジタルディスプレイに表示されている先行画像を含む、Ｃ３に記載の方法。
［Ｃ５］
前記照明画像は、前記フロントフェーシング画像センサによって取り込まれたユーザ画像を含む、Ｃ３に記載の方法。
［Ｃ６］
前記照明画像は、第１の照明エリアと第２の照明エリアとを含み、前記第１の照明エリア内の前記画素は、Ｒ、Ｇ、Ｂ成分値の第１のセットを有し、前記第２の照明エリア内の前記画素は、Ｒ、Ｇ、Ｂ成分値の第２のセットを有する、Ｃ３に記載の方法。
［Ｃ７］
前記デジタルディスプレイを調整する前に、前記フロントフェーシング画像センサを使用して、先行する照明条件を決定することをさらに含む、Ｃ１に記載の方法。
［Ｃ８］
前記先行する照明条件は、前記フロントフェーシング画像センサを使用してテストフレームを取り込むことを含む、Ｃ７に記載の方法。
［Ｃ９］
前記先行する照明条件を決定することは、前記テストフレームの先行する平均輝度値と前記テストフレームの被写体に対応する蓄積された輝度基準との間の差異を計算することをさらに含む、Ｃ８に記載の方法。
［Ｃ１０］
前記先行する照明条件を決定することは、前記テストフレームの前記被写体が顔を含むか否かを決定することを含む、Ｃ９に記載の方法。
［Ｃ１１］
前記デジタルディスプレイを調整することは、前記差異に基づいて追加の照明を算出することを含む、Ｃ９に記載の方法。
［Ｃ１２］
前記デジタルディスプレイを調整することは、照明画像を選択することと、表示することとを含む、Ｃ１１に記載の方法。
［Ｃ１３］
前記デジタルディスプレイを調整することは、前記照明画像の平均輝度値を、画像化輝度値に調整することを含み、前記画像化輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、Ｃ１２に記載の方法。
［Ｃ１４］
前記デジタルディスプレイを調整することは、前記算出された追加の照明に基づいて照明画像を選択することを含む、Ｃ１３に記載の方法。
［Ｃ１５］
前記照明画像は、第１の照明エリアと第２の照明エリアとを含み、前記第１の照明エリア内の前記画素は、Ｒ、Ｇ、Ｂ成分値の第１のセットを有し、前記第２の照明エリア内の前記画素は、Ｒ、Ｇ、Ｂ成分値の第２のセットを有する、Ｃ１２に記載の方法。
［Ｃ１６］
デジタル画像取込システムであって、
前記デジタル画像を取り込むためのコマンドを受信するように構成されたコマンド入力モジュールと、
前記コマンドに応答して、前記デジタルディスプレイを、画像化照明条件に調整するように構成された照明調整モジュールと、
前記所定の照明条件の下でフロントフェーシング画像センサを使用して前記デジタル画像を取り込むように構成されたフロントフェーシング画像センサモジュールと
を備える、デジタル画像取込システム。
［Ｃ１７］
前記照明調整モジュールは、照明画像を選択して、表示するように構成された、Ｃ１６に記載のデジタル画像取込システム。
［Ｃ１８］
前記照明調整モジュールは、前記照明画像の平均輝度値を所定の輝度値に調整するように構成され、前記所定の輝度値は、前記デジタルディスプレイを調整する前の、前記ディスプレイデバイスの先行する平均輝度値とは異なる、Ｃ１６に記載のデジタル画像取込システム。
［Ｃ１９］
前記デジタルディスプレイを調整する前に、前記フロントフェーシング画像センサを使用して、先行する照明条件を決定するように構成された照明感知モジュールをさらに備える、Ｃ１６に記載のデジタル画像取込システム。
［Ｃ２０］
前記照明感知モジュールは、前記フロントフェーシング画像センサを使用し、及び、テストフレームの先行する平均輝度値と前記テストフレームの被写体に対応する蓄積された輝度値との間の差異を計算して、前記テストフレームを取り込むように構成された、Ｃ１９に記載のデジタル画像取込システム。
［Ｃ２１］
実行された場合、プロセッサに、
前記デジタル画像を取り込むためのコマンドを受信することと、
前記コマンドに応答して、前記デジタルディスプレイを、画像化照明条件に調整することと、
前記画像化照明条件の下で前記フロントフェーシング画像センサを使用して前記デジタル画像を取り込むことと
のステップを実行させる命令を備えるコンピュータ読取可能な媒体。
［Ｃ２２］
前記デジタルディスプレイを調整することは、照明画像を選択し、表示することを含む、Ｃ２１に記載のコンピュータ読取可能な媒体。
［Ｃ２３］
前記デジタルディスプレイを調整することは、前記照明画像の平均輝度値を、所定の輝度値に調整することを含み、前記所定の輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、Ｃ２２に記載のコンピュータ読取可能な媒体。
［Ｃ２４］
電子デバイスにおけるデジタル画像取込システムであって、前記システムは、
前記デジタル画像を取り込むためのコマンドを受信する手段と、
前記コマンドに応答して、前記デジタルディスプレイを画像化照明条件に調整する手段と、
前記画像化照明条件の下で前記フロントフェーシング画像センサを使用して前記デジタル画像を取り込む手段と
を備えるデジタル画像取込システム。
［Ｃ２５］
前記調整する手段は、照明画像を選択し、表示する手段を含む、Ｃ２４に記載のデジタル画像取込システム。
［Ｃ２６］
前記調整する手段は、前記照明画像の平均輝度値を所定の輝度値に調整する手段を含み、前記所定の輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、Ｃ２５に記載のデジタル画像取込システム。
［Ｃ２７］
前記デジタルディスプレイを調整する前に前記フロントフェーシング画像センサを使用して先行する照明条件を調整する手段をさらに含む、Ｃ２４に記載のデジタル画像取込システム。
【外国語明細書】
2018170278000001.pdf