(57)【要約】【課題】画質を向上させる改善された電子装置を提供する。【解決手段】電子装置は、ハウジングを備える。ディスプレイは、ハウジングによって支持されている。撮像素子は、ディスプレイに近接して位置する。ディスプレイおよび撮像素子と共に動作可能な１以上のプロセッサは、撮像素子が画像を取り込むとき、ディスプレイのコンテンツの表示を変更する。表示の変更には、ディスプレイの発光ダイオードをオフにする工程、ディスプレイ上に画像フィルタリング表示を表示する工程、または、ディスプレイ上に画像補正表示を表示する工程が含まれ得る。表示は、撮像素子が受信した光を計測するに際しても変更され得る。【選択図】図２
2018067915.tif 000002
【特許請求の範囲】
【請求項１】
ハウジングと、
前記ハウジングによって支持されるディスプレイと、
前記ディスプレイに近接して位置する撮像素子と、
前記ディスプレイおよび前記撮像素子と共に動作可能な１以上のプロセッサと、を備え、前記１以上のプロセッサは、前記撮像素子が画像を取り込むとき、前記ディスプレイの表示を変更する、電子装置。
【請求項２】
前記撮像素子および前記ディスプレイが併設されている、請求項１に記載の電子装置。
【請求項３】
前記ディスプレイは、アパーチャを画定する基板上に形成されており、前記撮像素子は、前記画像を取り込むとき前記アパーチャを介して光を受け取るように前記アパーチャと軸方向に位置合わせされている、請求項２に記載の電子装置。
【請求項４】
前記ディスプレイは、光透過性基板上に形成された有機発光ダイオードディスプレイを含む、請求項２に記載の電子装置。
【請求項５】
前記撮像素子は、１以上の撮像素子を含み、前記ディスプレイの上にある、前記ハウジングの主面を画定する前板をさらに備え、前記１以上の撮像素子は、前記光透過性基板の下に配置されている、請求項４に記載の電子装置。
【請求項６】
前記１以上のプロセッサは、前記ディスプレイの発光ダイオードをオフにすることによって、前記ディスプレイの前記表示を変更する、請求項５に記載の電子装置。
【請求項７】
前記１以上のプロセッサは、前記ディスプレイ上に画像フィルタリング表示を表示することによって、前記ディスプレイの前記表示を変更する、請求項５に記載の電子装置。
【請求項８】
前記１以上のプロセッサは、前記ディスプレイ上に画像補正表示を表示することによって、前記ディスプレイの前記表示を変更する、請求項５に記載の電子装置。
【請求項９】
前記１以上のプロセッサはまた、前記撮像素子が受信した光を計測するに際し、前記ディスプレイの前記表示を変更する、請求項５に記載の電子装置。
【請求項１０】
ハウジングの主面を画定する前板を備えるハウジングと、
前記ハウジングによって支持され、かつ、前記前板の内部に配置されている光透過性基板上に形成されたディスプレイと、
前記ディスプレイに併設して位置する撮像素子であって、前記ディスプレイは、前記撮像素子と前記前板との間に配置されている、撮像素子と、
前記ディスプレイおよび前記撮像素子と共に動作可能な１以上のプロセッサと、を備え、
前記１以上のプロセッサは、前記撮像素子が画像を取り込むとき、前記ディスプレイの表示を変更する、電子装置。
【請求項１１】
前記１以上のプロセッサは、前記ディスプレイの発光ダイオードをオフにすることによって、前記ディスプレイの前記表示を変更する、請求項１０に記載の電子装置。
【請求項１２】
前記１以上のプロセッサは、前記ディスプレイ上に画像フィルタリング表示を表示することによって、前記ディスプレイの前記表示を変更する、請求項１０に記載の電子装置。
【請求項１３】
前記１以上のプロセッサは、前記ディスプレイ上に画像補正表示を表示することによって、前記ディスプレイの前記表示を変更する、請求項１０に記載の電子装置。
【請求項１４】
前記１以上のプロセッサはまた、前記撮像素子が受信した光を計測するに際し、前記ディスプレイの前記表示を変更する、請求項１０に記載の電子装置。
【請求項１５】
１以上のプロセッサが、第１の画像表示を電子装置のディスプレイ上に表示する工程と、
前記１以上のプロセッサが、撮像素子に画像を取り込ませる工程と、第２の画像表示を表示するように前記ディスプレイを変更する工程とを同時に行う工程と、
前記１以上のプロセッサが、前記撮像素子が前記画像を取り込んだ後、前記第２の画像表示の表示を中止する工程と、を備える、方法。
【請求項１６】
前記第２の画像表示は、前記ディスプレイによる発光がないことを含む、請求項１５に記載の方法。
【請求項１７】
前記第２の画像表示は、画像補正表示を含む、請求項１５に記載の方法。
【請求項１８】
前記第２の画像表示は、画像フィルタリング表示を含む、請求項１５に記載の方法。
【請求項１９】
前記第２の画像表示の少なくとも一部分を前板から前記撮像素子へ反射させる工程をさらに備える、請求項１５に記載の方法。
【請求項２０】
前記撮像素子が前記画像を取り込んだ後、前記ディスプレイ上に前記第１の画像表示を再度表示することをさらに備える、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して電子装置に関し、特に画像取込装置を有する電子装置に関する。
【背景技術】
【０００２】
数十億人の人々が、携帯電話、スマートフォン、ポータブルコンピュータ、ゲーム機などの電子装置を使用している。これらの所有者は、様々な目的で移動通信装置を使用しており、その目的として、音声通信、テキストメッセージングのためのデータ通信、インターネット閲覧、銀行業務などの商取引、およびソーシャルネットワーキングが挙げられるが、これらに限定されない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
多くの電子通信装置が画像取込装置を備えている。例えば、現在販売されているほぼ全てのスマートフォンまたはタブレットコンピュータには、少なくとも１つのデジタルカメラが付属している。同様に、多くのデジタルカメラには、現在、電子通信装置が付属しており、コンピュータまたは他の電子装置に画像を転送することができる。ほとんどのユーザが、ボタンを１回押すと美しく、歪みのない画像が撮影される「ポイント・アンド・クリック」による写真撮影プロセスを好んでいる。アパーチャおよびシャッタースピードの設定に相当するものの設定を好むユーザでさえ、歪みのない画像を望んでいる。画質を向上させる改善された電子装置を有することが、有利となるであろう。
【課題を解決するための手段】
【０００４】
本開示の実施形態は、電子装置のディスプレイを制御して画質を向上させるための方法およびシステムを提供する。１以上の実施形態において、電子装置は、ディスプレイに近接して位置する撮像素子を備える。例えば、撮像素子は、ディスプレイに隣接していてもよく、ディスプレイに併設されていてもよく、または、ディスプレイからの光が電子装置の前板から反射し得るか、もしくは撮像素子によって取り込まれ得るだけディスプレイの近くに配置されていてもよい。本明細書で使用する際、「近接して位置する」は、ディスプレイがオンである場合に、ディスプレイからの光が撮像素子によって受光される位置に撮像素子が位置することを意味する。
【０００５】
撮像素子は、電子装置の前板からの反射または他の方法によってディスプレイからの光を受け取るため、１以上の実施形態において、電子装置の１以上のプロセッサは、撮像素子が画像を取り込むときディスプレイの表示を変更して、全体的な画質を向上させるように動作可能である。例を挙げて示すと、一実施形態において、撮像素子が画像を取り込んでいる間にディスプレイからの迷光が撮像素子によって受光されないように、ディスプレイの発光素子を単にオフにする。
【０００６】
他の実施形態において、ディスプレイの表示を変更することによって、他の画像補正技術を画像に適用することが可能である。例えば、一実施形態において、ディスプレイ表示は、ディスプレイ上に画像フィルタリング表示を表示するように変更されるであろう。撮像素子が画像を取り込むとき、例えば、ユーザがバラ色のフィルタを通して取り込んだ画像を望むと、ディスプレイは、バラ色を呈し得る。撮像素子およびディスプレイは近接して位置するため、バラ色の光の一部が撮像素子に入り込み、それによって画像フィルタリング効果をもたらす。
【０００７】
さらに他の実施形態において、ディスプレイ表示は、ディスプレイ上に画像補正表示を表示するように変更されるであろう。例えば、撮像素子が画像のノイズまたは他の望ましくない品質を検出した場合、電子装置の１以上のプロセッサは、画質を向上させるように動作してもよい。例を挙げて示すと、１以上のプロセッサは、キャプチャの画像が取り込まれるとき、ディスプレイ上および撮像素子の視野の領域に表示されているものを検出し、次いで、画像取り込み中のノイズを形成する「光」を取り去る光処理を施して、品質を向上させた取り込まれた被写体を呈してもよい。動画も同様に処理することができる。また、画像補正表示および画像フィルタリング表示は、背景の品質変化も補正するように経時的であり得る。
【０００８】
本開示の実施形態を使用して、静止画および動画の両方の品質を向上させることができる。多重画像を取り込んだ場合、動画を取り込んだときと同様に、フレーム単位で、あるいは各フレームの取り込み中に、ディスプレイの変更された表示をさらに変更することができる。例えば、一実施形態において、ディスプレイの発光素子を単にオフにすることによって、ディスプレイの表示を変更することができる。しかしながら、別の実施形態において、撮像素子から見える要素からディスプレイ上に表示されている要素を取り去った画像表示によって、画質を向上できる。かかる画像表示は、例えば室内の外乱光または人の皮膚もしくは衣類からの反射光などによって生じるノイズおよび他の歪みに対して補正効果をもたらすことができる。かかる実施形態においては、ディスプレイをオフにすることよりも、ディスプレイの戦略的作用が、画質の向上に働きかける。
【図面の簡単な説明】
【０００９】
【図１】本開示の１以上の実施形態に係る１つの説明的な電子装置の分解組立図。
【図２】本開示の１以上の実施形態に係る１つの説明的な電子装置の概略ブロック図。
【図３】本開示の１以上の実施形態に係る１つの説明的な電子装置を示す図。
【図４】本開示の１以上の実施形態に係る別の説明的な電子装置を示す図。
【図５】本開示の１以上の実施形態に係る更に別の説明的な電子装置を示す図。
【図６】本開示の１以上の実施形態に係る１つの説明的な電子装置を使用しているユーザを示す図。
【図７】本開示の１以上の実施形態に係る１つの説明的な電子装置を使用しているユーザを示す図。
【図８】本開示の１以上の実施形態に係る１つの説明的な電子装置を使用しているユーザを示す図。
【図９】本開示の１以上の実施形態に係る１つの説明的な電子装置を使用しているユーザを示す図。
【図１０】本開示の１以上の実施形態に係る１つの説明的な電子装置を使用しているユーザを示す図。
【図１１】本開示の１以上の実施形態に係る１つの説明的な方法を示す図。
【発明を実施するための形態】
【００１０】
図中の要素は、簡潔さおよび明瞭さを目的として図示されており、必ずしも縮尺通りには描かれていないことが当業者には理解されるであろう。例えば、本開示の実施形態を理解しやすくするため、図中の要素のいくつかの寸法は、他の要素に対して誇張されていることがある。
【００１１】
本開示に係る実施形態を詳細に説明する前に、実施形態は、電子装置においてディスプレイを制御して画像補正を適用することに関連する方法の工程および機器の構成要素の組み合わせに主として関することに留意されたい。フロー図のプロセスの記述またはブロックはいずれも、本プロセスの特定の論理機能または工程を実行するための１以上の実行可能な命令を含むモジュール、セグメント、またはコードの一部を表していると理解されるべきである。
【００１２】
本開示の実施形態は、ビジネス情報の処理を目的とした任意の陳腐なビジネス方法の実装形態を列挙することもなければ、公知のビジネスプロセスをインターネットの特定の技術的環境に適用することもない。また、本開示の実施形態は、汎用のコンピュータ機能および従来のネットワーク運用を利用した契約関係の作成または変更を行わない。全く反対に、本開示の実施形態は、電子装置およびユーザインタフェース技術、あるいは電子装置またはユーザインタフェース技術に適用された場合、電子装置のユーザ対話に関する技術の領域において特に生じる問題を解決するために、全体的なユーザ体験を向上させることによって、電子装置自体の機能を改善する方法を採用する。
【００１３】
代替的な実装形態が含まれており、機能が、含まれる機能に依存して、実質的に同時にまたは逆順を含めて、図示または記載されている順番から外れて実行可能であることは明らかであろう。したがって、図中において、機器の構成要素および方法の工程は、必要に応じて、従来の記号で表わされており、本明細書に記載の利益を有する当事者には容易に明らかであろう詳細によって本開示を不明瞭にしないために、本開示の実施形態を理解するために適当な特定の詳細のみを示している。
【００１４】
本明細書に記載の本開示の実施形態は、１以上の装置固有のプロセッサと、独自の格納プログラム命令とで構成されてもよく、プログラム命令は、本明細書に記載のように、撮像素子が画像を取り込む際に、１以上のプロセッサを制御して、ディスプレイの表示を変更する機能のうち一部、ほぼ全て、または全てを、特定の非プロセッサ回路と共に実行して、画質を向上させることが理解されるであろう。非プロセッサ回路は、無線受信機、無線送信機、信号ドライバ、クロック回路、電源回路、およびユーザ入力装置を含んでもよいが、これらに限定されない。このように、これらの機能は、電子装置のディスプレイを制御して画質を向上させる方法の工程として解釈されてもよい。代替的に、一部または全ての機能は、格納プログラム命令を有しない状態機械によって、あるいは各機能またはある機能のいくつかの組み合わせがカスタム論理として実行される１以上の特定用途向け集積回路（ＡＳＩＣ）において、実行され得る。当然ながら、２つのアプローチの組み合わせを用いることが可能である。このように、これらの機能のための方法および手段が、本明細書にて説明されている。さらに、例えば、利用可能な時間、現在の技術、および経済的考慮によって動機付けられる最大限の労力および多くの設計選択にもかかわらず、本明細書に開示される概念および原理に導かれた場合に、当業者が、最小限の実験で、かかるソフトウェア命令およびプログラムならびにＡＳＩＣを容易に生成できることが期待される。
【００１５】
ここで、本開示の実施形態を詳細に説明する。図面を参照すると、同様の番号は、図面全体を通して同様の部分を示す。本明細書の説明および特許請求の範囲の全体を通して使用されるように、文脈が明白に別途指示していない限り、次の用語は、本明細書に明示的に関連する意味を取る。即ち、「ａ」、「ａｎ」、および「ｔｈｅ」の意味は、複数の言及を含み、「において、における（ｉｎ）」の意味は、「において、における（ｉｎ）」および「の上で、の上の（ｏｎ）」を含む。第１および第２、上部および底部などの関係を示す用語は、１つのエンティティまたはアクションを別のエンティティまたはアクションから区別するために、かかるエンティティまたはアクション間のどんな実際のかかる関係または順序も必ずしも要求または意味することもせずに、単独で用いられてもよい。また、本明細書において括弧で示される参照符号は、論じられている図以外の図に示される構成要素を指す。例えば、図Ａを説明しながら装置（１０）について述べることは、図Ａ以外の図に示されている要素１０を指すことになろう。
【００１６】
ここで図１を参照すると、本開示の１以上の実施形態に従って構成された１つの説明的な電子装置１００が示されている。図１の電子装置１００は、携帯型電子装置であり、例示の目的で、タブレットコンピュータとして示されている。しかしながら、他の電子装置が図１の説明的なスマートフォンと置き換えられてもよいことは、本開示の利益を有する当業者には明らかであろう。例えば、電子装置１００は、従来のデスクトップコンピュータ、デジタルカメラ、パームトップコンピュータ、スマートフォン、ゲーム機、メディアプレーヤ、または他の装置と等しくてもよい。電子装置１００はまた、スマートウォッチ、ペンダント、または他のウェアラブル装置などのウェアラブル装置であってもよい。
【００１７】
様々な構成要素がより明確に見えるように、この例示的な電子装置１００を、部分的な分解組立図で図１に示す。電子装置１００は、ハウジング１０１、ディスプレイ１０２、撮像素子１０３、および前板１０４を備える。本例示的実施形態において、撮像素子１０３がディスプレイの下に配置されていることから、撮像素子１０３およびディスプレイ１０２は併設されている。併設した位置付けに対応するように、本例示的実施形態において、ディスプレイは、光透過性基板１０５上に形成されるアクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイを備える。しかしながら、透明基板を採用する他の種類のディスプレイが本開示の利益を有する当業者には明らかであることに留意されたい。これらの他のディスプレイのいくつかの例は、図３〜図５を参照して、以下で説明する。
【００１８】
上側から開始すると、前板１０４が提供されている。本例示的実施形態において、前板１０４は、ディスプレイの上に配置されるハウジング１０１の主面を画定する。前板１０４は、ガラスまたは薄膜シートで製造されていてもよい。前板１０４は、カバーまたはハウジングであり、取り外し可能であってもそうでなくてもよい。カバー層を製造するのに好適な材料として、透明または半透明のプラスチックフィルム、ガラス、プラスチック、または強化ガラスが挙げられる。強化ガラスは、化学処理または熱処理などのプロセスによって強化されたガラスを含み得る。前板１０４はまた、紫外線遮断層を含んでもよい。かかる遮断層は、ディスプレイ１０２の視認性を向上させることおよび電子装置１００の内部構成要素を保護することの両方において有用である。
【００１９】
前板１０４の前面への印刷が様々な理由から望ましい。例えば、前板１０４の上に半透明の艶消し仕上げを施すために、微細なテクスチャ印刷またはオーバレイ印刷が望ましい場合がある。かかる仕上げは、鋭利な物体または指紋による表面上の傷を防止するのに有用である。前板１０４は、ディスプレイ１０２をタッチセンサディスプレイに変える、静電容量式センサとして機能する複数のインジウムスズ酸化物電極または他の電極を含み得る。タッチセンサとして構成された場合、ユーザは、指、スタイラス、またはディスプレイに近接して配置された他の物体からのタッチ入力を伝達することによって、ユーザ入力をディスプレイ１０２に伝達することができる。
【００２０】
前板１０４の下には、ディスプレイ１０２が配置されている。ディスプレイ１０２は、電子装置１００のハウジング１０１によって支持されている。一実施形態において、ディスプレイ１０２は、上述した通り、光透過性基板上に形成された有機発光ダイオードディスプレイを備える。しかしながら、ディスプレイ１０２の他の構成を、図３〜図５を参照して以下で説明する。
【００２１】
ディスプレイ１０２の下には、撮像素子１０３がある。一実施形態において、撮像素子１０３は、デジタルカメラを備える。撮像素子は、ディスプレイ１０２に近接して配置される複数のカメラを代替的に含み得る。複数のカメラが撮像素子１０３として使用される場合、これらのカメラを、空間的に様々に、電子装置１００に沿って配向することができる。例を挙げて示すと、一実施形態において、カメラは、例えば、電子装置１００のディスプレイ１０２またはハウジング１０１の中心部の近傍で、互いに近傍に集中していてもよい。別の実施形態において、カメラは、ディスプレイ１０２によって画定される表面領域にわたって空間的に配向され得る（例えば、中心部の１つのカメラおよび他の４つのカメラ、ハウジング１０１の４つの角部のそれぞれに１つのカメラ）。複数のカメラが使用される場合、１以上のプロセッサは、各カメラが受光したディスプレイ１０２からの反射光を取り込み、記録することができる。１以上のプロセッサは、次いで、この情報を使用して、ディスプレイ出力のレベル（例えば、色強度および色バランス）をディスプレイ１０２上の画素位置の関数として修正して暗い角部を（中心部と比較して）明るくしたり、一貫した色バランスに合わせたりなどすることによって、リアルタイムの閉ループフィードバックシステムで画質を向上させることができる。
【００２２】
一実施形態において、撮像素子１０３は、背景の各計測を行って、その設定、画像の取り込み、および画像のプレビューを調節することができる。画像が取り込まれると、取り込まれた画像は、メモリに記録される。画像をプレビューすると、画像は、ディスプレイ１０２上に表示するために、電子装置の１以上のプロセッサに送達される。画像をプレビューする際、１以上のプロセッサにおいて、一時的なバッファリングのみを伴う電子信号が発生しているため、画像は、メモリに一時的に書き込まれるか、ディスプレイ１０２に直接送達されるかのいずれかであり得る。
【００２３】
本例示的実施形態において、撮像素子は、ディスプレイ１０２の光透過性基板１０５の下に配置されている。基板１０５が、本実施形態において光透過性であるため、撮像素子１０３は、ディスプレイ１０２の状態（つまり、ディスプレイ１０２が画像を表示しているかどうか）にかかわらず、ディスプレイ１０２を通じて画像を取り込むことができる。しかしながら、撮像素子１０３およびディスプレイ１０２が、本実施形態において併設されているため、撮像素子１０３が画像を取り込んでいる際、ディスプレイ１０２からの光は、前板１０４から撮像素子１０３へと反射し得る。有利には、本開示の実施形態は、撮像素子１０３が画像を取り込む間、ディスプレイの表示を変更して、画質を向上させ得る方法およびシステムを提供する。これを、以下でより詳細に説明する。
【００２４】
この説明的な電子装置１００はまた、ハウジング１０１を含む。いくつかの機能がハウジング１０１に組み込まれ得る。かかる機能の例として、マイクロフォンまたはスピーカポートが挙げられる。本例示的実施形態において、ボタンまたはタッチセンサ面であり得るユーザインタフェース構成要素１０６もまた、図１に示すように、ハウジング１０１に沿って配置することができる。
【００２５】
ここで図２を参照すると、本開示の１以上の実施形態に従って構成された説明的な電子装置の概略ブロック図２００が示されている。一実施形態において、電子装置は、１以上のプロセッサ２０１を備える。１以上のプロセッサ２０１は、本開示の実施形態に従って構成された電子装置のディスプレイ２０２および他の構成要素と共に動作可能である。１以上のプロセッサ２０１は、マイクロプロセッサ、処理構成要素のグループ、１以上のＡＳＩＣ、プログラマブル論理、または他の種類の処理装置を含み得る。１以上のプロセッサ２０１は、本開示の実施形態に従って構成された電子装置の様々な構成要素と共に動作可能であり得る。１以上のプロセッサ２０１は、実行可能なソフトウェアコードを処理および実行して、本開示の実施形態に従って構成された電子装置の様々な機能を実施するように構成され得る。
【００２６】
メモリ２０７などの記憶装置は、動作中、１以上のプロセッサ２０１によって使用される実行可能なソフトウェアコードを任意選択的に記憶することができる。メモリ２０７は、静的メモリ構成要素および動的メモリ構成要素のうち一方または両方を含んでもよく、埋め込みコードおよびユーザデータの両方を記憶するために使用してもよい。ソフトウェアコードは、本開示の実施形態に従って構成された電子装置の様々な機能を動作し、また、ソフトウェアまたはファームウェアのアプリケーションおよびモジュールを実行する、プログラム命令および方法を具現化する。１以上のプロセッサ２０１は、このソフトウェアまたはファームウェアを実行しておよびモジュールと相互作用して、あるいはこのソフトウェアまたはファームウェアを実行してまたはモジュールと相互作用して、装置の機能性を提供することができる。
【００２７】
本例示的実施形態において、概略ブロック図２００はまた、１以上の他の装置またはネットワークとの有線または無線通信のために構成され得る任意選択的な通信回路２０４を備える。ネットワークは、広域ネットワーク、ローカルエリアネットワーク、および／またはパーソナルエリアネットワークを含み得る。広域ネットワークの例として、ＧＳＭ（登録商標）、ＣＤＭＡ、Ｗ−ＣＤＭＡ、ＣＤＭＡ−２０００、ｉＤＥＮ、ＴＤＭＡ、第２．５世代３ＧＰＰ  ＧＳＭネットワーク、第３世代３ＧＰＰ  ＷＣＤＭＡネットワーク、３ＧＰＰロングタームエボリューション（ＬＴＥ）ネットワーク、３ＧＰＰ２  ＣＤＭＡ通信ネットワーク、ＵＭＴＳネットワーク、Ｅ−ＵＴＲＡネットワーク、ＧＰＲＳネットワーク、ｉＤＥＮネットワーク、および他のネットワークが挙げられる。
【００２８】
通信回路２０４はまた、限定するわけではないが、ＨｏｍｅＲＦ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１（ａ、ｂ、ｇ、またはｎ）などのピアツーピアまたはアドホック通信、ならびに赤外線技術などの他の形態の無線通信などの通信のために、無線技術を利用してもよい。通信回路２０４は、無線通信回路と、受信機、送信機、または送受信機のうちの１つと、１以上のアンテナと、を含み得る。
【００２９】
１以上のプロセッサ２０１はまた、他の構成要素２０５と共に動作可能であり得る。他の構成要素２０５は、マイクロフォンなどの音響検出器を含み得る。他の構成要素２０５はまた、近接対象物の存在を検出するための１以上の近接センサを含み得る。他の構成要素２０５は、光センサなどの映像入力構成要素、ならびにボタン、タッチパッドセンサ、タッチスクリーンセンサ、静電容量式センサ、モーションセンサ、およびスイッチなどの機械入力構成要素を含んでもよい。同様に、他の構成要素２０５は、映像、音声、および／または機械出力などの出力構成要素を含み得る。出力構成要素の他の例として、スピーカポートもしくは他の警報器などの音声出力構成要素、および／またはブザー、および／または振動機構もしくはモーションベース機構などの機械出力構成要素が挙げられる。他の構成要素２０５は、垂直配向、一定の傾き、および／または装置が静止しているかどうかを示すための加速度計をさらに含んでもよい。
【００３０】
１以上のプロセッサ２０１は、本開示の１以上の実施形態に従って構成された電子装置の主要機能を実行することに関与し得る。例えば、一実施形態において、１以上のプロセッサ２０１は、ユーザに提示情報を表示するための、ディスプレイ２０２を含み得る１以上のユーザインタフェース装置と共に動作可能な１以上の回路を備える。１以上のプロセッサ２０１が使用する実行可能なソフトウェアコードは、１以上のプロセッサ２０１と共に動作可能な１以上のモジュールとして構成され得る。かかるモジュールは、命令および制御アルゴリズムなどを記憶することができる。一実施形態において、モジュールは、画像処理エンジン２０６を備える。一実施形態において、画像処理エンジン２０６は、メモリ２０７に記憶されているソフトウェアを備える。しかしながら、別の実施形態において、画像処理エンジン２０６は、１以上のプロセッサ２０１に組み込まれているハードウェア構成要素またはファームウェア構成要素も備え得る。
【００３１】
１以上の実施形態において、画像処理エンジン２０６は、撮像素子２０３と共に動作可能である。画像処理エンジン２０６は、一実施形態において、撮像素子２０３が受信した画像内の特定の特徴を認識することができる。画像処理エンジン２０６は、撮像素子２０３から電子信号を受信することができ、その信号を処理して、画像内に生じる様々なパラメータを検出することができる。そのパラメータには、特定の背景の画像に関連付けられた１以上のフレームのダイナミックレンジ、所与の背景における最も明るい要素と所与の背景における最も暗い要素との輝度比、特定の背景の画像に関連付けられた１以上のフレームの変調光データ、特定の背景の画像に関連付けられた１以上のフレームの空間的特徴、特定の背景の画像に関連付けられた１以上のフレームの色、特定の背景の画像に関連付けられた１以上のフレームの色相、特定の背景の画像に関連付けられた１以上のフレームの歪み、特定の背景の画像に関連付けられた１以上のフレームの望ましくない特徴、特定の背景の画像に関連付けられた１以上のフレームの動き、特定の背景の画像に関連付けられた１以上のフレームの反射、および他のパラメータが含まれる。
【００３２】
１以上の実施形態において、画像処理エンジン２０６は、歪み検出モジュールを含み得る。画像処理エンジン２０６は、撮像素子２０３によって取り込まれた画像における歪みまたは他の望ましくない特徴を検出し得る。この検出は、多数の方法で行われ得る。１以上の実施形態において、画像処理エンジン２０６は、不均衡状態、フラッシュ、フレア、ブレ、ヘイズ、ピンぼけ状態、それらの組み合わせ、または他の歪みもしくは不当な特徴のうち１以上を検出し得る。
【００３３】
例を挙げて示すと、画像処理エンジン２０６は、画像内に生じるラインのシャープさおよび他の描写を評価して、ブレ、ヘイズ、ピンぼけ状態、または他の目に見える歪みを検出することができる。同様に、画像処理エンジン２０６は、画素ずらし法を実行して、ジッタが歪みを検出するための所定のジッタ差閾値を下回るかどうかを判定することによって、画像内に生じる閾値ノイズレベルを判定することができる、あるいは画像内に生じるジッタの量を判定することができる。他の歪み技術が、本開示の利益を有する当業者には明らかであろう。
【００３４】
一実施形態において、１以上のプロセッサ２０１は、画像処理エンジン２０６によって画像内に検出された望ましくない品質の程度に基づいて、命令を生成してもよい。例えば、１以上のプロセッサ２０１は、撮像素子２０３が画像を取り込んでいる間、ディスプレイ２０２を作動、非作動、あるいは制御して、ディスプレイ２０２の表示を変更して、全体的な画質を向上させてもよい。一実施形態において、１以上のプロセッサ２０１は、（有機発光ダイオードディスプレイの場合、ダイオードである）発光素子をオフにすることによって、ディスプレイ２０２の表示を変更することができる。
【００３５】
別の実施形態において、１以上のプロセッサ２０１は、ディスプレイ２０２上に画像フィルタリング表示を表示することによって、ディスプレイ２０２の表示を変更することができる。フィルタリング表示を提供するために表示される画像は、撮像素子２０３が背景を計測している際に画像処理エンジン２０６から受信した情報に基づく、フィルタ選択またはモデリングなどのパラメータまたは手法の関数であり得る。１以上の実施形態において、画像フィルタリング表示は、画像処理エンジンによって画定される画像に関連付けられたトランスミッションマップの関数として画像の画素をフィルタリングする撮像素子２０３に光をもたらす色または明度レベルを含み得る。例えば、画像処理エンジン２０６は、識別された背景の輝き、反射、フレア、および他の望ましくない特徴を補正することができる。
【００３６】
さらに別の実施形態において、１以上のプロセッサ２０１は、ディスプレイ上に画像補正表示を表示することによって、ディスプレイ２０２の表示を変更することができる。例を挙げて示すと、画像処理エンジン２０６は、画像に現れる歪みまたは望ましくない特徴の指標を識別し得る。この指標に基づいて、１以上のプロセッサ２０１は、ディスプレイ２０２上に、この歪みまたはこれらの望ましくない特徴を軽減、阻止、または低減するように意図されたカウンタ画像を表示し得る。ディスプレイ２０２からのどの程度の光が前板から反射しているか、あるいは撮像素子２０３に向いているかを推定する光反射モジュールは、画像補正表示の色、強度、パターン、および経時的な光学特性を変えるために使用され得る。画像補正表示は、いくつかの実施形態において、画像フィルタリング表示と組み合わせて表示され得る。
【００３７】
上で記載した例は、撮像素子２０３が画像を取り込んでいる間にディスプレイ２０２上に現れ得る無数の画像フィルタリング表示および画像補正表示のうちのごく一部のみを示している。重み付きマップ、ラプラシアン調整スケール、または他の手法を使用して、画像フィルタリング表示および画像補正表示を判定することができる。さらに他の手法が、本開示の利益を有する当業者には明らかであろう。また、これらの効果は、撮像素子２０３が画像を取り込んでいるとき、または撮像素子２０３が画像を計測しているとき、つまり撮像素子２０３が受信した光を計測しているときのうち一方または両方に適用できることに留意されたい。
【００３８】
図１は、例示を目的としてのみ提供され、かつ本開示の１以上の実施形態に従って構成された説明的な電子装置の構成要素を例示するために提供されており、電子装置に必要な様々な構成要素の完璧な概略図を意図するものではないことを理解されたい。したがって、本開示の実施形態に係る他の電子装置は、図２に図示されていない様々な他の構成要素を含んでもよく、あるいは２つもしくはそれ以上の構成要素の組み合わせまたは２つもしくはそれ以上の別個の構成要素への特定の構成要素の分割を含んでいてもよく、依然として本開示の範囲内であり得る。
【００３９】
ここで図３を参照すると、本開示の１以上の実施形態に従って構成された別の電子装置３００が示されている。電子装置３００は、ハウジング３０１を備える。ハウジング３０１は、前板３０４を備える。一実施形態において、前板３０４は、ハウジング３０１の主面を画定する。
【００４０】
本例示的実施形態において、ディスプレイ３０２は、光透過性基板３０５上に形成されている。光透過性基板３０５は、本実施形態において、ハウジング３０１によって支持され、前板３０４の内部に配置されている。撮像素子３０３は、ディスプレイ３０２に併設して位置する。本例示的実施形態において、ディスプレイ３０２は、撮像素子３０３と前板３０４との間に配置されている。
【００４１】
ハウジング３０１内に配置されている１以上のプロセッサは、ディスプレイ３０２および撮像素子３０３と共に動作可能である。一実施形態において、１以上のプロセッサは、撮像素子３０３が画像を取り込む際、または背景に関連付けられた受信した光を計測する際に、ディスプレイ３０２の表示を変更するように構成されている。例えば、一実施形態において、１以上のプロセッサは、ディスプレイ３０２の発光ダイオードをオフにすることによって、ディスプレイ３０２の表示を変更する。別の実施形態において、１以上のプロセッサは、ディスプレイ３０２上に画像フィルタリング表示を表示することによって、ディスプレイ３０２の表示を変更する。さらに別の実施形態において、１以上のプロセッサは、ディスプレイ３０２上に画像補正表示を表示することによって、ディスプレイ３０２の表示を変更する。
【００４２】
ここで図４を参照すると、本開示の１以上の実施形態に従って構成された別の電子装置４００が示されている。電子装置４００は、ハウジング４０１を備える。ハウジング４０１は、前板４０４を備える。一実施形態において、前板４０４は、ハウジング４０１の主面を画定する。
【００４３】
本例示的実施形態において、ディスプレイ４０２は、基板４０５上に形成されており、基板４０５は、光透過性である必要はない。本実施形態において、基板４０５は、アパーチャ４０６を画定する。撮像素子４０３は、図４に見られるように、アパーチャ４０６と軸方向に位置合わせされている、つまり同軸状に位置合わせされている。本構成では、撮像素子４０３は、画像を取り込む際、または背景に関連付けられた受信した光を計測する際に、アパーチャ４０６を介して光を受け取り得る。
【００４４】
ハウジング４０１内に配置されている１以上のプロセッサは、ディスプレイ４０２および撮像素子４０３と共に動作可能である。一実施形態において、１以上のプロセッサは、撮像素子４０３が画像を取り込む際、または背景に関連付けられた受信した光を計測する際に、ディスプレイ４０２の表示を変更するように構成されている。例えば、一実施形態において、１以上のプロセッサは、ディスプレイ４０２の発光ダイオードをオフにすることによって、ディスプレイ４０２の表示を変更する。別の実施形態において、１以上のプロセッサは、ディスプレイ４０２上に画像フィルタリング表示を表示することによって、ディスプレイ４０２の表示を変更する。さらに別の実施形態において、１以上のプロセッサは、ディスプレイ４０２上に画像補正表示を表示することによって、ディスプレイ４０２の表示を変更する。
【００４５】
ここで図５を参照すると、本開示の１以上の実施形態に従って構成されたさらに別の電子装置５００が示されている。電子装置５００は、ハウジング５０１を備える。ハウジング５０１は、前板５０４を備える。一実施形態において、前板５０４は、ハウジング５０１の主面を画定する。
【００４６】
本例示的実施形態において、ディスプレイ５０２は、基板５０５上に形成されており、基板５０５は、光透過性である必要はない。撮像素子５０３は、ディスプレイ５０２に近接して位置する、つまり、撮像素子５０３は、ディスプレイがオンである場合に、ディスプレイ５０２からの光が撮像素子５０３によって受光される位置に位置する。本例示的実施形態において、撮像素子５０３は、ディスプレイ５０２に隣接している。
【００４７】
撮像素子５０３は、電子装置５００の前板５０４からの反射または他の方法によってディスプレイ５０２からの光を受け取り得るため、１以上の実施形態において、電子装置５００の１以上のプロセッサは、撮像素子５０３が画像を取り込む際にディスプレイ５０２の表示を変更して、全体的な画質を向上させるように動作可能である。一実施形態において、１以上のプロセッサは、撮像素子５０３が画像を取り込む際、または背景に関連付けられた受信した光を計測する際に、ディスプレイ５０２の表示を変更するように構成されている。例えば、一実施形態において、１以上のプロセッサは、ディスプレイ５０２の発光ダイオードをオフにすることによって、ディスプレイ５０２の表示を変更する。別の実施形態において、１以上のプロセッサは、ディスプレイ５０２上に画像フィルタリング表示を表示することによって、ディスプレイ５０２の表示を変更する。さらに別の実施形態において、１以上のプロセッサは、ディスプレイ５０２上に画像補正表示を表示することによって、ディスプレイ５０２の表示を変更する。ここで図６〜図１０を参照すると、これらのディスプレイ表示変更技術の例が示されている。
【００４８】
図６から見ていくと、６１１において、ユーザ６１０は、本開示の１以上の実施形態に従って構成された電子装置６００を使用している。電子装置６００は、光透過性基板６０５上に形成されているディスプレイ６０２を備える。撮像素子（図示せず）は、ディスプレイ６０２に併設して位置する。本例示的実施形態において、ディスプレイ６０２は、撮像素子と前板６０４との間に配置されている。
【００４９】
６１１において、第１の表示６１６がディスプレイ６０２上に表示されている。本例において、電子装置６００の１以上のプロセッサは、表示６１６として、ディスプレイ６０２上にコンテンツ６１２を表示している。この例示的な例において、コンテンツ６１２は、バスターのチキンシャックとマック・アンド・ヘンリーのパブ（Ｂｕｓｔｅｒ’ｓ  Ｃｈｉｃｋｅｎ  Ｓｈａｃｋ  ａｎｄ  Ｍａｃ  ａｎｄ  Ｈｅｎｒｙ’ｓ  Ｐｕｂ）の写真である。ユーザ６１０は、最近食べたバスターのチキンシャックでの食事が素晴らしかったため、カメラを起動させて、自身の指６１３で制御ボタン６０６に触れることによって、「セルフィー」を撮ることにする。ユーザは、次いで、バスターがチキンシャックを宣伝するために開設したソーシャルメディアサイトに写真を投稿する。
【００５０】
本開示の実施形態では、撮像素子が、ディスプレイ６０２に併設、あるいはコンテンツ６１２を表示するために使用されるディスプレイからの光が電子装置６００の前板６０４から反射し得るか、もしくは撮像素子によって取り込まれ得るだけディスプレイ６０２の近くに配置される場合、歪みまたは他の望ましくない視覚的アーチファクトが画像に現れ得ることを想定する。これは、芳しくない写真によってユーザのバスターのチキンシャックに対する５つ星のレビューの価値が下がる可能性があるため、ユーザ６１０にとって望ましくないであろう。
【００５１】
撮像素子は、ディスプレイ６０２がコンテンツ６１２を表示している際は、電子装置６００の前板６０４からの反射または他の方法によってディスプレイ６０２からの光を受け取り得るため、１以上の実施形態において、電子装置６００の１以上のプロセッサは、撮像素子がユーザ６１０のセルフィーを取り込む際にディスプレイ６０２の表示を変更して、全体的な画質を向上させるように動作可能である。本例示的実施形態において、コンテンツ６１２からの光が撮像素子に到達するのを防ぐために、１以上のプロセッサは、ディスプレイ６０２の発光素子をオフにすることによって、ディスプレイ６０２の表示を変更する。
【００５２】
６１４に示すように、１以上のプロセッサは、撮像素子６０３がユーザ６１０の画像６１５を取り込む際、ディスプレイ６０２の発光素子をオフにしている。これにより、ディスプレイ６０２からの光が撮像素子６０３へと再指向されて、画像の質が下がることを防止する。図７に示すように、セルフィー７０１は、正確かつ鮮明であり、ディスプレイ６０２上に先に表示されていたコンテンツ（６１２）からのアーチファクトもなかった。ユーザ６１０がセルフィー７０１の確認およびバスターのサイトへのセルフィーの投稿を終えると、１以上のプロセッサは、一実施形態において、撮像素子（６０３）が画像（６１５）を取り込んだ後、ディスプレイ６０２上に第１の画像表示、つまりコンテンツ（６１２）を再度表示する。
【００５３】
ここで図８を参照すると、ユーザ６１０は、本開示の１以上の実施形態に従って構成された電子装置６００を再度使用している。ここで、電子装置６００は、音楽プレーヤモードで機能している。電子装置６００の１以上のプロセッサは、ディスプレイ６０２上にコンテンツ８１２を表示している。この例示的な例において、ユーザ６１０は、チキンシャックブギウギ（Ｃｈｉｃｋｅｎ  Ｓｈａｃｋ  Ｂｏｏｇｉｅ  Ｗｏｏｇｉｅ）を演奏しているバスターとそのブルース演奏家たち（Ｂｕｓｔｅｒ  ａｎｄ  ｈｉｓ  Ｂｌｕｅｓｍｅｎ）の心地のよい音色を楽しんでいる。この音楽を単に聴くだけではなく体験するために、ユーザは、大束の光８０２および他の光学効果を発する、ユーザにとって便利なミラーボール８０１の電源を入れている。これらは、音楽にとっては素晴らしいが、撮像素子によって取り込まれる画像の質を下げ得る。バスターのチキンシャック（Ｂｕｓｔｅｒ’ｓ  Ｃｈｉｃｋｅｎ  Ｓｈａｃｋ）の大ファンであるため、ユーザ６１０は、ユーザが踊っているところを映した第２のセルフィーを撮ることを望んでおり、ユーザは次いで、バスターの大ファンであることを示すために、ソーシャルメディアサイトに投稿するつもりである。
【００５４】
本開示の実施形態では、ディスプレイ上に表示されたコンテンツ８１２が撮像素子に反射し得る一方、いくつかの例において、周囲の状況からより大きな歪みまたは望ましくない特徴が発生することを想定する。ミラーボール８０１を画像内に映し込むことが望ましいが、望ましくない光学効果がセルフィーの質を下げ、その結果、芳しくない写真となり得る。
【００５５】
撮像素子は、歪みを形成し得るミラーボール８０１からの光８０２を受光し得るため、１以上の実施形態において、電子装置６００の１以上のプロセッサは、撮像素子がユーザ６１０のセルフィーを取り込む際にディスプレイ６０２の表示を変更して、全体的な画質を向上させるように動作可能である。本例示的実施形態において、ミラーボール８０１からの光８０２の効果を軽減させるため、１以上のプロセッサは、ディスプレイ６０２上に画像補正表示を表示することによって、ディスプレイ６０２の表示を変更する。
【００５６】
図９を参照すると、撮像素子がユーザ６１０の画像９１５を取り込む間、１以上のプロセッサは、ディスプレイ６０２上に画像補正表示９０１を表示している。ミラーボール８０１がユーザ６１０の右側にあるため、ディスプレイ６０２の右側が黒くなり、ディスプレイ６０２の左側は白い。これにより、画像の右側が和らげられ、画像の左側が引き立てられて、これらの望ましくない品質を補正する。上述した通り、画像補正表示９０１は、他の形態をとってもよい。背景が暖かすぎる場合、寒色を表示することで暖かみを軽減することができる。また、画像補正表示および画像フィルタリング表示は、背景の品質変化も補正するように経時的であり得る。さらに他の画像補正表示が、本開示の利益を有する当業者には明らかであろう。
【００５７】
ここで図１０を参照すると、ユーザ６１０は、ブラインドデートの準備ができている。レストランで顔を合わせる際にデート相手がユーザを認識するように、ユーザは、デート相手に自身の写真を送信する必要がある。しかしながら、ユーザは、時々、ユーザからの鋭い反射が、ユーザの写真の品質を低減させる場合があることを認識している。したがって、ユーザは、これらのマイナスの効果を軽減することを望んでいる。
【００５８】
本開示の実施形態では、ユーザは、画像フィルタリングアプリケーションを用いることによって、マイナスの効果を軽減することができる。アクティブである場合、電子装置６００の１以上のプロセッサは、撮像素子がユーザ６１０の画像１０１５を取り込んでいる際、ディスプレイ６０２上に画像フィルタリング表示１００１を表示することによって、ディスプレイ６０２の表示を変更する。ここで、画像フィルタリング表示１００１は、ユーザの皮膚からの反射を和らげる青色のスクリーンである。しかしながら、他の画像フィルタリング表示を使用することも可能である。撮像素子が画像１０１５を取り込む際に、例えば、ユーザ６１０がバラ色のフィルタを通して取り込んだ画像を望むと、ディスプレイ６０２は、バラ色を呈し得る。撮像素子およびディスプレイ６０２は、近接して位置するため、バラ色の光の一部が撮像素子に入り込み、それによって画像補正効果をもたらす。他の画像フィルタリング表示が本開示の利益を有する当業者には明らかであろう。１０１４に示すように、フィルタ処理された画像１０１６が結果として生じる。
【００５９】
電子画像処理は、仮想フィルタを適用するために使用され得るが、図１０に示すようなフィルタリングは、特定の利点を有する。画像を単に、より「青く」またはより「バラ色に」することとは対照的に、図１０に示す方法は、ツートーンフラッシュまたはマルチトーンフラッシュなどの電子装置によって影響され得るホワイトバランスを有利に修正することができる。ディスプレイ６０２は、色を呈して、照明環境を調整または補正することができる。
【００６０】
図６〜図１０の手法を使用して、静止画および動画の両方の品質を向上させることができる。静止画像フィルタリング表示および画像補正表示を用いて、静止画を例として使用したが、これらの手法を多重画像に応用することも可能である。また、画像フィルタリング表示および画像補正表示は、複数の画像にわたってまたは単一の画像において、経時的でもあり得る。例えば、一実施形態において、ディスプレイの発光素子を単にオフにすることによって、ディスプレイの表示を変更することができる。しかしながら、別の実施形態において、撮像素子から見える要素からディスプレイ上に表示されている要素を取り去った画像表示によって、画質を向上できる。かかる画像表示は、例えば室内の外乱光または人の皮膚もしくは衣類からの反射光などによって生じるノイズおよび他の歪みに対して補正効果をもたらすことができる。かかる実施形態においては、ディスプレイをオフにすることよりも、ディスプレイの戦略的作用が、画質の向上に働きかける。
【００６１】
ここで図１１を参照すると、本開示の１以上の実施形態に係る１つの説明的な方法１１００が示されている。ステップ１１０１から見ていくと、電子装置の１以上のプロセッサは、電子装置のディスプレイ上に第１の画像表示を表示する。
【００６２】
ステップ１１０２において、１以上のプロセッサは、ディスプレイに第２の画像表示を表示させることによって、ディスプレイを変更する。一実施形態において、ステップ１１０２の第２の画像表示は、ディスプレイによる発光がないことを含む。別の実施形態において、ステップ１１０２の第２の画像表示は、画像補正表示を含む。さらに別の実施形態において、ステップ１１０２の第２の画像表示は、画像フィルタリング表示を含む。
【００６３】
ステップ１１０３において、１以上のプロセッサは、撮像素子に、画像を取り込ませる。１以上の実施形態において、ステップ１１０２およびステップ１１０３は、同時に発生して、画質を向上させる。１以上の実施形態において、同時に起こる動作により、前板から撮像素子への第２の画像表示の少なくとも一部分の反射（ステップ１１０４）が生じる。
【００６４】
ステップ１１０５において、１以上のプロセッサは、撮像素子が画像を取り込んだ後、第２の画像表示の表示を中止する。任意選択的なステップ１１０６において、１以上のプロセッサは、撮像素子が画像を取り込んだ後、ディスプレイ上に第１の画像表示を再度表示することができる。
【００６５】
前述の明細書において、本開示の具体的な実施形態を説明してきた。しかしながら、当業者であれば、以下の特許請求の範囲に記載の通り、本開示の範囲から逸脱することなく、様々な修正および変更が可能であることが理解されるであろう。よって、本開示の好ましい実施形態を図示および説明してきたが、本開示がそれらに限定されないことは明らかである。以下の特許請求の範囲に規定される通り、本開示の趣旨および範囲から逸脱することなく、多数の修正例、変更例、変形例、代替案、および等価物が当業者には想到されるであろう。したがって、本明細書および図は、限定的よりも例示的なものとして考慮されるべきであり、全てのこのような修正例は、本開示の範囲内に含まれることが意図される。任意の利益、利点、解決策をもたらし得るか、あるいはより明白にし得る、利益、利点、問題に対する解決策、および任意の要素は、任意のまたは全ての特許請求の範囲の重要な、必要な、または必須の特徴もしくは要素として解釈されるべきではない。
【図１】
2018067915.tif 000003
【図２】
2018067915.tif 000004
【図３】
2018067915.tif 000005
【図４】
2018067915.tif 000006
【図５】
2018067915.tif 000007
【図６】
2018067915.tif 000008
【図７】
2018067915.tif 000009
【図８】
2018067915.tif 000010
【図９】
2018067915.tif 000011
【図１０】
2018067915.tif 000012
【図１１】
2018067915.tif 000013