(57)【要約】  色転写技法のために複数の縮尺において色測定特徴を使用するための方法および装置が開示される。一実施形態では、実装される機能は、グラウンドトゥルースの画像ターゲットフレームを複数の異なる縮尺へとサイズ変更することと、複数の異なる縮尺の各々におけるグラウンドトゥルースの画像ターゲットフレームから1つまたは複数の色測定特徴を選択することと、グラウンドトゥルースの画像ターゲットフレームの中の各色測定特徴に対する色測定を行うことと、色測定に少なくとも部分的に基づいて拡張フレームの中の仮想オブジェクトの色を調整することとを含む。
2018512641.tif 000002
【特許請求の範囲】
【請求項１】
色転写技法のために複数の縮尺において色測定特徴を使用するための方法であって、
グラウンドトゥルースの画像ターゲットフレームを複数の異なる縮尺へとサイズ変更するステップと、
前記複数の異なる縮尺の各々における前記グラウンドトゥルースの画像ターゲットフレームから1つまたは複数の色測定特徴を選択するステップと、
前記グラウンドトゥルースの画像ターゲットフレームの中の各色測定特徴に対する色測定を行うステップと、
前記色測定に少なくとも部分的に基づいて、拡張フレームの中の仮想オブジェクトの色を調整するステップと
を備える、方法。
【請求項２】
前記色測定に少なくとも部分的に基づいて前記仮想オブジェクトの前記色を前記調整するステップが、
入ってくる画像ターゲットフレームから1つまたは複数の色測定特徴を選択するステップと、
前記入ってくる画像ターゲットフレームの中の各色測定特徴に対する色測定を行うステップと、
前記グラウンドトゥルースの画像ターゲットフレームの中の色測定特徴の前記色測定と、前記入ってくる画像ターゲットフレームの中の色測定特徴の前記色測定とに基づいて、1つまたは複数の色差分測定を行うステップと、
前記色差分測定に少なくとも部分的に基づいて、前記仮想オブジェクトの1つまたは複数の色を調整するステップと
をさらに備える、請求項1に記載の方法。
【請求項３】
前記色測定特徴が、前記入ってくる画像フレームのための姿勢推定特徴から選択される、請求項2に記載の方法。
【請求項４】
前記色測定特徴が、前記入ってくる画像フレームのための姿勢推定特徴とは無関係に定義される、請求項2に記載の方法。
【請求項５】
複数の異なる縮尺における色測定特徴が、前記色差分測定を行うステップにおいて使用される、請求項2に記載の方法。
【請求項６】
前記入ってくる画像ターゲットフレームの縮尺と最も密接に一致する前記縮尺における色測定特徴だけが、前記色差分測定を行うステップにおいて使用される、請求項2に記載の方法。
【請求項７】
照明に依存しない相関付け方法が、前記色差分測定を行うステップにおいて使用される、請求項2に記載の方法。
【請求項８】
色転写技法のために複数の縮尺において色測定特徴を使用するための装置であって、
メモリと、
プロセッサであって、
グラウンドトゥルースの画像ターゲットフレームを複数の異なる縮尺へとサイズ変更し、
前記複数の異なる縮尺の各々における前記グラウンドトゥルースの画像ターゲットフレームから1つまたは複数の色測定特徴を選択し、
前記グラウンドトゥルースの画像ターゲットフレームの中の各色測定特徴に対する色測定を行い、
前記色測定に少なくとも部分的に基づいて、拡張フレームの中の仮想オブジェクトの色を調整する
ように構成されるプロセッサと
備える、装置。
【請求項９】
前記プロセッサが、
入ってくる画像ターゲットフレームから1つまたは複数の色測定特徴を選択し、
前記入ってくる画像ターゲットフレームの中の各色測定特徴に対する色測定を行い、
前記グラウンドトゥルースの画像ターゲットフレームの中の色測定特徴の前記色測定と、前記入ってくる画像ターゲットフレームの中の色測定特徴の前記色測定とに基づいて、1つまたは複数の色差分測定を行い、
前記色差分測定に少なくとも部分的に基づいて、前記仮想オブジェクトの色を調整する
ようにさらに構成される、請求項8に記載の装置。
【請求項１０】
前記色測定特徴が、前記入ってくる画像ターゲットフレームのための姿勢推定特徴から選択される、請求項9に記載の装置。
【請求項１１】
前記色測定特徴が、前記入ってくる画像ターゲットフレームのための姿勢推定特徴とは別個に、かつ無関係に定義される、請求項9に記載の装置。
【請求項１２】
複数の異なる縮尺における色測定特徴が、前記色差分測定を行うことにおいて使用される、請求項9に記載の装置。
【請求項１３】
前記入ってくる画像ターゲットフレームの縮尺と最も密接に一致する前記縮尺における色測定特徴だけが、前記色差分測定を行うことにおいて使用される、請求項9に記載の装置。
【請求項１４】
照明に依存しない相関付け方法が、前記色差分測定を行うことにおいて使用される、請求項9に記載の装置。
【請求項１５】
色転写技法のために複数の縮尺において色測定特徴を使用するための装置であって、
グラウンドトゥルースの画像ターゲットフレームを複数の異なる縮尺へとサイズ変更するための手段と、
前記複数の異なる縮尺の各々における前記グラウンドトゥルースの画像ターゲットフレームから1つまたは複数の色測定特徴を選択するための手段と、
前記グラウンドトゥルースの画像ターゲットフレームの中の各色測定特徴に対する色測定を行うための手段と、
前記色測定に少なくとも部分的に基づいて、拡張フレームの中の仮想オブジェクトの色を調整するための手段と
を備える、装置。
【請求項１６】
前記色測定に少なくとも部分的に基づいて仮想オブジェクトの色を前記調整するための手段が、
入ってくる画像ターゲットフレームから1つまたは複数の色測定特徴を選択するための手段と、
前記入ってくる画像ターゲットフレームの中の各色測定特徴に対する色測定を行うための手段と、
前記グラウンドトゥルースの画像ターゲットフレームの中の色測定特徴の前記色測定と、前記入ってくる画像ターゲットフレームの中の色測定特徴の前記色測定とに基づいて、1つまたは複数の色差分測定を行うための手段と、
前記色差分測定に少なくとも部分的に基づいて、前記仮想オブジェクトの色を調整するための手段と
をさらに備える、請求項15に記載の装置。
【請求項１７】
前記色測定特徴が、前記入ってくる画像ターゲットフレームのための姿勢推定特徴から選択される、請求項16に記載の装置。
【請求項１８】
前記色測定特徴が、前記入ってくる画像ターゲットフレームのための姿勢推定特徴とは別個に、かつ無関係に定義される、請求項16に記載の装置。
【請求項１９】
複数の異なる縮尺における色測定特徴が、前記色差分測定を行うことにおいて使用される、請求項16に記載の装置。
【請求項２０】
前記入ってくる画像ターゲットフレームの縮尺と最も密接に一致する前記縮尺における色測定特徴だけが、前記色差分測定を行うことにおいて使用される、請求項16に記載の装置。
【請求項２１】
照明に依存しない相関付け方法が、前記色差分測定を行うことにおいて使用される、請求項16に記載の装置。
【請求項２２】
プロセッサによって実行されると、前記プロセッサに方法を実行させるコードを含む非一時的コンピュータ可読媒体であって、前記方法が、
グラウンドトゥルースの画像ターゲットフレームを複数の異なる縮尺へとサイズ変更するステップと、
前記複数の異なる縮尺の各々における前記グラウンドトゥルースの画像ターゲットフレームから1つまたは複数の色測定特徴を選択するステップと、
前記グラウンドトゥルースの画像ターゲットフレームの中の各色測定特徴に対する色測定を行うステップと、
前記色測定に少なくとも部分的に基づいて、拡張フレームの中の仮想オブジェクトの色を調整するステップと
を備える、非一時的コンピュータ可読記録媒体。
【請求項２３】
前記色測定に少なくとも部分的に基づいて仮想オブジェクトの色を調整するための前記コードが、
入ってくる画像ターゲットフレームから1つまたは複数の色測定特徴を選択し、
前記入ってくる画像ターゲットフレームの中の各色測定特徴に対する色測定を行い、
前記グラウンドトゥルースの画像ターゲットフレームの中の色測定特徴の前記色測定と、前記入ってくる画像ターゲットフレームの中の色測定特徴の前記色測定とに基づいて、1つまたは複数の色差分測定を行い、
前記色差分測定に少なくとも部分的に基づいて、前記仮想オブジェクトの色を調整する
ためのコードをさらに備える、請求項22に記載の非一時的コンピュータ可読記録媒体。
【請求項２４】
前記色測定特徴が、前記入ってくる画像ターゲットフレームのための姿勢推定特徴から選択される、請求項23に記載の非一時的コンピュータ可読記録媒体。
【請求項２５】
前記色測定特徴が、前記入ってくる画像ターゲットフレームのための姿勢推定特徴とは無関係に定義される、請求項23に記載の非一時的コンピュータ可読記録媒体。
【請求項２６】
複数の異なる縮尺における色測定特徴が、前記色差分測定を行うことにおいて使用される、請求項23に記載の非一時的コンピュータ可読記録媒体。
【請求項２７】
前記入ってくる画像ターゲットフレームの縮尺と最も密接に一致する前記縮尺における色測定特徴だけが、前記色差分測定を行うことにおいて使用される、請求項23に記載の非一時的コンピュータ可読記録媒体。
【請求項２８】
照明に依存しない相関付け方法が、前記色差分測定を行うことにおいて使用される、請求項23に記載の非一時的コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、参考として本明細書に組み込まれる2015年2月18日に出願された"USING FEATURES AT MULTIPLE SCALES FOR COLOR TRANSFER IN AUGMENTED REALITY"という名称の米国特許出願第14/625,380号からの優先権の利益を主張する。
【０００２】
本明細書において開示される主題は、電子デバイスに関し、より具体的には、電子デバイスによって実装される拡張現実環境とともに使用するための方法および装置に関する。
【背景技術】
【０００３】
拡張現実技術では、生の、もしくは事前に記録されたビデオフィード、または一連の関連する画像が、1つまたは複数の仮想オブジェクトにより拡張され得る。仮想オブジェクトによって拡張されるビデオフィード、ビデオフィードのフレーム、または関連する画像は、以後画像ターゲットと呼ばれ得る。仮想オブジェクトは、それが画像ターゲットにおける現実世界のシーンの一部であるかのように見えるように、画像ターゲットの上に重畳される。画像ターゲットの姿勢は既知の方法により追跡されることがあり、それに従って、仮想オブジェクトの姿勢は仮想オブジェクトの現実感を保つように調整されることがある。
【０００４】
画像ターゲットにおいて照明条件が変化するとき、仮想オブジェクトの色が画像ターゲットにおける照明条件の変化を反映するように仮想オブジェクトの色を調整することによって、仮想オブジェクトの現実感を保つために、色転写と呼ばれる既知の技術が使用され得る。照明条件が中立である画像ターゲットフレームが、照明条件の変化を測定するためのグラウンドトゥルース、すなわちベースラインとして使用され得る。大まかに言えば、色転写技法は、入ってくる画像ターゲットフレームの色とグラウンドトゥルースの画像ターゲットフレームの色との色差分を測定し、それに従って仮想オブジェクトの色を調整する。色転写関数が、プロセスにおいて導出され利用されることがあり、色転写関数は、グラウンドトゥルースの画像ターゲットフレームの色、入ってくる画像ターゲットフレームの色、および調整前の仮想オブジェクトの色を考慮し、仮想オブジェクトに適した調整された色を提供することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
既知の色転写技法は、ある状況のもとで、不正確な、予想されない、または理想的ではない結果をもたらすことがある。たとえば、遮蔽の影響を受けやすいことがある。色転写プロセスにおける色差分の測定は、たとえば、グラウンドトゥルースの画像ターゲットフレームに存在しない手などの遮っている物体が、入ってくる画像ターゲットフレームに現れるときに、不正確になることがあり、または矛盾したものになることがある。遮っている物体の色とグラウンドトゥルースの色が同じ物理的な物体と関連付けられないのでそれらが比較できるものではないときに、色差分を導出するために、既知の色転写プロセスによって、遮っている物体の色がグラウンドトゥルースの色と比較されることがあり、不正確な色差分の測定結果をもたらす。これらの不正確な色差分の測定結果を使用すると、既知の色転写技法は、仮想オブジェクトに対して誤った色の調整を適用することがある。既知の色転写技法はまた、入ってくる画像ターゲットフレームに縮尺の変化があるとき(たとえば、入ってくる画像ターゲットフレームがズームインまたはズームアウトされたビューを表現するとき)、理想的ではない結果を生成することがある。
【課題を解決するための手段】
【０００６】
本明細書において開示される実施形態は、グラウンドトゥルースの画像ターゲットフレームを複数の異なる縮尺へとサイズ変更するステップと、複数の異なる縮尺の各々におけるグラウンドトゥルースの画像ターゲットフレームから1つまたは複数の色測定特徴を選択するステップと、グラウンドトゥルースの画像ターゲットフレームの中の各色測定特徴に対する色測定を行うステップと、色測定に少なくとも部分的に基づいて拡張フレームの中の仮想オブジェクトの色を調整するステップとを備える、色転写技法のために複数の縮尺において色測定特徴を使用するための方法を含み得る。
【０００７】
本明細書において開示される別の実施形態は、メモリと、グラウンドトゥルースの画像ターゲットフレームを複数の異なる縮尺へとサイズ変更し、複数の異なる縮尺の各々におけるグラウンドトゥルースの画像ターゲットフレームから1つまたは複数の色測定特徴を選択し、グラウンドトゥルースの画像ターゲットフレームの中の各色測定特徴に対する色測定を行い、色測定に少なくとも部分的に基づいて拡張フレームの中の仮想オブジェクトの色を調整するように構成される、プロセッサとを備える、色転写技法のために複数の縮尺において色測定特徴を使用するための装置を含み得る。
【０００８】
本明細書において開示されるさらなる実施形態は、グラウンドトゥルースの画像ターゲットフレームを複数の異なる縮尺へとサイズ変更するための手段と、複数の異なる縮尺の各々におけるグラウンドトゥルースの画像ターゲットフレームから1つまたは複数の色測定特徴を選択するための手段と、グラウンドトゥルースの画像ターゲットフレームの中の各色測定特徴に対する色測定を行うための手段と、色測定に少なくとも部分的に基づいて拡張フレームの中の仮想オブジェクトの色を調整するための手段とを備える、色転写技法のために複数の縮尺において色測定特徴を使用するための装置を含み得る。
【０００９】
本明細書において開示される追加の実施形態は、プロセッサによって実行されると、グラウンドトゥルースの画像ターゲットフレームを複数の異なる縮尺へとサイズ変更するステップと、複数の異なる縮尺の各々におけるグラウンドトゥルースの画像ターゲットフレームから1つまたは複数の色測定特徴を選択するステップと、グラウンドトゥルースの画像ターゲットフレームの中の各色測定特徴に対する色測定を行うステップと、色測定に少なくとも部分的に基づいて拡張フレームの中の仮想オブジェクトの色を調整するステップとを備える方法をプロセッサに実行させる、コードを含む非一時的コンピュータ可読媒体を含み得る。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態が実践され得るデバイスのある実施形態を示す図である。
【図２】色転写技法のために複数の縮尺において色測定特徴を使用するための例示的な方法を示すフローチャートである。
【図３Ａ】ある縮尺におけるグラウンドトゥルースの画像ターゲットフレームから抽出された例示的な色測定特徴を示す図である。
【図３Ｂ】異なる縮尺におけるグラウンドトゥルースの画像ターゲットフレームから抽出された例示的な色測定特徴を示す図である。
【図３Ｃ】異なる縮尺におけるグラウンドトゥルースの画像ターゲットフレームから抽出された例示的な色測定特徴を示す図である。
【図４】色転写技法を仮想オブジェクトに適用するための例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【００１１】
本発明の実施形態が実践され得る例示的なデバイス100が図1に示されている。本明細書において使用されるデバイス(たとえば、デバイス100)は、モバイルデバイス、ワイヤレスデバイス、携帯電話、携帯情報端末、モバイルコンピュータ、ウェアラブルデバイス(たとえば、腕時計、ヘッドマウントディスプレイ、仮想現実眼鏡など)、タブレット、パーソナルコンピュータ、ラップトップコンピュータ、または処理能力を有する任意のタイプのデバイスであり得る。本明細書では、モバイルデバイスは、1つまたは複数のワイヤレス通信デバイスまたはネットワークから送信されたワイヤレス信号を取得し、それらのデバイスまたはネットワークにワイヤレス信号を送信するように構成可能である、任意の持運び可能な、または移動可能なデバイスまたは機械であり得る。したがって、例として、限定はされないが、デバイス100は、無線デバイス、携帯電話デバイス、コンピューティングデバイス、パーソナル通信システムデバイス、または他の同様の移動可能なワイヤレス通信対応デバイス、機器、または機械を含み得る。
【００１２】
デバイス100は、バス105を介して電気的に結合され得る(または、適宜、そうでなければ通信している可能性がある)ハードウェア要素を備えるものとして示されている。ハードウェア要素は、限定されることなく、1つもしくは複数の汎用プロセッサおよび/または(デジタル信号処理チップ、グラフィックス加速プロセッサなどの)1つまたは複数の専用プロセッサを含む、1つまたは複数のプロセッサ110と、限定されることなく、マウス、キーボード、キーパッド、タッチスクリーン、カメラ、マイクロフォンなどを含む1つまたは複数の入力デバイス115と、限定されることなく、ディスプレイデバイス、スピーカ、プリンタなどを含む1つまたは複数の出力デバイス120とを含み得る。
【００１３】
デバイス100はさらに、限定されることなく、ローカルおよび/もしくはネットワークアクセス可能記憶装置を備えることができ、かつ/または限定はされることなく、ディスクドライブ、ドライブアレイ、光記憶デバイス、プログラム可能、フラッシュ書換え可能などであり得る、ランダムアクセスメモリ("RAM")および/もしくは読取り専用メモリ("ROM")などのソリッドステート記憶デバイスなどを含むことができる、1つまたは複数の非一時的記憶デバイス125をさらに含む(かつ/あるいはそれらと通信している)ことがある。そのような記憶デバイスは、限定されることなく、様々なファイルシステム、データベース構造などを含む、任意の適切なデータストアを実装するように構成され得る。
【００１４】
デバイス100は、限定されることなく、モデム、ネットワークカード(ワイヤレスまたは有線)、赤外線通信デバイス、ワイヤレス通信デバイス、および/またはチップセット(Bluetooth(登録商標)デバイス、802.11デバイス、Wi-Fiデバイス、WiMAXデバイス、セルラー通信設備など)などを含むことができる、通信サブシステム130も含み得る。通信サブシステム130は、ネットワーク、他のデバイス、および/または本明細書において説明される任意の他のデバイスとデータが交換されることを可能にし得る。一実施形態では、デバイス100は、上で説明されたように、RAMデバイスまたはROMデバイスを含むことができるメモリ135をさらに備え得る。デバイス100は、モバイルデバイスであっても、非モバイルデバイスであってもよく、ワイヤレス接続および/または有線接続を有してもよいことを理解されたい。
【００１５】
デバイス100は、本明細書において説明されるように、オペレーティングシステム140、デバイスドライバ、実行可能ライブラリ、および/あるいは、実施形態によって提供される方法もしくはシステムを備え得るか、またはその方法を実施し、かつ/もしくはそのシステムを構成するように設計され得る、1つまたは複数のアプリケーションプログラム145などの他のコードを含む、ワーキングメモリ135内に現在位置しているものとして示されている、ソフトウェア要素を備え得る。単に例として、以下で論じられる方法に関して説明される1つまたは複数の手順は、デバイス100(および/またはデバイス100内のプロセッサ110)によって実行可能なコードおよび/または命令として実装されることがあり、ある態様では、次いで、そのようなコードおよび/または命令は、説明された方法に従って1つまたは複数の動作を実行するように汎用コンピュータ(または他のデバイス)を構成し、かつ/または適合させるために使用されることが可能である。
【００１６】
これらの命令および/またはコードのセットは、上で説明された記憶デバイス125などの非一時的コンピュータ可読記憶媒体に記憶されることがある。場合によっては、記憶媒体は、デバイス100などのデバイス内に組み込まれることがある。他の実施形態では、記憶媒体は、デバイスとは別個であることがあり(たとえば、コンパクトディスクなどのリムーバブル媒体)、かつ/または、インストレーションパッケージにおいて提供されることがあるので、記憶媒体は、記憶された命令/コードを用いて汎用コンピュータをプログラムし、構成し、かつ/または適合させるために使用され得る。これらの命令は、コンピュータ化されたデバイス100によって実行可能である実行可能コードの形態をとることがあり、かつ/または、(たとえば、様々な一般的に利用可能なコンパイラ、インストレーションプログラム、圧縮/解凍ユーティリティなどのいずれかを使用して)コンパイルおよび/もしくはデバイス100へのインストールに際して実行可能コードの形態をとる、ソースおよび/もしくはインストール可能なコードの形態をとることがある。
【００１７】
アプリケーションプログラム145は、色転写機能を含む1つまたは複数の拡張現実アプリケーションを含み得る。拡張現実アプリケーションの機能は、ハードウェア、または、オペレーティングシステム(OS)、ファームウェア、コンピュータビジョンモジュールなどの様々なレベルのソフトウェアにおいて代替的に実装され得ることを理解されたい。
【００１８】
本発明の実施形態は色測定特徴を利用し、色測定特徴は、グラウンドトゥルースの画像ターゲットフレームの色と入ってくる画像ターゲットフレームの色との色差分を測定するために複数の異なる縮尺で縮尺変更された画像ターゲットフレームから抽出された、複数の画素を備え得る。色測定特徴は、特徴に含まれる画素の色値の測定値を提供し得る。遮っている物体の色をグラウンドトゥルースの色と比較されることから除外することによって、遮蔽により引き起こされる色差分の測定における誤差を低減または防止するために、照明に依存しない相関付け方法が使用され得る。照明に依存しない相関付け方法を使用するために、グラウンドトゥルースの画像ターゲットフレームと入ってくる画像ターゲットフレームの両方が、照明に依存しない色空間に変換され得る。照明に依存しない色空間における画像は、元の画像と関連付けられる照明条件とはほぼ無関係な、元の画像のグレースケールバージョンである。言い換えると、異なる照明条件のもとでの同じシーンの2つの画像の照明に依存しないバージョンは、ほぼ同一である。したがって、グラウンドトゥルースの画像ターゲットフレームの照明に依存しないバージョンおよび入ってくる画像ターゲットフレームの照明に依存しないバージョンは、遮っている物体の色が色転写プロセスから除外され得るように、遮っている物体の位置を特定するために、相関付けられかつ比較され得る。照明に依存しない相関付け方法は、鏡面ハイライトなどの、遮蔽に類似した他のアーティファクトに対しても有用である。
【００１９】
図2を参照すると、色転写技法のために複数の縮尺において色測定特徴を使用するための例示的な方法200を示すフローチャートが示されている。色測定特徴は、サンプルの実際の色値を与える色相の特徴である。複数の縮尺において色測定特徴を使用することで、入ってくる画像ターゲットフレームの縮尺の変化に対するロバスト性が向上する。ブロック210において、グラウンドトゥルースの画像ターゲットフレーム(たとえば、ベースラインとして機能するような中立の照明条件を有する画像ターゲットフレーム)が、複数の異なる縮尺へとサイズ変更され得る。次に、ブロック220において、1つまたは複数の色測定特徴が、複数の異なる縮尺の各々におけるグラウンドトゥルースの画像ターゲットフレームから選択され得る。色測定特徴は、姿勢推定のために使用される特徴から選択されることがあり、または、姿勢推定のために使用される特徴とは無関係に定義されることがある(特徴は、特定の目的に対して有用な複数の画素を備え得る画像の望ましい部分である)。各方法には、利点と欠点がある。たとえば、姿勢推定特徴を再使用すると、従来の姿勢推定プロセスによって生成される縮尺変更および遮蔽検出に関連する結果が再使用され得るので、必要な計算リソースを減らすことができる。しかしながら、姿勢推定特徴は色測定の目的では選ばれないので、画像ターゲットフレームの中の色と比較して十分に大きな色範囲にまで及ばないことがあり、したがって理想的ではない結果が生じることがある。一方、姿勢推定特徴とは別の色推定特徴を使用すると、より広い色の範囲が可能になることがあり、全体的により良好な色差分の測定結果をもたらすことがある。もちろん、別個の色推定特徴を使用すると、より多くの計算リソースが必要になる。次に、ブロック230において、色測定特徴の色値を取得するために、ブロック220において選択された各々の色測定特徴に対して色測定が行われ得る。色測定特徴の色値は次いで、グラウンドトゥルースの画像ターゲットと入ってくる画像ターゲットとの間の色差分を取得するために使用され得る。したがって、ブロック240において、拡張フレーム(すなわち、仮想オブジェクトによって重畳される画像ターゲットフレーム)の中の仮想オブジェクトの色は、ブロック230において行われた色測定特徴の色測定に少なくとも部分的に基づいて、色転写技法を仮想オブジェクトに適用することによって調整され得る。一実施形態では、仮想オブジェクトの色を調整することは、仮想オブジェクトの中立な色に対して色差分を加算することを備え得る。
【００２０】
図3A〜図3Cを参照すると、3つの異なる縮尺におけるグラウンドトゥルースの画像ターゲットフレーム300から抽出された例示的な色測定特徴310A、310B、および310Cが示されている。3つの異なる縮尺におけるグラウンドトゥルースの画像ターゲットフレーム300は、図3A〜図3Cでは同じサイズに正規化されることに留意されたい。図3A〜図3Cに示されるように、色測定特徴310A、310B、および310Cは、グラウンドトゥルースの画像ターゲットフレーム300の中の異なる位置から選択され得る。いくつかの実施形態では、色測定特徴は、異なる縮尺における、グラウンドトゥルースの画像ターゲットフレームの中の同じ位置において選択され得ることを理解されたい。
【００２１】
図4を参照すると、色転写技法を仮想オブジェクトに適用するための例示的な方法400を示すフローチャートが示されている。方法400は、図2の方法200のブロック240において実行され得る。ブロック410において、色測定特徴は、入ってくる画像ターゲットフレームの中で選択され得る。入ってくる画像ターゲットフレームの中の色測定特徴は、現実世界のシーンの中のそれらの位置が、グラウンドトゥルースの画像ターゲットフレームの中で選択された色測定特徴の位置に対応するように、選択され得る。次に、ブロック420において、ブロック410において入ってくる画像ターゲットフレームの中で選択された各色測定特徴に対して、色測定が行われ得る。次に、ブロック430において、グラウンドトゥルースの画像ターゲットフレームの色と入ってくる画像ターゲットフレームの色との間の色差分を測定するために、1つまたは複数の色差分測定が、グラウンドトゥルースの画像ターゲットフレームから選択された色測定特徴の色測定と、入ってくる画像ターゲットフレームから選択された色測定特徴の色測定とに基づいて行われ得る。鏡面ハイライトなどの、遮蔽または他の類似する状況の際のプロセスの精度を改善するために、照明に依存しない相関付け方法が利用され得る。いくつかの実施形態では、ブロック210において生成される複数の異なる縮尺におけるグラウンドトゥルースの画像ターゲットフレームからの色測定特徴が利用され得る。いくつかの他の実施形態では、入ってくる画像ターゲットフレームの縮尺と最も密接に一致する縮尺における、グラウンドトゥルースの画像ターゲットフレームからの色測定特徴だけが、利用され得る。入ってくる画像ターゲットフレームの縮尺と一致する縮尺におけるグラウンドトゥルースの画像ターゲットフレームからの色測定特徴を使用すると、画像ターゲットの縮尺が変化する状況において、色差分測定の精度を改善することができる。その後、ブロック440において、グラウンドトゥルースの画像ターゲットフレームの色と入ってくる画像ターゲットフレームの色との間の色差分に少なくとも部分的に基づいて、仮想オブジェクトの色が調整される。F(R,S,c)->tという形態の色転写関数が、色転写技法を仮想オブジェクトに適用するために導出され利用されることがあり、ここでRはグラウンドトゥルースの画像ターゲットフレームの中で選択された色測定特徴の色測定結果であり、Sは入ってくる画像ターゲットフレームの中で選択された色測定特徴の色測定結果であり、cは色調整前の仮想オブジェクトの1つまたは複数の色であり、tは色調整後の仮想オブジェクトの1つまたは複数の色である。色転写関数は、たとえば、グラウンドトゥルースの画像ターゲットフレームの色と入ってくる画像ターゲットフレームの色との間の平均の色差分に基づき得る。本発明は、利用されるこの厳密な色転写関数に限定されないことに留意されたい。
【００２２】
したがって、上でより詳細に説明されたように、色転写技法のために複数の縮尺において特徴を使用することによって、ある程度の、理想的ではない結果が防がれ得る。たとえば、遮蔽により色差分測定のプロセスが混乱するのを防ぐために、照明に依存しない相関付け方法が使用され得る。結果として、精度の観点での色転写技法の全体的な性能が改善され得る。
【００２３】
色転写機能を含む拡張現実アプリケーションまたはシステムの様々な実装形態が、上でより詳細に説明された。拡張現実アプリケーションまたはシステムは、上で説明されたように、ソフトウェア、ファームウェア、ハードウェア、それらの組合せなどとして実装され得ることが理解されるべきである。一実施形態では、上で説明された機能は、事前に所望される機能(たとえば、図2および図4の方法の動作)を実現するために、デバイス100の1つまたは複数のプロセッサ(たとえば、プロセッサ110)によって実装され得る。
【００２４】
本明細書の教示は、様々な装置(たとえば、デバイス)内に組み込まれることがある(たとえば、その中に実装され、またはそれによって実行されることがある)。たとえば、本明細書で教示された1つまたは複数の態様は、一般的なデバイス、デスクトップコンピュータ、モバイルコンピュータ、モバイルデバイス、電話(たとえば、携帯電話)、携帯情報端末、タブレット、ラップトップコンピュータ、タブレット、エンターテインメントデバイス(たとえば、音楽デバイスもしくはビデオデバイス)、ヘッドセット(たとえば、ヘッドフォン、イヤピースなど)、医療用デバイス(たとえば、生体センサ、心拍数モニタ、歩数計、EKGデバイスなど)、ユーザI/Oデバイス、コンピュータ、サーバ、point-of-saleデバイス、エンターテインメントデバイス、セットトップボックス、ウェアラブルデバイス(たとえば、腕時計、ヘッドマウントディスプレイ、仮想現実眼鏡など)、自動車内の電子デバイス、または任意の他の適切なデバイスに組み込まれ得る。
【００２５】
いくつかの態様では、ワイヤレスデバイスは、通信システムのためのアクセスデバイス(たとえばWi-Fiアクセスポイント)を備え得る。そのようなアクセスデバイスは、たとえば、有線またはワイヤレス通信リンクを介して、送受信機を通じた別のネットワーク(たとえばインターネットまたはセルラーネットワークなどの広域ネットワーク)への接続を提供することがある。したがって、アクセスデバイスは、別のデバイス(たとえば、Wi-Fi局)が他のネットワークまたは何らかの他の機能にアクセスすることを可能にすることがある。加えて、デバイスの1つまたは両方はポータブルであることがあり、または場合によっては、比較的ポータブルではないことがあることを理解されたい。
【００２６】
デバイスがモバイルデバイスまたはワイヤレスデバイスであるとき、それらのデバイスは、任意の適切なワイヤレス通信技術に基づく、またはそうでなければその技術をサポートするワイヤレスネットワークを通じて、1つまたは複数のワイヤレス通信リンクを介して通信することがあることを理解されたい。たとえば、いくつかの態様では、ワイヤレスデバイスおよび他のデバイスは、ワイヤレスネットワークを含むネットワークに関連付けることがある。いくつかの態様では、ネットワークは、ボディエリアネットワークまたはパーソナルエリアネットワーク(たとえば超広帯域ネットワーク)を備えることがある。いくつかの態様では、ネットワークは、ローカルエリアネットワークまたはワイドエリアネットワークを備えることがある。ワイヤレスデバイスは、様々なワイヤレス通信技術、プロトコル、またはたとえば3G、LTE、Advanced LTE、4G、CDMA、TDMA、OFDM、OFDMA、WiMAX、およびWiFiなどの規格のうちの1つまたは複数をサポートし、またはそうでなければ使用することがある。同様に、ワイヤレスデバイスは、様々な対応する変調方式または多重化方式のうちの1つまたは複数をサポートし、またはそうでなければ使用することがある。したがって、ワイヤレスデバイスは、上のまたは他のワイヤレス通信技術を使用して、1つまたは複数のワイヤレス通信リンクを確立し、その通信リンクを介して通信するのに適したコンポーネント(たとえばエアインターフェース)を含むことがある。たとえば、デバイスは、ワイヤレス媒体を通じた通信を容易にする様々なコンポーネント(たとえば、信号生成器および信号プロセッサ)を含み得る、関連する送信機コンポーネントおよび受信機コンポーネント(たとえば、送信機および受信機)を有するワイヤレス送受信機を備えることがある。よく知られているように、モバイルワイヤレスデバイスは、したがって、他のモバイルデバイス、携帯電話、他の有線コンピュータおよびワイヤレスコンピュータ、インターネットウェブサイトなどと、ワイヤレスに通信することがある。
【００２７】
情報および信号が様々な異なる技術および技法のいずれかを使用して表され得ることを、当業者は理解するであろう。たとえば、上の説明全体を通して言及されることがあるデータ、命令、指令、情報、信号、ビット、シンボルおよびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表されることがある。
【００２８】
本明細書において開示される実施形態に関して説明される様々な例示的な論理ブロック、モジュール、エンジン、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装されることがあることを当業者はさらに理解されよう。ハードウェアとソフトウェアとの、この互換性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、エンジン、回路、およびステップが、上では全般にそれらの機能に関して説明された。そのような機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、システム全体に課される具体的な適用例および設計制約に依存する。当業者は、説明された機能を特定のアプリケーションごとに様々な方法で実装し得るが、そのような実装の決定は本発明の範囲からの逸脱を引き起こすものと解釈されるべきではない。
【００２９】
本明細書において開示される実施形態に関連して説明される種々の例示的な論理ブロック、モジュールおよび回路は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途用集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別のゲートもしくはトランジスタロジック、個別のハードウェアコンポーネント、または本明細書において説明された機能を果たすように設計されたこれらの任意の組合せを用いて、実装または実行されることがある。汎用プロセッサは、マイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであり得る。プロセッサはまた、コンピューティングデバイスの組合せ(たとえば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成)として実装されることもある。
【００３０】
本明細書において開示された実施形態に関連して説明された方法またはアルゴリズムのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはこれら2つの組合せにおいて具現化され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または当技術分野において知られている任意の他の形式の記憶媒体内に存在することがある。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、また記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体は、プロセッサと一体であることがある。プロセッサおよび記憶媒体は、ASICの中に存在することがある。ASICは、ユーザ端末の中に存在することがある。代替として、プロセッサおよび記憶媒体は、個別のコンポーネントとしてユーザ端末の中に存在することがある。
【００３１】
1つまたは複数の例示的な実施形態では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。コンピュータプログラム製品としてソフトウェアで実装される場合、機能またはモジュールは、非一時的コンピュータ可読媒体上の1つまたは複数の命令またはコードとして記憶され、または伝送され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含むことが可能である。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのような非一時的コンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形態の所望のプログラムコードを搬送もしくは記憶するために使用されコンピュータによってアクセスされることがある任意の他の媒体を備えることが可能である。また、あらゆる接続が、適切にコンピュータ可読媒体と呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書において使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク(DVD)、フロッピーディスク、およびブルーレイディスクを含み、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はレーザーを用いてデータを光学的に再生する。上記の組合せも、非一時的コンピュータ可読媒体の範囲内に含まれるべきである。
【００３２】
開示された実施形態の上の説明は、当業者が本発明を作成または使用することを可能にするように提供される。これらの実施形態に対する様々な変更形態が、当業者には容易に明らかとなり、本明細書において規定される一般原理は、本発明の趣旨または範囲から逸脱することなく他の実施形態に適用され得る。したがって、本発明は、本明細書に示される実施形態に限定されるものではなく、本明細書において開示される原理および新規の特徴に一致する最も広い範囲を与えられるべきである。
【符号の説明】
【００３３】
100  デバイス
105  バス
110  プロセッサ
115  入力デバイス
120  出力デバイス
125  記憶デバイス
130  通信サブシステム
135  メモリ
140  オペレーティングシステム
145  アプリケーション
200  方法
300  グラウンドトゥルースの画像ターゲットフレーム
310A  色測定特徴
310B  色測定特徴
310C  色測定特徴
400  方法
【図１】
2018512641.tif 000003
【図２】
2018512641.tif 000004
【図３Ａ】
2018512641.tif 000005
【図３Ｂ】
2018512641.tif 000006
【図３Ｃ】
2018512641.tif 000007
【図４】
2018512641.tif 000008
【国際調査報告】
2018512641.tif 000009
2018512641.tif 000010