(57)【要約】【課題】ＡＲシステム及びその色補償方法を提供する。【解決手段】拡張現実感システム及びその色補償方法を提案する。この方法は、ディスプレイ及びイメージセンサを有する拡張現実感システムに適用可能であり、次のステップを含む。実際のシーンに対する仮想物体の事前設定物体位置を設定する。イメージセンサを用いることによって実際のシーンの画像を捕捉し、実際のシーンの画像をディスプレイの視野にマッピングして、ディスプレイの視野に対する背景画像を生成する。背景画像中の事前設定物体位置に対応する背景オーバーラップ領域に応じて、仮想物体に対する色補償を実行して、調整した仮想物体を生成し、調整した仮想物体を、事前設定物体位置に応じて表示する。【選択図】図３
2020017252.tif 000002
【特許請求の範囲】
【請求項１】
光透過性であるディスプレイ及びイメージセンサを有する拡張現実感システムに適用可能な色補償方法であって、
実際のシーンに対する仮想物体の事前設定物体位置を設定するステップと、
前記イメージセンサを用いることによって、前記実際のシーンの画像を捕捉し、前記実際のシーンの画像を前記ディスプレイの視野（ＦＯＶ）にマッピングして、前記ディスプレイのＦＯＶに対する背景画像を生成するステップと、
前記背景画像中の前記事前設定物体位置に対応する背景オーバーラップ領域に応じて、前記仮想物体に対する色補償を実行して、調整した仮想物体を生成するステップと、
前記調整した仮想物体を、前記事前設定物体位置に応じて前記ディスプレイ上に表示するステップと
を含む色補償方法。
【請求項２】
前記実際のシーンの画像を前記ディスプレイのＦＯＶにマッピングして、前記ディスプレイのＦＯＶに対する前記背景画像を生成するステップが、
前記ディスプレイのＦＯＶ及び前記イメージセンサのＦＯＶを取得し、これらのＦＯＶに応じた視野オーバーラップ領域を計算するサブステップであって、前記イメージセンサのＦＯＶが前記ディスプレイのＦＯＶよりも大きいサブステップと、
前記視野オーバーラップ領域を前記ディスプレイのＦＯＶ上にマッピングして、前記ディスプレイのＦＯＶに対する前記背景画像を生成するサブステップと
を含む、請求項１に記載の方法。
【請求項３】
前記背景画像中の前記事前設定物体位置に対応する前記背景オーバーラップ領域に応じて、前記仮想物体に対する色補償を実行するステップが、
前記仮想物体の元の色明度、及び前記ディスプレイを透過した後の前記実際のシーン中の前記オーバーラップ領域に対応する実際のオーバーラップ領域の透過背景色明度に応じて、前記仮想物体に対する色補償を実行するサブステップを含む、請求項１に記載の方法。
【請求項４】
実際のシーンの画像を捕捉するように構成されたイメージセンサと、
光透過性であり、仮想物体を表示するように構成されたディスプレイと、
前記イメージセンサ及び前記ディスプレイに直接または間接的に電気接続されたコンピュータ装置とを具えた拡張現実感システムであって、該コンピュータ装置は、
前記実際のシーンに対する前記仮想物体の事前設定物体位置を設定し、
前記実際のシーンの画像を前記ディスプレイの視野（ＦＯＶ）にマッピングして、前記ディスプレイのＦＯＶに対する背景画像を生成し、
前記背景画像中の前記事前設定物体位置に対応する背景オーバーラップ領域に応じて、前記仮想物体に対する色補償を実行して、調整した仮想物体を生成し、
前記調整した仮想物体を、前記事前設定物体位置に応じて前記ディスプレイ上に表示する
ように構成されている、拡張現実感システム。
【請求項５】
イメージセンサ、及び透明であり仮想物体を表示することができるディスプレイを有する装置に適用可能な色補償方法であって、該仮想物体は元の色を有する色補償方法において、
前記イメージセンサを用いることによって実際のシーンの画像を捕捉して、背景画像を生成するステップと、
前記ディスプレイ上の前記仮想物体と前記背景画像とを比較して、前記仮想物体と前記背景画像との実際のオーバーラップ領域を特定するステップと、
前記ディスプレイを透過した後の前記背景画像の前記実際のオーバーラップ領域の透過背景色明度と、前記仮想物体の元の色明度との関係を特定し、この関係に応じて、前記仮想物体の前記元の色明度を、較正した色明度に調整するステップと
を含む色補償方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想画像（バーチャルイメージ）に対する色処理の技術に関するものであり、より具体的には、仮想画像の色処理技術を用いる拡張現実感（ＡＲ：augmented reality）システム及びその色補償方法に関するものである。
【背景技術】
【０００２】
関連技術の説明
画像処理技術及び空間位置認識技術の急速な発展により、市場は、種々の仮想現実感（ＶＲ：virtual reality）、拡張現実感（ＡＲ）、複合現実感（ＭＲ：mixed reality）及び他の種類のヘッドマウント（頭部装着型）装置、及びそれらのアプリケーション・ソフトウェアプログラムを絶えず取り入れてきた。例えば、ＡＲグラス（ＡＲ用メガネ）は、仮想画像を特別に設計された透明レンズ上に投影または表示する電子装置であり、これによりユーザは現実の環境と仮想画像とをＡＲグラスを通して同時に見ることができる。上記の特徴を実現するために、ＡＲグラスのレンズは透明または半透明であり、約７０％の透過率を有し、従ってレンズ上の仮想画像の色は環境による影響を受ける。仮想画像を特定領域上に投影し、仮想画像の色がこの特定領域の実際の背景画像の色と異なる際には、ユーザが見るこうした仮想画像は背景色の上に重ね合わせられる。
【０００３】
例えば、仮想画像を白色またはモノクロ（白黒）の実際の背景画像に重ね合わせる場合には、ユーザが見る色はより自然になる。しかし、仮想画像を多色の実際の背景画像に重ね合わせる場合には、仮想画像の色は実際の背景画像の色と混ざり合う。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ＡＲシステム及びその色補償方法を提供する。
【課題を解決するための手段】
【０００５】
本発明の好適例では、上記方法が、光を透過させるディスプレイ及びイメージセンサを有するＡＲシステムに適用可能である。この方法は、光透過性ディスプレイ及びイメージセンサを有する拡張現実感システムに適用可能であり、次のステップを含む。実際のシーンに対する仮想物体（仮想オブジェクト）の事前設定物体位置を設定する。イメージセンサを用いることによって実際のシーンの画像を捕捉し、実際のシーンの画像をディスプレイの視野（ＦＯＶ：field of view）にマッピング（対応付け）して、ディスプレイのＦＯＶに対する背景画像を生成する。背景画像中の事前設定物体位置に対応する背景オーバーラップ領域に応じて、仮想物体に対する色補償を実行して、調整した仮想物体を生成し、調整した仮想物体を、事前設定物体位置に応じてディスプレイ上に表示する。
【０００６】
本発明の好適例では、上記システムが、イメージセンサ、光透過性ディスプレイ、及びコンピュータ装置を含み、このコンピュータ装置は画像センサ及びディスプレイに接続されている。画像センサは画像を捕捉するように構成されている。ディスプレイは仮想物体を表示するように構成されている。コンピュータ装置は、実際のシーンに対する仮想物体の事前設定物体位置を設定し、イメージセンサを用いることによって実際のシーンの画像を捕捉し、実際のシーンの画像をディスプレイのＦＯＶにマッピングして、ディスプレイのＦＯＶに対する背景画像を生成し、背景画像中の事前設定物体位置に対応する背景のオーバーラップ領域に応じて、仮想物体に対する色補償を実行して、調整した仮想物体を生成し、調整した仮想物体を、事前設定物体位置に応じて表示するように構成されている。
【０００７】
本発明の他の好適例では、上記方法が、仮想物体を表示することができる光透過性ディスプレイ及びイメージセンサを有する電子装置に適用可能である。この方法は次のステップを含む。イメージセンサを用いることによって実際のシーンの画像を捕捉して、背景画像を生成する。ディスプレイの仮想物体と背景画像とを比較して、仮想物体と背景画像との実際のオーバーラップ（重複）領域を特定する。ディスプレイを透過した後の背景画像の実際のオーバーラップ領域における透過背景色明度と、仮想画像の元の色明度との関係を特定し、それに応じて、仮想物体の元の色明度を較正された色明度に調整する。
【発明の効果】
【０００８】
本開示中に提案するＡＲシステム及びその色補償方法では、仮想物体を表示する前に、実際のシーン中に仮想物体がオーバーラップする背景オーバーラップ領域に応じて、仮想物体に対する色補償を実行する。こうしたやり方は、実際の背景画像の色と混ざり合った仮想物体をユーザが見ることを防止し、これによりユーザ体験を改善する。
【０００９】
上述した本発明の特徴及び利点をより分かりやすくするために、図面を添付した実施形態を以下に詳細に説明する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態によるＡＲシステムの概略図である。
【図２】図２Ａは、従来のＡＲグラスの表示スクリーンの概略図である。図２Ｂは、従来のＡＲグラスの表示スクリーンの概略図である。図２Ｃは、本発明の一実施形態による表示スクリーンの概略図である。
【図３】本発明の一実施形態による色補正方法のフローチャートである。
【図４】図４Ａは、本発明の一実施形態による視野オーバーラップ領域の概略図である。図４Ｂは、本発明の一実施形態による、垂直方向についての視野オーバーラップ領域の概略図である。図４Ｃは、本発明の一実施形態による、水平方向についての視野オーバーラップ領域の概略図である。図４Ｄは、本発明の一実施形態による画像センサのＦＯＶの概略図である。図４Ｅは、本発明の一実施形態による較正用ボードの概略図である。
【図５】本発明の一実施形態による画像センサのＦＯＶ及びディスプレイのＦＯＶの概略図である。
【図６】本発明の一実施形態による背景画像及び仮想物体の概略図である。
【図７】本発明の一実施形態による明度調整方法のフローチャートである。
【図８】本発明の他の実施形態による明度調整方法のフローチャートである。
【発明を実施するための形態】
【００１１】
実施形態の説明
本発明のいくつかの実施形態を、添付した図面を参照しながら以下に詳細に説明する。以下の説明では、同一または同様の要素には同じ参照番号を与える。これらの実施形態は本発明の一部に過ぎず、本発明の実施形態の全部は開示していない。むしろ、これらの実施形態は、本願の特許請求の範囲内の方法及びシステムの例に過ぎない。
【００１２】
図１は、本発明の一実施形態によるＡＲシステムの概略図である。しかし、この図は例示目的に過ぎず、本発明を限定することは意図していない。このＡＲシステムのすべての構成要素及びそれらの構成をまず図１に紹介する。これらの構成要素の機能は、図２に関連してより詳細に開示する。
【００１３】
図１を参照すれば、ＡＲシステム１００は、少なくとも、イメージセンサ１１０、光透過性ディスプレイ１２０、及びコンピュータ装置１３０を含む。コンピュータ装置１３０は、イメージセンサ１１０及びディスプレイ１２０に直接または間接的に電気接続されている。
【００１４】
イメージセンサ１００は、画像を捕捉するように構成され、レンズ及び感光素子を有するカメラレンズを含む。この感光素子は、レンズに入る光の強度を感知して画像を生成するように構成されている。この感光素子は、例えば、電荷結合素子（ＣＣＤ：charge coupled device）、相補型金属酸化物半導体（ＣＭＯＳ：complementary metal-oxide semiconductor）素子、等とすることができる。本発明はこの関係に限定されない。
【００１５】
ディスプレイ１２０は、液晶、有機発光ダイオード、電子インク、または投射のような表示技術によって仮想物体を表示するように構成され、半透明または透明な光学レンズを有する。従って、ユーザがディスプレイ１２０を通して見る内容は、実際のシーンに仮想物体を重ね合わせたものである。
【００１６】
コンピュータ装置１３０は、ＡＲシステム１００の動作を制御するように構成され、メモリ及びプロセッサを含む。このメモリは、例えば、あらゆる種類の固定または着脱可能なランダムアクセスメモリ（ＲＡＭ：random access memory）、読出し専用メモリ（ＲＯＭ：read-only memory）、フラッシュメモリ、ハードディスク、または他の同様なデバイス、集積回路、及びそれらの任意の組合せとすることができる。このプロセッサは、例えば、中央処理装置（ＣＰＵ：central processing unit）、アプリケーション・プロセッサ（ＡＰ：application processor）、あるいは他のプログラマブル（プログラム可能）な汎用または専用のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ：digital signal processor）、画像信号プロセッサ（ＩＳＰ：image signal processor）、グラフィックス・プロセッシング・ユニット（ＧＰＵ：graphics processing unit：グラフィック処理装置）または他の同様なデバイス、集積回路、及びそれらの任意の組合せとすることができる。
【００１７】
この実施形態では、ＡＲシステム１００は一体型（オール・イン・ワン）システムとすることができ、この一体型システムはＡＲグラスのような統合型ヘッドマウント・ディスプレイとして実現することができ、以下の説明ではＡＲグラスを説明のために用いる。他の実施形態では、イメージセンサ１１０及びディスプレイ１２０はヘッドマウント・ディスプレイとして実現することができ、コンピュータ装置１３０はコンピュータシステムとして実現することができる。ヘッドマウント・ディスプレイとコンピュータシステムとは別個のシステムを形成することができ、データはそれぞれの通信インタフェースを通して有線または無線で伝送される。
【００１８】
ＡＲグラスの場合には、仮想物体を白色またはモノクロの実際の背景画像に重ね合わせると、ユーザが見る画像は正常に尽きる。図２Ａの概略図に示すような従来型ＡＲグラスの表示スクリーンを一例として採り挙げ、実際の背景画像２１０及び実際の背景画像２２０は複数の色を有する実際の背景画像であるものと仮定する。仮想物体２５０を実際の背景画像２１０及び実際の背景画像２２０上に結像させない際には、ユーザが見る画像の色は正常に近くすることができる。しかし、図２Ｂの例のような従来型ＡＲガラスの表示スクリーンの概略図を採り挙げれば、仮想物体２５０を実際の背景画像２２０上に結像させると、これら２つの色が一緒に混ざり合って、実際の背景画像２２０の色が仮想物体２５０の右半分を透過し得る。従って、ユーザが見る仮想物体２５０の色は想定される色と異なり得る。従って、本実施形態のＡＲシステム１００は、仮想物体２５０のうち実際の背景画像２２０とオーバーラップしている部分に対して色補償を実行し、これによりユーザは、図２Ｃに示すような異なる背景について、実際の背景画像２２０による影響のない仮想物体２５０’を、ＡＲシステム１００の表示スクリーンを通して見ることができる。色補償の実現の詳細は、以下の実施形態において、ＡＲシステム１００の種々の要素に関連して説明する。
【００１９】
図３は、本発明の一実施形態による色補償方法のフローチャートである。図３の方法の流れは、図１のＡＲシステム１００によって実現することができる。
【００２０】
図１及び図３を共に参照すれば、ＡＲシステム１００のコンピュータ装置１３０が、実際のシーンに対する仮想物体の事前設定物体位置を設定する（ステップＳ３０２）。ここで、コンピュータ装置１３０にとって、仮想物体のサイズ及び形状のような外観は既知であるものと仮定し、即ち、ユーザまたはコンピュータ装置１３０が選択するために、コンピュータ装置１３０のメモリに予め記憶されている。一方、事前設定物体位置は、実際のシーンに対する仮想物体の位置である。
【００２１】
その後に、仮想物体をより正確な位置にレンダリング（画像表示）するために、事前設定物体位置を絶対座標によって表すことができる。本実施形態では、仮想物体を設定する前に、コンピュータ装置１３０は、位置推定・マッピング（地図作成）同時実行（ＳＬＡＭ：simultaneous localization and mapping）技術を、実際のシーンの深度図及び慣性計測装置（ＩＭＵ：inertial measurement unit）と共に用いて、実際のシーンを走査して、実際のシーンの三次元の絶対座標を規定する。これにより、コンピュータ装置１３０は、実際のシーン中の仮想物体の座標位置を設定することができる。
【００２２】
深度図は、イメージセンサ１１０を深度センサ（図示せず）と共に、それ自体は既知の方法で用いることによって生成することができる。この深度センサは、実際のシーンの深度情報を検出するように構成され、能動型深度センサと受動型深度センサとに分類することができる。能動型深度センサは、光源、赤外光、超音波、レーザー、等を信号として能動的に放射することによって、飛行時間（ＴｏＦ：time of flight：タイム・オブ・フライト）技術により実際のシーンの深度情報を計算することができる。一方、受動型深度センサは、例えば他のイメージセンサとすることができ、イメージセンサ１１０と共に、異なる視角から画像を捕捉する。実際のシーンの深度情報は、捕捉した２つの画像の視差を用いることによって計算される。しかし、他の実施形態では、深度センサが、イメージセンサ１１０とは独立して動作する標準的な深度センサを用いて実際のシーンの深度情報を得ることを排除しない。さらに他の実施形態では、画像捕捉の特徴機能を有する深度センサを用いることができる。即ち、深度センサは、三次元座標マップの構造についての深度情報を生成することができるだけでなく、捕捉した実際のシーンの画像を出力して、後続するステップＳ３０４を実行するためにコンピュータ装置１３０に送信することもできる。従って、本明細書における「深度センサ」は、一般化された抽出機能のメカニズムであり、空間内の深度情報を検出するメカニズムを参照する。即ち、深度センサは、イメージセンサ１１０とは独立した構成要素とすることができ、イメージセンサ１１０と統合された深度センサを形成することができ、あるいはイメージセンサ１１０のすべての特徴機能を含むことができる。
【００２３】
ＩＭＵは多軸の運動（動き）センサであり、三軸のジャイロスコープ及び三方向の加速度計を含んで、三次元空間内のＡＲシステム１００の角速度及び加速度を測定することができる。ＩＭＵは、ＡＲシステム１００の角度及び短期間内の移動距離を、リアルタイムで提供することができる。演算装置１３０は、ＡＲシステム１００によって得られた深度マップ、並びにＡＲシステムの姿勢及び移動距離を用いて、ＳＬＡＭ技術により実際のシーン中で測位して、実際のシーンについてのマップ（地図）を構築する目的を達成することができる。
【００２４】
次に、コンピュータ装置１３０は、センサ１１０を用いて実際のシーンの画像を捕捉し（ステップＳ３０４）、実際のシーンの画像をディスプレイ１２０のＦＯＶにマッピングして、背景画像を生成する（ステップＳ３０６）。詳細には、実際のシーンの画像はイメージセンサ１１０のＦＯＶに関連し、ディスプレイ１２０のＦＯＶはディスプレイ１２０の表示領域及び事前設定された人間の眼の位置に関連する。イメージセンサ１１０の配置位置とディスプレイ１２０の配置位置とが異なり、イメージセンサ１１０のＦＯＶはディスプレイ１２０のＦＯＶよりも大きいものと合理的に仮定することができる。コンピュータ装置１３０は、まずイメージセンサ１１０のＦＯＶとディスプレイ１２０のＦＯＶとのオーバーラップ領域（以下では「視野オーバーラップ領域」と称する）を計算し、さらにこの視野オーバーラップ領域をディスプレイ１２０のＦＯＶ全体にマッピングする。
【００２５】
具体的には、図４Ａは、本発明の一実施形態による視野オーバーラップ領域の概略図である。ディスプレイ１２０の観点からは、領域ＡＲＶＳがシーン（即ち、ディスプレイ１２０のＦＯＶ）であり、人間の眼の位置Ｅからディスプレイ１２０を通して視角θで見ることができる。イメージセンサ１１０の観点からは、領域ＡＲＶＳは視角Φで捕捉したシーンであり、イメージセンサ１１０のＦＯＶに含まれる。
【００２６】
換言すれば、領域ＡＲＶＳはイメージセンサ１１０のＦＯＶとディスプレイ１２０のＦＯＶとのオーバーラップ領域であり、即ち上記の視野オーバーラップ領域である。コンピュータ装置１３０は、画像センサによって捕捉した実際のシーンの画像から視角Φを計算することによって、視野オーバーラップ領域を規定することができる。次に、視野オーバーラップ領域をディスプレイ１２０の視野全体に再びマッピングして、ディスプレイ１２０のＦＯＶに対応する背景画像を生成する。なお、イメージセンサ１１０の配置位置とディスプレイ１２０の配置位置とが異なるので、そしてイメージセンサ１１０のＦＯＶがディスプレイ１２０のＦＯＶよりも大きいので、ディスプレイ１２０の隣接領域ＮＡはカバーされない。本実施形態では隣接領域ＮＡは処理しない。実際のシーンの画像から視野オーバーラップ領域を得る方法は、以下で説明する。
【００２７】
図４Ｂは、本発明の一実施形態による、垂直方向についての視野オーバーラップ領域の概略図である。図４Ｂでは、ディスプレイ１２０に対するイメージセンサ１１０の配置位置ｐ１＝(ｍ, ｎ)、事前設定された人間の眼の位置ｐ２＝(０, ０)、及び人間の眼の位置ｐ２においてディスプレイ１２０に対して事前設定された視角θは既知であるので、コンピュータ装置１３０は、オーバーラップ領域ＡＶＲＳに対するイメージセンサ１１０の垂直方向の視角（Φ１＋Φ２）を、視野オーバーラップ領域ＡＲＶＳと事前設定された人間の眼の位置ｐ２との間の距離差ｘから、即ち、視野オーバーラップ領域ＡＲＶＳとイメージセンサ１１０の配置位置ｐ１との間の距離差ｘ−ｍから計算することができる。ここで、視野オーバーラップ領域ＡＲＶＳの垂直方向の中心点位置はＣ＝(ｘ, ０)であり、視野オーバーラップ領域ＡＲＶＳの垂直方向の端点はＢ１＝(ｘ, ｘtan(θ／２))及びＢ２＝(ｘ, −ｘtan(θ／２))であり、従ってｄ１＝ｘtan(θ／２)−ｎ及びｄ２＝ｎ＋ｘtan(θ／２)をさらに計算することができる。従って、（Φ１＋Φ２）は三角法によって得ることができ、ここに
Φ１＝tan-1((ｘtan(θ／２)−ｎ)／(ｘ−ｍ))
Φ２＝tan-1((ｎ＋ｘtan(θ／２))／(ｘ−ｍ))
である。
【００２８】
図４Ｃは、本発明の一実施形態による、水平方向についての視野オーバーラップ領域の概略図である。ディスプレイ１２０に対するイメージセンサ１１０の配置位置ｐ１’＝(ｕ, ｖ)、事前設定された人間の眼の位置ｐ２’＝(０, ０)、及び人間の眼の位置ｐ２’における視角Ψは既知であるので、コンピュータ装置１３０は、視野オーバーラップ領域ＡＲＶＳに対するイメージセンサ１１０の垂直方向の視角(ω１＋ω２)を、視野オーバーラップ領域ＡＲＶＳと事前設定された人間の眼の位置ｐ２’との間の距離差ｘから、即ち視野オーバーラップ領域ＡＲＶＳとイメージセンサ１１０の配置位置ｐ１’との間の距離差ｘ−ｍから計算することができる。ここで、視野オーバーラップ領域ＡＲＶＳの水平方向の中心点位置はＣ＝(ｘ, ０)であり、視野オーバーラップ領域ＡＲＶＳの水平方向の端点はＢ３＝(ｘ, ｘtan(Ψ／２))及びＢ４＝(ｘ, −ｘtan(Ψ／２))であり、従ってｄ３＝ｘtan(Ψ／２)−ｖ及びｄ４＝ｖ＋ｘtan(Ψ／２)をさらに計算することができる。従って、（ω１+ω２）は三角法によって得ることができ、ここに
ω１＝tan-1((ｘtan(Ψ／２)−ｖ)／(ｘ−ｕ))
ω２＝tan-1((ｖ＋ｘtan(Ψ／２))／(ｘ−ｕ))
である。
【００２９】
次に、距離差毎に、コンピュータ装置１３０は、垂直方向の視角及び水平方向の視角によってカバーされる範囲を、イメージセンサ１１０のＦＯＶから得て、次に、得られた範囲を視野オーバーラップ領域として設定する。本発明の一実施形態による図４Ｄに示すイメージセンサ１１０のＦＯＶ４０を例として採り挙げれば、ディスプレイ１２０のＦＯＶ４１は、４つの端点Ｆ１＝(ｓｘ１, ｓｙ１)、Ｆ２＝(ｓｘ２, ｓｙ２)、Ｆ３＝(ｓｘ３, ｓｙ３)、及びＦ４＝(ｓｘ４, ｓｙ４)によって規定される領域である。即ち、ＦＯＶ４１も視野オーバーラップ領域である。
【００３０】
他の実施形態では、ディスプレイ１２０よりも大きいＦＯＶを有する他の画像センサを、オフライン段階中に予め人間の眼の位置に事前設定することができる。基準パターン（例えばチェッカーボード（市松模様））を有する較正用ボードを、ディスプレイ１２０に対して距離差をおいて配置し、ここに較正用ボードのサイズはディスプレイ１２０のＦＯＶよりも大きい。本発明の一実施例によれば、図４Ｅに示す較正用ボード４０’を例として採り挙げれば、コンピュータ装置１３０は、人間の眼の位置に配置されたイメージセンサ１１０’を利用して、ディスプレイ１２０のＦＯＶによってカバーされる領域４１’、即ち４つの端点Ｆ１＝(ｓｘ１, ｓｙ１)、Ｆ２＝(ｓｘ２, ｓｙ２)、Ｆ３＝(ｓｘ３, ｓｙ３)、及びＦ４＝(ｓｘ４, ｓｙ４)によって規定される領域を捕捉することができる。即ち、ＦＯＶ４１’も視野オーバーラップ領域である。
【００３１】
イメージセンサ１１０とディスプレイ１２０との視野オーバーラップ領域を得た後に、コンピュータ装置１３０は、ディスプレイ１２０のＦＯＶを、イメージセンサ１３０のＦＯＶから直接規定することができる。本発明の一実施形態による図５に示すイメージセンサ１３０のＦＯＶ及びディスプレイ１２０のＦＯＶを例として採り挙げれば、コンピュータ装置１３０は、イメージセンサ１１０のＦＯＶ５１内の視野オーバーラップ領域（即ち、Ｆ１＝(ｓｘ１, ｓｙ１)、Ｆ２＝(ｓｘ２, ｓｙ２)、Ｆ３＝(ｓｘ３, ｓｙ３)、及びＦ４＝(ｓｘ４, ｓｙ４)によって規定される領域）に対して、画像のサイズ変更（リサイジング）及び画像のラッピング（包み込み）を実行して、イメージセンサ１１０とディスプレイ１２０との角度または解像度の差によって生じた位置差を補正して、処理した画像を背景画像５０として得ることができる。ここでは、Ｆ１＝(ｓｘ１, ｓｙ１)、Ｆ２＝(ｓｘ２, ｓｙ２)、Ｆ３＝(ｓｘ３, ｓｙ３)、及びＦ４＝(ｓｘ４, ｓｙ４)を、それぞれＡＲ１＝(０, ０)、ＡＲ２＝(ａｘ, ０)、ＡＲ３＝(０, ａｙ)、及びＡＲ４＝(ａｘ, ａｙ)にマッピングする。
【００３２】
再び図３を参照すれば、コンピュータ装置１３０は、背景画像中の事前設定物体位置に対応する背景オーバーラップ領域に応じて、仮想物体に対する色補償を実行する（ステップＳ３０８）。具体的には、本発明の一実施形態による図６に示す背景画像及び仮想物体を例として採り挙げれば、ＡＲ１＝(０, ０)、ＡＲ２＝(ａｘ, ０)、ＡＲ３＝(０, ａｙ)、及びＡＲ４＝(ａｘ, ａｙ)によって規定される背景画像６１が、実際の背景画像６１０及び実際の背景画像６２０を含む。コンピュータ装置１３０は、仮想物体６５０の物体オーバーラップ領域６５１が実際の背景画像６２０とオーバーラップしていることを知ることができ、従って、色補償は物体オーバーラップ領域６５１に対して実行される。
【００３３】
本実施形態では、コンピュータ装置１３０は、仮想物体の明度（nit（カンデラ(cd)／ｍ2）単位の輝度）及びディスプレイ１２０を透過した後のシーン中の背景オーバーラップ領域に対応する実際のオーバーラップ領域の明度に応じた色補償を実行することができる。詳細には、上述したように、ディスプレイ１２０は光透過性であるので、実際のシーンの一部分はディスプレイ１２０を透過することができ、ディスプレイ１２０の透過量、透過率、実際のシーンにおける周囲の明度、及び仮想物体の色が関連する。ここで、コンピュータ装置１３０は、イメージセンサ１１０が用いる自動露出（ＡＥ：auto-exposure）のゲイン値及び露光時間に応じて周囲の明度を補償することができる。ゲイン値がより高く、露光時間がより長いと、周囲がより暗く透過強度がより低いことを意味し、ディスプレイ１２０の明度調整及びインターバル補償の量がより大きくなることも意味する。逆に、ゲイン値がより低く露光時間がより短い際には、周囲がより明るく透過強度がより高いことを意味し、ディスプレイ１２０の明度調整及びインターバル補償の量がより小さくなることも意味する。本発明の他の実施形態では、イメージセンサ１１０とは独立した光センサをＡＲシステム１００に設けて、周囲の明度値を検出して取得することができる。
【００３４】
より良い理解のために、以下では、色補償の詳細を、仮想物体の単一画素について説明し、他の画素は同様な方法で推論することができる。元の仮想物体の元の色は、元の（ｒ, ｇ, ｂ）で表すことができる。ディスプレイ１２０によって表示される元の色の明度にＬを乗じた後に、両眼が受ける仮想物体の色明度は（ｈｒ, ｈｇ, ｈｂ）となり、これらは次式によって表現することができる：
【数１】
2020017252.tif 000003
ここに、Ｌはディスプレイ１２０の表示明度と元の色との乗算を表す。ディスプレイ１２０の明度がより暗いとＬの値はより低くなり、その逆も成り立つ。それに加えて、異なるディスプレイの特性が、元の色の３つのチャネル毎に異なる乗算を有することもある。ここで、仮想物体に対応する実際のオーバーラップ領域の背景色明度は（ｈｂｒ, ｈｂｇ, ｈｂｂ）のように表すことができる。ディスプレイ１２０を透過した後の、実際のオーバーラップ領域の色明度は、周囲の明度に比例するものと推定され、即ち、ゲイン値及び露光時間に反比例するものと推定される。従って、ディスプレイ１２０を透過した後の、実際のオーバーラップ領域の両眼に対する透過背景色明度（ｅｈｂｒ, ｅｈｂｇ, ｅｈｂｂ）は、以下に表現する次式によって推定することができる：
【数２】
2020017252.tif 000004
ここに、Ｃは周囲の明度に関連するか、あるいは周囲の明度及びディスプレイ１２０の透過率の両方に関連し、例えば次式のようになる：
【数３】
2020017252.tif 000005
ここに、ａは経験的な定数値、あるいはディスプレイ１２０の透過率を乗じた変数である。それに加えて、コンピュータ装置１３０は、例えば、以下の表１に示すような対応する表を予め記憶しておくことができる。
【００３５】
【表１】
2020017252.tif 000006
【００３６】
透過背景色明度（ｅｈｂｒ, ｅｈｂｇ, ｅｈｂｂ）が仮想物体の元の色明度（ｈｒ, ｈｇ, ｈｂ）とオーバーラップするので、両眼が受ける視覚的な色明度は次式のようになる：
【数４】
2020017252.tif 000007
ここでは、元の仮想物体の元の色明度（ｈｒ, ｈｇ, ｈｂ）を、補正した色明度（ｃｒ, ｃｇ, ｃｂ）に調整するべきであり、これにより、両眼が受光する実際の色明度（ｅｒ, ｅｇ, ｅｂ）を元の仮想物体の元の色明度（ｈｒ, ｈｇ, ｈｂ）と同じにすることができ、次式のように表される：
【数５】
2020017252.tif 000008
即ち、色補償された仮想物体の補正した色明度は、仮想物体の元の色明度と、ディスプレイ１２０を透過した後の実際のオーバーラップ領域の透過背景色明度との差になるべきである。
【００３７】
なお、周囲が明る過ぎる際には、これにより、ディスプレイ１２０を透過した後の実際のオーバーラップ領域の、両眼に対する透過背景色明度
（外１）
2020017252.tif 000009
が、仮想物体の元の色明度（ｈｒ, ｈｇ, ｈｂ）よりも明るくなる。しかし、ディスプレイ１２０は半透明材料であり、光を吸収することができず、従って、色補償後の補正した色明度（ｃｒ, ｃｇ, ｃｂ）は０未満にはなり得ない。この時点では、補正した色明度（ｃｒ, ｃｇ, ｃｂ）を全体的に改善することができるに過ぎず、ディスプレイ１２０の明度範囲の理由で、補正した色明度（ｃｒ, ｃｇ, ｃｂ）について上限を設定するべきである。従って、コンピュータ装置１３０は、色補償された仮想物体の補正した色を、本発明の実施形態による図７及び図８のそれぞれに示す明度調整方法のフローチャートに基づいて調整することができる。
【００３８】
図７を参照すれば、コンピュータ装置１３０は、まず、色補償された仮想物体の各画素の補償された明度値ＨＧ(ｃｒ, ｃｇ, ｃｂ)の各々を取得して、仮想物体の補償された各明度値として設定する（ステップＳ７０２）。次に、コンピュータ装置１３０は、補償された明度値の中から、最小の補償された明度値min{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}及び最大の補償された明度値max{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}を得る（ステップＳ７０４及びステップＳ７０６、これら２つのステップは特定順序ではない）。これら２つの極値は、すべての補償された明度値を調整するための基礎として用いる。
【００３９】
具体的には、最小の明度値は負になり得るので、コンピュータ装置１３０は、補償された明度値ＨＧ(ｃｒ, ｃｇ, ｃｂ)の各々と最小の明度値min{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}との間で減算を実行して、シフトした明度値ＨＧ’(ｃｒ, ｃｇ, ｃｂ)のそれぞれを生成する（ステップＳ７０８）。シフトした明度値ＨＧ’(ｃｒ, ｃｇ, ｃｂ)は次式のように表現することができる：
ＨＧ’(ｃｒ, ｃｇ, ｃｂ)＝ＨＧ(ｃｒ, ｃｇ, ｃｂ)−min{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}
次に、コンピュータ装置１３０は、最大の補償された明度値max{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}と最小の補償された明度値min{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}との差が第１の明度閾値ＴＨ１よりも大きいか否かを判定し（ステップＳ７１０）、即ち、次の条件式を満足するか否かを判定する：
max{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}−min{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}＞ＴＨ１
ここで、第１の閾値ＴＨ１は、例えば２０００nitにすることができる。この判定が否定であれば、コンピュータ装置１３０は、シフトした明度値ＨＧ’(ｃｒ, ｃｇ, ｃｂ)の各々を、調整した仮想物体の各画素の明度値ＨＧadjとして設定する。このＨＧadjは次式のように表現することができる：
ＨＧadj＝ＨＧ’(ｃｒ, ｃｇ, ｃｂ)
この判定が肯定であれば、コンピュータ装置１３０は、シフトした明度値ＨＧ’(ｃｒ, ｃｇ, ｃｂ)の各々に対して、第１の明度閾値ＴＨ１に応じた正規化を実行して、シフトして正規化した明度値の各々を、調整した仮想物体の各画素の明度値ＨＧadjとして設定する。例えば、第１の明度閾値ＴＨ１と、すべてのシフトした明度値の中で最大のシフトした明度値max{ＨＧ’(ｃｒ, ｃｇ, ｃｂ)}との比を用いて、すべてのシフトした明度値に対する正規化を実行して、調整した仮想物体の各画素の明度値ＨＧadjを生成する（ステップＳ７１４）。このＨＧadjは次式のように表現することができる：
【数６】
2020017252.tif 000010
しかし、こうしたやり方は、周囲が明る過ぎる場合に、補償された仮想物体の色を薄暗くし、従って、周囲が明る過ぎる実際のシーンには適さないことがある。
【００４０】
図８を参照すれば、図７と同様に、コンピュータ装置１３０は、まず、色補償された仮想物体の各画素の明度値ＨＧ(ｃｒ, ｃｇ, ｃｂ)を取得して、仮想物体の補償された明度値の各々として設定する。次に、コンピュータ装置１３０は、補償された明度値の中で最小の補償された明度値min{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}及び最大の補償された明度値max{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}を得る。これら２つの極値は、補償された明度値を調整するための基礎として用いる。
【００４１】
具体的には、コンピュータ装置１３０は、最大の明度値max{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}と最小の明度値min{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}との差が第２の明度閾値ＴＨ２よりも大きいか否かを判定し（ステップＳ８０８）、即ち、次の条件式を満足するか否かを判定する：
max{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}−min{(ｃｒ, ｃｇ, ｃｂ)}＞ＴＨ２
ここで、第２の明度閾値ＴＨ２は、例えば２０００nitにすることができる。この判定が否定であれば、コンピュータ装置１３０は、補償された明度値ＨＧ(ｃｒ, ｃｇ, ｃｂ)の各々と、補償された明度値ＨＧ(ｃｒ, ｃｇ, ｃｂ)の各々のうち最小の補償された明度値min{(ｃｒ, ｃｇ, ｃｂ)}との間で減算を実行して、減算結果を、調整した仮想物体の各画素の明度値ＨＧadjとして設定する（ステップＳ８１０）。このＨＧadjは次式のように表現することができる：
ＨＧadj(ｃｒ, ｃｇ, ｃｂ)＝ＨＧ(ｃｒ, ｃｇ, ｃｂ)−min{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}
この判定が肯定であれば、コンピュータ装置１３０は、補償された明度値ＨＧ(ｃｒ, ｃｇ, ｃｂ)の各々を、０と第２の明度閾値ＴＨ２との区間に調整する。具体的には、補償された明度値ＨＧ(ｃｒ, ｃｇ, ｃｂ)毎に、コンピュータ装置１３０は、まず、その各々が０よりも大きいか否かを判定する（ステップＳ８１２）。この判定が肯定であれば、コンピュータ装置１３０は、まず、最大の補償された明度値max{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}と第２の明度閾値ＴＨ２との差を計算し、この差に応じて、補償された明度値のシフトを実行し、そして補償された明度値をシフトしたものを、調整した仮想物体の各画素の明度値ＨＧadjとして設定する（ステップＳ８１４）。このＨＧadjは次のように表現することができる：
ＨＧadj(ｃｒ, ｃｇ, ｃｂ)＝ＨＧ(ｃｒ, ｃｇ, ｃｂ)−[max{ＨＧ(ｃｒ, ｃｇ, ｃｂ)}−ＴＨ２]
この判定が否定であれば、コンピュータ装置１３０は、調整した仮想物体の各画素の明度値ＨＧadjを０に設定する（ステップＳ８１６）。即ち、次式のようにする：
ＨＧadj(ｃｒ, ｃｇ, ｃｂ)＝０
補償された明度値を０と第２の明度閾値ＴＨ２との区間に調整することによって、過度に明るい周囲でも仮想物体の色を保つことができ、過度に明るい部分に対する補償は不要になる。
【００４２】
再び図３を参照すれば、コンピュータ装置１３０は、調整した仮想物体を、事前設定物体位置に応じて表示する（ステップＳ３１０）。詳細には、イメージセンサ１１０のＦＯＶとディスプレイ１２０のＦＯＶとのオーバーラップ部分は前のステップでマッピングされている。コンピュータ装置１３０がディスプレイ１２０上に事前設定された所定位置に対応する位置上への結像を実行する前に、コンピュータ装置１３０は、背景画像中の事前設定物体位置に対応する背景オーバーラップ領域の形状及び色を、上記マッピングの関係により知っておくことができる。コンピュータ装置１３０は、さらに、ディスプレイ１２０から見たこの領域の周囲の明度を、自動露出の特徴機能により得て、ディスプレイ１２０を透過する可能性のある周囲の光量を得て、これにより仮想物体の明度及び色を調整して、調整した仮想物体をディスプレイ１２０上に表示する。ＡＲグラスの場合には、調整した仮想物体のそれぞれを左側及び右側のレンズ上に結像させる。その結果、ユーザが見る仮想物体の色は、より一致するようになり、背景色による影響を受けない。
【００４３】
要約すれば、本開示中に提案するＡＲシステム及びその色補償方法では、仮想物体を表示する前に、実際のシーン中に仮想物体がオーバーラップした背景オーバーラップ領域に応じて、色補償を仮想物体に対して実行する。こうした方法は、実際の背景画像の色と混ざり合った仮想物体をユーザが見ることを防止し、これによりユーザ体験が改善される。
【００４４】
それに加えて、上述した詳細な説明、及び本特許出願の範囲内に記載したＡＲグラスまたはＡＲシステムは、技術的概念の意味では、一般化されたＡＲ技術を少なくとも採用したグラス（メガネ）またはシステムに過ぎず、狭い意味のものとして具体的に見なされす、「ＡＲ」装置と称するべき具体的な構造または機能を有する。実際に、仮想画像を現実の画像と組み合わせ、あるいは現実の画像を仮想画像と組み合わせて、仮想画像がオーバーラップした現実の画像を生成することができるあらゆる種類の電子装置が、本開示中に規定するＡＲグラスまたはＡＲシステムに属することができる。
【００４５】
本発明は上記の実施形態の形で開示してきたが、これらの実施形態は本発明を限定することは意図しておらず、通常の当業者は、本発明の精神及び範囲から逸脱することなしに、何らかの変更または修正を行うことができる。本発明の保護範囲は、添付した特許請求の範囲に規定することに支配される。
【産業上の利用可能性】
【００４６】
本開示中に提案するＡＲシステム及びその色補償方法では、仮想物体を表示する前に、実際のシーン中に仮想物体がオーバーラップした背景オーバーラップ領域に応じて、色補償を仮想物体に対して実行する。こうした方法は、実際の背景画像色と混ざり合った仮想物体をユーザが見ることを防止し、これによりユーザ体験が改善される。
【符号の説明】
【００４７】
１００：ＶＲシステム
１１０、１１０’：イメージセンサ
１２０：ディスプレイ
１３０：コンピュータ装置
２１０、２２０；実際の背景画像
２５０：仮想物体
２５０’：調整した仮想物体
Ｓ３０２〜Ｓ３１０、Ｓ７０２〜Ｓ７１４、Ｓ８０２〜Ｓ８１６：ステップ
Ｅ：事前設定された人間の眼の位置
ＮＡ：隣接領域
ＡＲＶＳ：視野オーバーラップ領域
Ｂ１〜Ｂ４：端点
Ｃ：中心点
ｐ１、ｐ１’：イメージセンサの配置位置
ｐ２、ｐ２’：事前設定された人間の眼の位置
４０：イメージセンサの視野
４０’：較正用ボード
４１、４１’：視野オーバーラップ領域
Ｆ１〜Ｆ４：端点
ＡＲ１〜ＡＲ４：Ｆ１〜Ｆ４のマッピング点
５０：背景画像
５１：イメージセンサの視野
６１：背景画像
６１０、６２０：実際の背景
６５０：仮想物体
６５１：物体オーバーラップ領域
【図１】
2020017252.tif 000011
【図２】
2020017252.tif 000012
【図３】
2020017252.tif 000013
【図４−１】
2020017252.tif 000014
【図４−２】
2020017252.tif 000015
【図４−３】
2020017252.tif 000016
【図５】
2020017252.tif 000017
【図６】
2020017252.tif 000018
【図７】
2020017252.tif 000019
【図８】
2020017252.tif 000020
【外国語明細書】
2020017252000001.pdf