(57)【要約】コンピュータ装置により実現される拡張現実画像の実現方法が提供される。拡張現実画像の実現方法は、コンピュータ装置により獲得される現実世界のイメージを指示する第１レイヤを獲得する段階と、前記第１レイヤに含まれている少なくとも１つの客体を識別する段階と、予め格納されたイメージのうち前記少なくとも１つの客体と対応するイメージを基に第１マーカーイメージを決定する段階と、前記少なくとも１つの客体と前記第１マーカーイメージの位置をマッチさせる段階と、前記第１マーカーイメージを基に第２レイヤを生成する段階と、前記第１レイヤと前記第２レイヤの合成によって拡張現実画像を生成する段階と、前記拡張現実画像を出力する段階と、を含む。    【選択図】図２
2020514937.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ装置により実現される拡張現実画像の実現方法であって、
コンピュータ装置により獲得される現実世界のイメージを指示する第１レイヤを獲得する段階と、
前記第１レイヤに含まれている少なくとも１つの客体を識別する段階と、
予め格納されたイメージのうち前記少なくとも１つの客体と対応するイメージを基に第１マーカーイメージを決定する段階と、
前記少なくとも１つの客体と前記第１マーカーイメージの位置をマッチさせる段階と、
前記第１マーカーイメージを基に第２レイヤを生成する段階と、
前記第１レイヤと前記第２レイヤの合成によって拡張現実画像を生成する段階と、
前記拡張現実画像を出力する段階と、
を含む拡張現実画像の実現方法。
【請求項２】
予め格納されたイメージをユーザに提供する段階と、
前記ユーザからイメージ情報を含むユーザ命令を獲得する段階と、
前記イメージ情報を基に第２マーカーイメージを決定する段階と、
を更に含み、
前記第２レイヤの生成に前記第２マーカーイメージを更に考慮することを特徴とする請求項１に記載の拡張現実画像の実現方法。
【請求項３】
前記予め格納されたイメージは、輪郭線ベクタ値を含むことを特徴とする請求項１に記載の拡張現実画像の実現方法。
【請求項４】
前記ユーザ命令は、前記第２マーカーイメージとして用いるイメージの輪郭線ベクタ情報を含むことを特徴とする請求項２に記載の拡張現実画像の実現方法。
【請求項５】
前記ユーザ命令は、前記第２マーカーイメージとして用いるイメージの内部地点と外部地点の情報を含むことを特徴とする請求項２に記載の拡張現実画像の実現方法。
【請求項６】
前記第１マーカーイメージは、前記コンピュータ装置により認識され、ユーザにより認識されないように透明に生成されることを特徴とする請求項１に記載の拡張現実画像の実現方法。
【請求項７】
前記第２レイヤは、前記第１マーカーイメージ及び前記第２マーカーイメージのうちの少なくとも１つに対応する拡張現実コンテンツを含み、前記拡張現実コンテンツは、前記拡張現実画像で現れる仮想画像を意味することを特徴とする請求項２に記載の拡張現実画像の実現方法。
【請求項８】
前記第１レイヤの物体の配置状態をベクタ基盤に確認し、前記物体の配置状態を基に前記拡張現実コンテンツの提供形態を決定することを特徴とする請求項７に記載の拡張現実画像の実現方法。
【請求項９】
請求項１〜８の何れか１項に記載の拡張現実画像の実現方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な媒体。
【請求項１０】
ハードウェアである前記コンピュータ装置と結合され、請求項１〜８の何れか１項に記載の拡張現実画像の実現方法を実行させるために媒体に格納された端末装置用アプリケーション。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ベクタを用いた拡張現実画像の実現方法に関する。
【背景技術】
【０００２】
拡張現実とは、ユーザが目で見ている現実世界のイメージと仮想のイメージとを混合して１つの画像として見せるコンピュータグラフィック技術をいう。拡張現実は、現実世界のイメージの特定客体に仮想の事物又は情報に関するイメージを合成する。
【０００３】
従来は仮想のイメージを合成する客体を識別するために、マーカーイメージ又は位置情報（例えば、ＧＰＳ位置情報）を用いていた。マーカーイメージを用いる場合、ユーザの手が振れるなどを理由に、コンピュータ装置のカメラがマーカーイメージを正確に撮影できず、これにより、拡張現実画像が精巧に実現されないという問題がある。一方、位置情報を用いる場合、周辺環境などの影響により、コンピュータ装置のＧＰＳ位置の認識が制限されたり、誤作動することによって、拡張現実画像が実現されないという問題がある。
【０００４】
従って、マーカーイメージ及び位置情報に依存しない拡張現実画像の実現方法が要求される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】韓国公開特許公報第１０-２０１６-００８１３８１号（２０１６.０７.０８）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は上記事情に鑑みてなされたものであって、その目的は、マーカーイメージが揺れることによって拡張現実コンテンツが連続的に表示されず、途切れるのを防止できる拡張現実画像の実現方法を提供することにある。
【０００７】
本発明が解決しようとする課題は、以上で言及した課題に限定されず、言及されていない他の課題は、以下の記載から通常の技術者が明確に理解できるであろう。
【課題を解決するための手段】
【０００８】
前述した課題を解決するための本発明の一実施形態に係るコンピュータ装置により実現される拡張現実画像の実現方法は、コンピュータ装置により獲得される現実世界のイメージを指示する第１レイヤを獲得する段階と、前記第１レイヤに含まれている少なくとも１つの客体を識別する段階と、予め格納されたイメージのうち前記少なくとも１つの客体と対応するイメージを基に第１マーカーイメージを決定する段階と、前記少なくとも１つの客体と前記第１マーカーイメージの位置をマッチさせる段階と、前記第１マーカーイメージを基に第２レイヤを生成する段階と、前記第１レイヤと前記第２レイヤの合成によって拡張現実画像を生成する段階と、前記拡張現実画像を出力する段階とを含む。
【０００９】
ここで、予め格納されたイメージをユーザに提供する段階と、前記ユーザからイメージ情報を含むユーザ命令を獲得する段階と、前記イメージ情報を基に第２マーカーイメージを決定する段階とを更に含み、前記第２レイヤの生成に前記第２マーカーイメージを更に考慮することができる。
【００１０】
ここで、前記予め格納されたイメージは、輪郭線ベクタ値を含むことができる。
【００１１】
ここで、前記ユーザ命令は、前記第２マーカーイメージとして用いるイメージの輪郭線ベクタ情報を含むことができる。
【００１２】
ここで、前記ユーザ命令は、前記第２マーカーイメージとして用いるイメージの内部地点と外部地点の情報を含むことができる。
【００１３】
ここで、前記第１マーカーイメージは、前記コンピュータ装置により認識され、ユーザにより認識されないように透明に生成されることができる。
【００１４】
ここで、前記第２レイヤは、前記第１マーカーイメージ及び前記第２マーカーイメージのうちの少なくとも１つに対応する拡張現実コンテンツを含み、前記拡張現実コンテンツは、前記拡張現実画像で現れる仮想画像を意味し得る。
【００１５】
ここで、前記第１レイヤの物体の配置状態をベクタ基盤に確認し、前記物体の配置状態を基に前記拡張現実コンテンツの提供形態を決定することができる。
【００１６】
ここで、記載された拡張現実画像の実現方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な媒体を含むことができる。
【００１７】
ここで、ハードウェアである前記コンピュータ装置と結合され、記載された拡張現実画像の実現方法を実行させるために媒体に格納された端末装置用アプリケーションを含むことができる。
【００１８】
本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。
【発明の効果】
【００１９】
本発明によれば、拡張現実画像でマーカーイメージが揺れることによって拡張現実コンテンツが連続的に表示されず、途切れるのを防止できるという効果を奏する。
【００２０】
本発明の効果は、以上で言及した効果に限定されず、言及されていない他の効果は、以下の記載から通常の技術者が明確に理解できるであろう。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る仮想現実画像の実現方法を説明する概略的な概念図である。
【図２】拡張現実を提供する端末の内部を示すブロック図である。
【図３】拡張現実提供方法の第１実施形態を示すフローチャートである。
【図４】拡張現実提供方法の第２実施形態を示すフローチャートである。
【発明を実施するための形態】
【００２２】
本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施形態を参照すれば明確になる。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施形態は本発明の開示を完全なものにし、本発明が属する技術分野において通常の技術者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は請求範囲の範疇により定義されるに過ぎない。
【００２３】
本明細書で用いられた用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のそれぞれ及び１つ以上の全ての組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素はこれらの用語により制限されないのはもちろんである。これらの用語は単に１つの構成要素を他の構成要素と区別するために用いるものである。従って、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素であることもできるのはもちろんである。
【００２４】
他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いられることができる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。
【００２５】
以下、添付の図面を参照し、本発明の実施形態を詳細に説明する。
【００２６】
本発明の実施形態に係るベクタを用いた拡張現実画像の実現方法は、コンピュータ装置により実現される。拡張現実画像の実現方法はアプリケーションで実現してコンピュータ装置内に格納され、コンピュータ装置により行われることができる。
【００２７】
例えば、コンピュータ装置はスマートフォン、タブレットなどのようなモバイルデバイスとして提供されることができるが、これに制限されるものではなく、カメラが備えられ、データを処理及び格納できるコンピュータ装置であれば十分である。即ち、コンピュータ装置は、カメラが備えられたメガネ又はバンドなどのウェアラブルデバイスとして提供されることもできる。例示していない任意のコンピュータ装置が提供されることができる。
【００２８】
明確に示してはいないが、コンピュータ装置は、ネットワークを介して他のコンピュータ装置又はサーバと通信を行うことができる。一実施形態において、拡張現実画像の実現方法は、コンピュータ装置と他のコンピュータ装置又はサーバの連係によって実現されることもできる。
【００２９】
図１を参照すれば、コンピュータ装置１００が現実世界の空間１０を撮影して現実世界のイメージを獲得する。例示的に、現実世界の空間１０に複数の現実客体１１、１２、１３、１４が存在すると仮定する。複数の現実客体１１、１２、１３、１４は、２次元又は３次元の任意の事物を含むことができる。複数の現実客体１１、１２、１３、１４は、互いに異なる又は類似する形態を有することができる。コンピュータ装置１００は、このような形態的な差に基づいて客体を区別できる。
【００３０】
コンピュータ装置１００は、現実世界イメージ内の複数の客体２１、２２、２３、２４を識別できる。コンピュータ装置１００は、識別された複数の客体２１、２２、２３、２４の輪郭線を抽出できる。そして、コンピュータ装置１００は、予め格納されたイメージの輪郭線のベクタ値を用いて複数の客体２１、２２、２３、２４のうち予め格納されたイメージとマッチする客体を決定する。
【００３１】
コンピュータ装置１００は、複数の客体２１、２２、２３、２４と対応するイメージサンプルを予め格納しておくことができる。複数の客体２１、２２、２３、２４と対応するイメージサンプルの輪郭線に関するデータは、予め格納されていることができる。
【００３２】
例えば、第１客体２１が山形状である場合、コンピュータ装置１００は予め格納された第１客体２１の形状と類似するイメージサンプルを呼び出すことができる。コンピュータ装置１００は、予め格納されたイメージサンプルを後述するマーカーイメージとして用いることができる。
【００３３】
マーカーイメージの種類としては、第１マーカーイメージと第２マーカーイメージが挙げられる。第１マーカーイメージは、後述する第１レイヤを基に獲得されたマーカーイメージを意味し得る。即ち、第１マーカーイメージは、ユーザから決定されたものではなく、現実画像を基に決定されたマーカーイメージを意味し得る。例えば、現実画像を反映した第１レイヤに背景画面と区別されるカレンダーと額縁があると仮定する。ここで、第１マーカーイメージは、第１レイヤでカレンダーと額縁の輪郭線と形状を基に生成された透明なマーカーであり得る。ここで、マーカーは後で拡張現実コンテンツを生成する役割を果たすことができる。
【００３４】
第２マーカーイメージは、ユーザから入力を受けた情報を基に獲得されたマーカーイメージを意味し得る。例えば、ユーザはディスプレイ画面で任意に拡張現実コンテンツ（星、爆発模様、キャラクターなど）が現れるように設定できる。この場合、ユーザが拡張現実コンテンツが現れるように設定する過程で第２マーカーイメージが用いられることができる。ここで、第２マーカーイメージは、第１レイヤで拡張現実コンテンツ（星、爆発模様、キャラクターなど）の輪郭線と形状を基に予め格納された透明なマーカーであり得る。
【００３５】
一実施形態において、複数の客体２１、２２、２３、２４の輪郭線に関するデータは３次元タイプで提供されることができる。複数の客体２１、２２、２３、２４のイメージ又は輪郭線に関するデータは、他のコンピュータ装置又はサーバからコンピュータ装置１００に送られて格納されることができる。一方、ユーザにより撮影された複数の客体２１、２２、２３、２４のイメージがコンピュータ装置１００に予め格納されることもできる。そして、抽出された客体の輪郭線に関するデータはベクタ値の形態で、即ちベクタイメージで格納されることができる。ここで、ユーザはコンピュータ装置１００を介して拡張現実を実現するユーザを意味し得る。
【００３６】
本発明の実施形態に係る拡張現実画像の実現方法では、ビットマップイメージではなくベクタイメージを用いるため、精巧に拡張現実画像を実現できる。現実世界の撮影環境によって、コンピュータ装置１００から客体の距離、方向、位置などが変化しても、これに相応して客体のベクタイメージを適切に変化させることによって（即ち、現実世界で撮影可能な客体の任意の多様な形態に対応することによって）、現実世界のイメージ内で客体を正確に識別できる。
【００３７】
コンピュータ装置１００は、複数の客体２１、２２、２３、２４のうち客体とマッチする客体２２を決定し、決定された客体２２の周辺に仮想のイメージ４０を合成して拡張現実画像を実現する。
【００３８】
一実施形態において、ユーザは現実世界のイメージ内の少なくとも１つの領域３１、３２を指定できる。コンピュータ装置１００は、ユーザにより指定された領域３１、３２内の客体２２、２４を客体候補とし、該当客体２２、２４が客体とマッチするかを判断できる。又は、実質的に同一の方式で、ユーザは現実世界のイメージ内の少なくとも１つの客体２２、２４を客体候補として指定することもできる。
【００３９】
図２を参照すれば、コンピュータ装置１００は少なくとも画像獲得部１０１、センサ部１０２、客体認識部１０３、第１レイヤ生成部１０４、ユーザ命令入力部１０５、ユーザ命令編集部１０６、マーカーイメージ生成部１０７、イメージマッチング部１０８、第２レイヤ生成部１０９、第２レイヤ格納部１１０、画像合成部１１１、ディスプレイ制御部１１２、ディスプレイ部１１３のうちの１つを含むことができる。各構成は、コンピュータ装置１００に含まれているプロセッサ（図示せず）により制御されることができる。
【００４０】
画像獲得部１０１は、現実世界のイメージを撮影できる。画像獲得部１０１は、撮影によって現実世界のイメージを獲得できる。現実世界のイメージは、複数の現実客体１１、１２、１３、１４を含むことができる。複数の現実客体１１、１２、１３、１４は、２次元又は３次元の任意の事物を含むことができる。複数の現実客体１１、１２、１３、１４は、互いに異なる又は類似する形態を有することができる。画像獲得部１０１はカメラなどであり得る。
【００４１】
センサ部１０２には、ＧＰＳを支援する装置が搭載されていることができる。センサ部１０２は撮影される画像の位置、コンピュータ装置１００が撮影する方向、コンピュータ装置１００の移動速度などを認知できる。
【００４２】
客体認識部１０３は、現実世界のイメージに含まれている複数の現実客体１１、１２、１３、１４の輪郭線を基に複数の現実客体１１、１２、１３、１４を認識できる。客体認識部１０３は、複数の現実客体１１、１２、１３、１４の輪郭線を基に複数の現実客体１１、１２、１３、１４を認識し、複数の現実客体１１、１２、１３、１４と対応する複数の客体２１、２２、２３、２４をコンピュータ装置１００内に生成できる。
【００４３】
第１レイヤ生成部１０４は、現実世界のイメージに対応する現実画像を指示する第１レイヤを生成できる。拡張現実画像は、現実画像と仮想画像の合成によって実現されることができる。本発明で第１レイヤ生成部１０４は、画像獲得部１０１により撮影された現実世界のイメージを基に現実画像を生成できる。
【００４４】
ユーザ命令入力部１０５は、コンピュータ装置１００を用いるユーザから複数の客体２１、２２、２３、２４と区別される他の客体を出力せよという命令の入力を受けることができる。例えば、ユーザは、コンピュータ装置１００から複数の客体２１、２２、２３、２４を認識できる。ユーザは、第１客体２１を他の客体に変更したい場合、第１客体２１を予め格納された他の客体に変更することを要請する命令をコンピュータ装置１００に入力できる。又は、ユーザは第１客体２１をユーザが直接コンピュータ装置１００に入力する（又は描く）客体に変更することを要請する命令をコンピュータ装置１００に入力できる。ユーザ命令は、マーカーイメージとして用いるイメージの内部地点と外部地点の情報を含むことができる。
【００４５】
ユーザ命令編集部１０６は、ユーザ命令入力部１０５から獲得したユーザ命令を基に複数の客体２１、２２、２３、２４のうちの少なくとも１つの客体を編集できる。
【００４６】
例えば、ユーザ命令入力部１０５がユーザから第１客体２１を予め格納された他の客体に変更することを要請する命令を受信した場合、ユーザ命令編集部１０６は、第１客体２１を予め格納された他の客体に変更する編集を行うことができる。
【００４７】
マーカーイメージ生成部１０７は、複数の客体２１、２２、２３、２４を基にマーカーイメージを生成できる。ここで、マーカーイメージは、拡張現実コンテンツを生成するイメージであり得る。
【００４８】
例えば、現実イメージに含まれている石を黄金にする仮想現実画像を提供するコンピュータ装置１００を仮定することができる。第２客体２２が石（ｓｔｏｎｅ）と仮定する場合、マーカーイメージ生成部１０７は、第２客体２２のベクタ値を基に黄金を生成できるマーカーイメージを生成できる。
【００４９】
ここで、マーカーイメージは、コンピュータ装置１００によって認識されることができる。マーカーイメージは、ユーザによっては認識されないように透明に生成されることができる。
【００５０】
イメージマッチング部１０８は、生成された複数の客体２１、２２、２３、２４のマーカーイメージと複数の客体２１、２２、２３、２４間の位置を対応させることができる。イメージマッチング部１０８は、リアルタイムで複数の客体２１、２２、２３、２４の位置が変更される場合、マーカーイメージの位置を複数の客体２１、２２、２３、２４に対応するように移動させることができる。
【００５１】
第２レイヤ生成部１０９は、生成された複数の客体２１、２２、２３、２４のマーカーイメージを認識できる。第２レイヤ生成部１０９は、生成された複数の客体２１、２２、２３、２４のマーカーイメージの各位置に対応する拡張現実コンテンツが結合された第２レイヤを生成できる。拡張現実コンテンツはユーザが識別できる。
【００５２】
第２レイヤ格納部１１０は、第２レイヤ生成部１０９から生成された第２レイヤを格納することができる。マーカーイメージを基に生成された第２レイヤによってリアルタイムで複数の客体２１、２２、２３、２４の位置が変更する場合にも途切れない連続的な画面をユーザに提供できる。
【００５３】
画像合成部１１１は、第１レイヤと第２レイヤの合成によって拡張現実画像を生成できる。即ち、拡張現実画像は、現実世界のイメージに拡張現実コンテンツが含まれている画像であり得る。例えば、コンピュータ装置１００を介して獲得した現実世界のイメージに石がある場合、画像合成部１１１は該当石のみを黄金で表示した画像を生成できる。
【００５４】
ディスプレイ制御部１１２は、ディスプレイ部１１３が拡張現実画像を出力することを制御できる。ディスプレイ部１１３は、拡張現実の視覚的な画面を介して出力できる。
【００５５】
図３は、ユーザ命令がない場合のコンピュータ装置１００の動作を意味し得る。図３を参照すれば、コンピュータ装置１００は、現実世界のイメージを基に第１レイヤを生成できる（Ｓ３１０）。コンピュータ装置１００は、第１レイヤ内の少なくとも１つの客体を識別できる（Ｓ３２０）。コンピュータ装置１００は、第１レイヤの色、解像度、輪郭線のベクタ値などを抽出できる。
【００５６】
コンピュータ装置１００は、第１レイヤの色、解像度、輪郭線のベクタ値などを基に第１レイヤ内の少なくとも１つの客体を識別できる。具体的な客体の識別過程は、以下の通りである。コンピュータ装置１００は、第１レイヤの解像度を基に画像を分割できる。コンピュータ装置１００は、分割された画像を各領域別に分類することができる。分割された画像が予め設定された個数よりも多い場合、コンピュータ装置１００は解像度の調節を通じて階層的領域を併合できる。例えば、コンピュータ装置１００は、第１レイヤの解像度を下げて少数の分割画像に区分されるようにすることができる。コンピュータ装置１００は、分割画像のうち独立的に認識され得る客体を抽出できる。
【００５７】
コンピュータ装置１００は、予め格納されたイメージのうち識別された客体と対応するイメージを基に第１マーカーイメージを決定できる（Ｓ３３０）。
【００５８】
コンピュータ装置１００は、第１マーカーイメージと第１レイヤに含まれている客体の位置をマッチさせることができる（Ｓ３４０）。コンピュータ装置１００は、第１マーカーイメージを基に拡張現実コンテンツを含む第２レイヤを生成できる（Ｓ３５０）。
【００５９】
コンピュータ装置１００は、第１レイヤと第２レイヤの合成によって拡張現実画像を生成できる。拡張現実コンテンツは、第１レイヤではなく第１レイヤを基礎として形成された第１マーカーイメージを基に生成されるため、第１レイヤが手振れ現象により揺れる場合にも途切れない拡張現実コンテンツを含む拡張現実画像を生成できる。仮りに第１レイヤの位置又は見られる角度が変更された場合、コンピュータ装置１００は、第１レイヤの任意の客体のベクタ値、現実世界の客体の位置ベクタ値、客体の法線ベクタ値などを用いて格納された第１マーカーイメージに位置又は見られる角度が変更されることに対応するベクタ値の補償を行うことができる。
【００６０】
例えば、コンピュータ装置１００が現実世界の額縁を撮影しながらコンピュータ装置１００の位置のみ変わる場合、額縁が見られる角度が変更され得る。この場合、コンピュータ装置１００は、額縁に対応する第１マーカーイメージのベクタ値、現実世界の額縁の位置ベクタ値、額縁の法線ベクタ値などを用いて第１マーカーイメージのベクタ値を補正できる。
【００６１】
コンピュータ装置１００は、ディスプレイ部１１３を介して拡張現実画像を視覚的に出力できる（Ｓ３６０）。
【００６２】
図４は、ユーザ命令がある場合のコンピュータ装置１００の動作を意味し得る。図４を参照すれば、コンピュータ装置１００は、現実世界のイメージを基に第１レイヤを生成できる（Ｓ３１０）。
【００６３】
コンピュータ装置１００は、予め格納された少なくとも１つの客体又は少なくとも１つのイメージをユーザに提供できる（Ｓ３１１）。コンピュータ装置１００は、ユーザの要請がある場合、予め格納された少なくとも１つの客体（又はイメージ）をユーザに提供できる。又はコンピュータ装置１００は、ユーザの要請がなくても自動的に予め格納された少なくとも１つの客体（イメージ）をユーザに提供できる。
【００６４】
コンピュータ装置１００を介して予め格納された少なくとも１つの客体（又はイメージ）を確認したユーザは、現実世界のイメージから獲得した少なくとも１つの客体を予め格納された他の客体に変更することを要請する命令をコンピュータ装置１００に入力できる。ユーザは、直接コンピュータ装置１００に客体を入力することができる（又は描くことができる。）
【００６５】
コンピュータ装置１００は、ユーザから現実世界のイメージから獲得した少なくとも１つの客体を予め格納された他の客体に変更することを要請する命令を獲得できる（Ｓ３１２）。又は、コンピュータ装置１００は、ユーザから現実世界のイメージから獲得された少なくとも１つの客体をユーザが直接コンピュータ装置１００に入力した（又はグリーン）客体に変更することを要請する命令を獲得できる。
【００６６】
コンピュータ装置１００は、命令を基に予め格納されたイメージのうち第２マーカーイメージを決定できる（Ｓ３１３）。コンピュータ装置１００は、第１レイヤ内の少なくとも１つの客体を識別できる（Ｓ３２０）。コンピュータ装置１００は、第１レイヤの色、解像度、輪郭線のベクタ値などを抽出できる。
【００６７】
コンピュータ装置１００は、第１レイヤの色、解像度、輪郭線のベクタ値などを基に第１レイヤ内の少なくとも１つの客体を識別できる。具体的な客体の識別過程は以下の通りである。コンピュータ装置１００は、第１レイヤの解像度を基に画像を分割できる。コンピュータ装置１００は、分割された画像を各領域別に分類することができる。分割された画像が予め設定された個数よりも多い場合、コンピュータ装置１００は、解像度の調節を通じて階層的領域を併合できる。例えば、コンピュータ装置１００は、第１レイヤの解像度を下げて少数の分割画像に区分されるようにすることができる。コンピュータ装置１００は、分割画像のうち独立的に認識され得る客体を抽出できる。
【００６８】
コンピュータ装置１００は、予め格納されたイメージのうち識別された客体と対応するイメージを基に第１マーカーイメージを決定できる（Ｓ３３０）。
【００６９】
コンピュータ装置１００は、第１マーカーイメージと第１レイヤに含まれている客体の位置をマッチさせることができる（Ｓ３４０）。コンピュータ装置１００は、第１マーカーイメージ又は第２マーカーイメージのうちの少なくとも１つを基に拡張現実コンテンツを含む第２レイヤを生成できる（Ｓ３５１）。
【００７０】
コンピュータ装置１００は、第１レイヤと第２レイヤの合成によって拡張現実画像を生成できる。拡張現実コンテンツは、第１レイヤではなく第１レイヤを基礎として形成された第１マーカーイメージ及びユーザ命令を基に形成された第２マーカーイメージのうちの少なくとも１つを基に生成されるため、第１レイヤが手振れ現象により振れる場合にも途切れない拡張現実コンテンツを含む拡張現実画像を生成できる。仮りに第１レイヤの位置又は見られる角度が変更された場合、コンピュータ装置１００は、第１レイヤの任意の客体のベクタ値、現実世界の客体の位置ベクタ値、客体の法線ベクタ値などを用いて格納された第１マーカーイメージ又は第２マーカーイメージに位置又は見られる角度が変更されることに対応するベクタ値の補償を行うことができる。
【００７１】
例えば、コンピュータ装置１００が現実世界の額縁を撮影しながらコンピュータ装置１００の位置のみ変わる場合、額縁が見られる角度が変更されることができる。この場合、コンピュータ装置１００は、額縁に対応する第１マーカーイメージのベクタ値、現実世界の額縁の位置ベクタ値、額縁の法線ベクタ値などを用いて第１マーカーイメージのベクタ値を補正できる。
【００７２】
コンピュータ装置１００は、第１レイヤと第２レイヤの合成によって拡張現実画像を生成できる。コンピュータ装置１００は、ディスプレイ部１１３を介して拡張現実画像を視覚的に出力できる（Ｓ３６０）。
【００７３】
以上で前述した本発明の一実施形態に係る拡張現実画像の実現方法は、ハードウェアであるコンピュータと結合されて実行されるために、プログラム（又はアプリケーション）で実現して媒体に格納されることができる。
【００７４】
前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムで実現した前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを介して読み取られるＣ、Ｃ＋＋、ＪＡＶＡ、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行する必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前記コンピュータのプロセッサが所定の手順通りに実行させるために必要な実行手順関連の制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータのプロセッサが実行させるために必要な追加の情報やメディアが、前記コンピュータの内部又は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコードを更に含むことができる。また、前記コンピュータのプロセッサが前記機能を実行させるために遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは、前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコンピュータやサーバなどと如何に通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを更に含むことができる。
【００７５】
前記格納される媒体は、レジスタ、キャッシュ、メモリなどのように短い瞬間にデータを格納する媒体ではなく半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などが挙げられるが、これに限定されない。即ち、前記プログラムは、前記コンピュータが接続できる多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されることができる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取れるコードを格納することができる。
【００７６】
以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野において通常の技術者は本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施され得るということが理解できるであろう。従って、以上で記述した実施形態はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。
【図１】
2020514937.tif 000003
【図２】
2020514937.tif 000004
【図３】
2020514937.tif 000005
【図４】
2020514937.tif 000006
【手続補正書】
【提出日】令和1年9月20日(2019.9.20)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2020514937.tif 000007
【国際調査報告】
2020514937.tif 000008
2020514937.tif 000009
2020514937.tif 000010
2020514937.tif 000011