(57)【特許請求の範囲】
【請求項１】
物件の三次元モデル内でユーザをナビゲートするシステムであって、
前記物件の画像がカメラで撮影されるカメラ位置にそれぞれ対応する複数の点位置に関連付けられたデータを記憶するように構成された記憶装置と、
少なくとも１つのプロセッサとを備え、
前記少なくとも１つのプロセッサは、
前記点位置間の接続性を判定し、
前記物件を第１の紹介位置において上映し、
前記第１の紹介位置と第２の紹介位置とを結ぶ複数の候補経路を決定し、各候補経路について、前記第１の紹介位置及び前記第２の紹介位置と異なる点位置の部分群を、前記接続性に基づいて自動的に選択し、各候補経路は、選択された前記点位置の部分群を通るものであり、
前記候補経路から１つの経路を選択し、
選択された前記経路上の前記点位置に対応する景色を連続的に表示するように構成されており、各点位置における景色は、前記点位置に対応するカメラ位置において撮影された画像から描画されていて、
前記候補経路から１つの経路を選択するために、前記少なくとも１つのプロセッサは、
各候補経路上の点位置の数を判定し、
閾値数よりも少ない数の点位置を有する候補経路の部分群を特定し、
前記候補経路の部分群における各候補経路上の隣接する２つの点位置間ごとの距離を判定し、
前記候補経路の部分群における各候補経路の長さを、前記距離の合計として決定し、
最短の長さを有する候補経路を選択するようにさらに構成されていることを特徴とする、システム。
【請求項２】
前記点位置間の接続性を判定するために、前記少なくとも１つのプロセッサは、
一対の点位置を結ぶ接続線が少なくとも１つの障害物と交差している場合に、前記一対の点位置は接続可能でないと判定し、
前記接続線がいかなる障害物とも交差していない場合に、前記一対の点位置は接続可能であると判定するようにさらに構成されている、請求項１に記載のシステム。
【請求項３】
前記物件は、複数の機能空間に分割された不動産物件であり、
前記第１の紹介位置は、第１の機能空間内に配置され、前記第２の紹介位置は、第２の機能空間内に配置される、請求項１に記載のシステム。
【請求項４】
前記少なくとも１つのプロセッサは、前記第１の機能空間を前記第１の紹介位置において紹介すると共に、前記第２の機能空間を前記第２の紹介位置において紹介する音声コンテンツを表示するようにさらに構成されている、請求項３に記載のシステム。
【請求項５】
前記候補経路から１つの経路を選択するために、前記少なくとも１つのプロセッサは、
各候補経路の点位置の数を判定し、前記候補経路のうちの最多の数の点位置を有する経路を選択するようにさらに構成されている、請求項１に記載のシステム。
【請求項６】
選択された前記経路上の点位置に対応する景色を連続的に表示するために、前記少なくとも１つのプロセッサは、
選択された前記経路上の１つの点位置から選択された前記経路上の隣接する点位置まで、ユーザを、前記第１の紹介位置から前記第２の紹介位置に向かう方向にナビゲートし、
前記ユーザが前記隣接する点位置にいる時には、前記隣接する点位置に対応する景色を前記方向に方向付けて表示するように構成されている、請求項１に記載のシステム。
【請求項７】
物件の三次元モデル内でユーザをナビゲートする、コンピュータにより実施される方法であって、
前記物件の画像がカメラで撮影されるカメラ位置にそれぞれ対応する複数の点位置に関連付けられたデータを受信するステップと、
少なくとも１つのプロセッサによって、前記点位置間の接続性を判定するステップと、
前記物件を第１の紹介位置において上映するステップと、
前記少なくとも１つのプロセッサによって、前記第１の紹介位置と第２の紹介位置とを結ぶ複数の候補経路を決定し、各候補経路について、前記第１の紹介位置及び前記第２の紹介位置と異なる点位置の部分群を、前記接続性に基づいて自動的に選択するステップであって、各候補経路は、選択された前記点位置の部分群を通るステップと、
前記少なくとも１つのプロセッサによって、前記候補経路から１つの経路を選択するステップと、
選択された前記経路上の前記点位置に対応する景色を、ディスプレイ上に連続的に表示するステップであって、各点位置における景色は、前記点位置に対応するカメラ位置において撮影された画像から、前記少なくとも１つのプロセッサによって描画されているステップとを含み、
前記候補経路から１つの経路を選択するステップは、
各候補経路上の点位置の数を判定するステップと、
閾値数よりも少ない数の点位置を有する候補経路の部分群を特定するステップと、
前記候補経路の部分群における各候補経路上の隣接する２つの点位置間ごとの距離を判定するステップと、
前記候補経路の部分群における各候補経路の長さを、前記距離の合計として決定するステップと、
最短の長さを有する候補経路を選択するステップとをさらに含むことを特徴とする、方法。
【請求項８】
前記点位置間の接続性を判定するステップは、
一対の点位置を結ぶ接続線が少なくとも１つの障害物と交差している場合に、前記一対の点位置は接続可能でないと判定するステップと、
前記接続線がいかなる障害物とも交差していない場合に、前記一対の点位置は接続可能であると判定するステップとをさらに含む、請求項７に記載の方法。
【請求項９】
前記物件は、複数の機能空間に分割された不動産物件であり、
前記第１の紹介位置は、第１の機能空間内に配置され、前記第２の紹介位置は、第２の機能空間内に配置される、請求項７に記載の方法。
【請求項１０】
前記第１の機能空間を前記第１の紹介位置において紹介すると共に、前記第２の機能空間を前記第２の紹介位置において紹介する音声コンテンツを表示するステップをさらに含む、請求項９に記載の方法。
【請求項１１】
前記候補経路から１つの経路を選択するステップは、
各候補経路上の点位置の数を判定するステップ、および、
前記候補経路のうちの最多の数の点位置を有する経路を選択するステップをさらに含む、請求項７に記載の方法。
【請求項１２】
選択された前記経路上の点位置に対応する景色を連続的に表示するステップは、
選択された前記経路上の１つの点位置から選択された前記経路上の隣接する点位置まで、ユーザを、前記第１の紹介位置から前記第２の紹介位置に向かう方向にナビゲートするステップと、
前記ユーザが前記隣接する点位置にいる時には、前記隣接する点位置に対応する景色を前記方向に方向付けて表示するステップとをさらに含む、請求項７に記載の方法。
【請求項１３】
少なくとも１つのプロセッサによって実行されると、物件の三次元モデル内でユーザをナビゲートする方法を実施するコンピュータ指示が記憶された非一時的コンピュータ可読媒体であって、前記方法は、
前記物件の画像がカメラで撮影されるカメラ位置にそれぞれ対応する複数の点位置に関連付けられたデータを受信するステップと、
前記点位置間の接続性を判定するステップと、
前記物件を第１の紹介位置において上映するステップと、
前記第１の紹介位置と第２の紹介位置とを結ぶ複数の候補経路を決定し、各候補経路について、前記第１の紹介位置及び前記第２の紹介位置と異なる点位置の部分群を、前記接続性に基づいて自動的に選択するステップであって、各候補経路は、選択された前記点位置の部分群を通るステップと、
前記候補経路から１つの経路を選択するステップと、
選択された前記経路上の前記点位置に対応する景色を連続的に表示するステップであって、各点位置における景色は、前記点位置に対応するカメラ位置において撮影された画像から描画されているステップとを含み、
前記候補経路から１つの経路を選択するステップは、
各候補経路上の点位置の数を判定するステップと、
閾値数よりも少ない数の点位置を有する候補経路の部分群を特定するステップと、
前記候補経路の部分群における各候補経路上の隣接する２つの点位置間ごとの距離を判定するステップと、
前記候補経路の部分群における各候補経路の長さを、前記距離の合計として決定するステップと、
最短の長さを有する候補経路を選択するステップとをさらに含むことを特徴とする、非一時的コンピュータ可読媒体。
【請求項１４】
データ処理装置で実行されると、請求項１〜６のいずれかに記載のシステムを提供するように、または、請求項７〜１２のいずれかに記載の方法ステップを実施するように構成されていることを特徴とする、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、仮想現実技術を用いて物件見学を行うためのシステム、および方法に関し、より詳細には、物件の三次元モデル内でユーザを、複数の点位置を結ぶ選択された経路を通してナビゲートするためのシステム、および方法に関する。
【背景技術】
【０００２】
本願は、２０１８年５月３０日に出願された中国出願番号第２０１８１０５４０３２６．１号の優先権を主張するものであり、その全体を参照により本願の一部をなすものとして引用する。
【０００３】
不動産市場では、物件を購入、または賃借したい場合、通常、まず物件を見学して、レイアウト、および家具配置を視覚的に体験することを求めることになるだろう。家見学は、多くの場合、例えば、物件所有者や不動産業者によって対面で行われる。見学の間、訪問者は、物件を見て回ることができ、見学に同行する物件の所有者／業者は、当該物件の特徴を訪問者に紹介することになる。例えば、訪問者が台所にいる場合、その部屋、キャビネット、および、調理台スペースのサイズ、取り付けられている電化製品、並びに、照明条件といった特徴が、口頭で紹介される。物件見学は、潜在的な購入者／賃借者にとっては有益であるが、時間がかかり、非効率的でもある。
【０００４】
近年、仮想現実（ＶＲ）技術を適用して、これらの見学を仮想的に行うことが行われている。物件の動画、画像、および、点群データが予め取得される。この点群データ、および／または、画像に基づいて、三次元モデルが描画される。その結果、訪問者は、物件を遠隔から視認でき、対面で視認する必要はない。他方、物件の所有者／業者は、システムにログインして、物件の特徴をリアルタイムで紹介することができる。したがって、ＶＲ見学は、対面での体験を仮想的にオンラインで再現することにより、訪問者、および物件の所有者／業者の双方の時間を節約する。
【０００５】
しかしながら、ＶＲ見学には課題も残っている。特に、物件は、通常、台所、居間、食堂、軽食用コーナー、勉強部屋、寝室、および、洗面所といった複数の部屋、または機能空間を含む。訪問者が１つの部屋の見学を終了して次の部屋を見たい場合、従来のＶＲ見学技術は、通常、例えば画像を突然切り替えることによって、景色を一つ部屋から別の部屋に直接移行させる。このような移行は、訪問者が次の部屋に案内される、ユーザの実生活における経験と矛盾するものである。例えば、訪問者が部屋を繋ぐ廊下やドアを通って歩く場合、物件のレイアウト、および、さらなる物件の景色を、通路に沿って体験し続けるであろう。これら全てが、従来のＶＲ見学技術による突然の移行により失われることになる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示の実施形態は、物件の三次元モデル内でユーザを、複数の点位置を繋ぐ選択された経路を通してナビゲートすることによって、既存のＶＲ見学システム、および方法を改善するものである。
【課題を解決するための手段】
【０００７】
一態様では、物件の三次元モデル内でユーザをナビゲートするシステムが開示される。このシステムは、複数の点位置に関連付けられたデータを記憶するように構成された記憶装置を含む。各点位置は、前記物件の画像、および点群データをカメラで撮影するカメラ位置に対応する。このシステムは、前記点位置間の接続性を判定し、第１の紹介位置と第２の紹介位置とを結ぶ複数の候補経路を決定する少なくとも１つのプロセッサをさらに含む。各候補経路は、前記接続性に基づいて点位置の部分群を繋ぐものである。少なくとも１つのプロセッサは、前記候補経路から１つの経路を選択し、選択された経路上の点位置に対応する景色を連続的に表示するようにさらに構成されている。各点位置における景色は、この点位置に対応するカメラ位置において撮影された画像から描画されている。
【０００８】
別の一態様では、物件の三次元モデル内でユーザをナビゲートする、コンピュータにより実施される方法が開示される。この方法は、複数の点位置に関連付けられたデータを受信するステップを含む。各点位置は、前記物件の画像がカメラで撮影されるカメラ位置に対応する。この方法は、少なくとも１つのプロセッサによって、点位置間の接続性を判定するステップと、少なくとも１つのプロセッサによって、第１の紹介位置と第２の紹介位置とを結ぶ複数の候補経路を決定するステップとをさらに含む。各候補経路は、前記接続性に基づいて点位置の部分群を繋ぐものである。この方法はまた、少なくとも１つのプロセッサによって、候補経路から１つの経路を選択するステップと、選択された経路上の点位置に対応する景色を、ディスプレイ上に連続的に表示するステップと、を含む。各点位置における景色は、この点位置に対応するカメラ位置において撮影された画像から、少なくとも１つのプロセッサによって描画されている。
【０００９】
さらに別の一態様では、コンピュータ指示が記憶された非一時的コンピュータ可読媒体が開示される。このコンピュータ指示は、少なくとも１つのプロセッサによって実行されると、物件の三次元モデル内でユーザをナビゲートする方法を実施する。この方法は、複数の点位置に関連付けられたデータを受信するステップを含む。各点位置は、前記物件の画像がカメラで撮影されるカメラ位置に対応する。この方法は、前記点位置間の接続性を判定するステップと、第１の紹介位置と第２の紹介位置とを結ぶ複数の候補経路を決定するステップとをさらに含む。各候補経路は、前記接続性に基づいて点位置の部分群を繋ぐものである。この方法はまた、候補経路から１つの経路を選択するステップと、選択された経路上の点位置に対応する景色を連続的に表示するステップと、を含む。各点位置における景色は、この点位置に対応するカメラ位置において撮影された画像から描画されている。
【００１０】
さらに別の一態様では、物件の三次元モデル内でユーザをナビゲートするシステムが開示される。このシステムは、複数の点位置に関連付けられたデータを記憶するように構成された記憶装置であって、各点位置は、前記物件の画像、および点群データをカメラで撮影するカメラ位置に対応する記憶装置と、少なくとも１つのプロセッサと、を含む。少なくとも１つのプロセッサは、前記点位置間の接続性を判定し、第１の紹介位置と第２の紹介位置とを結ぶ複数の候補経路を決定し、各候補経路は、前記接続性に基づいて点位置の部分群を繋ぐものであり、候補経路から１つの経路を選択し、選択された経路上の点位置に対応する景色を連続的に表示するように構成されており、各点位置における景色は、この点位置に対応するカメラ位置において撮影された画像から描画されている。
【００１１】
一例では、前記点位置間の接続性を判定するために、前記少なくとも１つのプロセッサは、一対の点位置を接続線で接続し、前記接続線がいかなる障害物とも交差していないことを判定し、前記一対の点位置が接続可能であることを判定するようにさらに構成されている。
【００１２】
一例では、前記障害物は、前記物件の分離構造物、前記物件内の備品、家具、または、装飾品である。
【００１３】
一例では、前記物件は、複数の機能空間に分割された不動産物件であり、前記少なくとも１つのプロセッサは、前記三次元モデル内の第１の機能空間から第２の機能空間に前記ユーザをナビゲートする指示を受信し、前記第１の機能空間における前記第１の紹介位置、および、前記第２の機能空間における前記第２の紹介位置を特定するように構成されている。
【００１４】
一例では、前記候補経路から１つの経路を選択するために、前記少なくとも１つのプロセッサは、各候補経路上の点位置の数を判定して、閾値数よりも少ない数の点位置を有する候補経路の部分群を特定すること、または、各候補経路の長さを判定して、最短の長さを有する経路を特定すること、を行うようにさらに構成されており、前記閾値数よりも少ない数の点位置、および／または、最短の長さを有する候補経路が選択される。
【００１５】
一例では、前記候補経路の長さを判定するために、前記少なくとも１つのプロセッサは、前記候補経路上の隣接する２つの点位置間ごとの距離を判定し、前記候補経路の長さを、前記距離の合計として決定するようにさらに構成されている。
【００１６】
一例では、選択された前記経路上の点位置に対応する景色を連続的に表示するために、前記少なくとも１つのプロセッサは、選択された前記経路上の１つの点位置から選択された前記経路上の隣接する点位置まで、ユーザを、前記第１の紹介位置から前記第２の紹介位置に向かう方向にナビゲートし、前記ユーザが前記隣接する点位置にいる時には、前記隣接する点位置に対応する景色を前記方向に方向づけて表示するように構成されている。
【００１７】
さらに別の一態様では、物件の三次元モデル内でユーザをナビゲートする、コンピュータにより実施される方法が開示される。この方法は、前記物件の画像がカメラで撮影されるカメラ位置にそれぞれ対応する複数の点位置に関連付けられたデータを受信するステップと、少なくとも１つのプロセッサによって、前記点位置間の接続性を判定するステップと、前記少なくとも１つのプロセッサによって、第１の紹介位置と第２の紹介位置とを結ぶ複数の候補経路を決定するステップであって、各候補経路は、前記接続性に基づいて点位置の部分群を繋ぐものであるステップと、前記少なくとも１つのプロセッサによって、前記候補経路から１つの経路を選択するステップと、選択された前記経路上の前記点位置に対応する景色を、ディスプレイ上に連続的に表示するステップであって、各点位置における景色は、前記点位置に対応するカメラ位置において撮影された画像から、前記少なくとも１つのプロセッサによって描画されているステップと、を含む。
【００１８】
一例では、前記点位置間の接続性を判定するステップは、一対の点位置を接続線で接続するステップと、前記接続線がいかなる障害物とも交差していないことを判定するステップと、前記一対の点位置が接続可能であることを判定するステップと、をさらに含む。
【００１９】
一例では、前記障害物は、前記物件の分離構造物、前記物件内の備品、家具、または、装飾品である。
【００２０】
一例では、前記物件は、複数の機能空間に分割された不動産物件であり、前記コンピュータにより実施される方法は、前記三次元モデル内の第１の機能空間から第２の機能空間に前記ユーザをナビゲートする指示を受信するステップと、前記第１の機能空間における前記第１の紹介位置、および、前記第２の機能空間における前記第２の紹介位置を特定するステップと、をさらに含む。
【００２１】
一例では、前記候補経路から１つの経路を選択するステップは、各候補経路上の点位置の数を判定して、閾値数よりも少ない数の点位置を有する候補経路の部分群を特定するステップ、または、各候補経路の長さを判定して、最短の長さを有する経路を特定するステップ、をさらに含み、前記閾値数よりも少ない数の点位置、および／または、最短の長さを有する候補経路が選択される。
【００２２】
一例では、前記候補経路の長さを判定するステップは、前記候補経路上の隣接する２つの点位置間ごとの距離を判定するステップと、前記候補経路の長さを、前記距離の合計として決定するステップと、をさらに含む。
【００２３】
一例では、選択された前記経路上の点位置に対応する景色を連続的に表示するステップは、選択された前記経路上の１つの点位置から選択された前記経路上の隣接する点位置まで、ユーザを、前記第１の紹介位置から前記第２の紹介位置に向かう方向にナビゲートするステップと、前記ユーザが前記隣接する点位置にいる時には、前記隣接する点位置に対応する景色を前記方向に方向づけて表示するステップと、をさらに含む。
【００２４】
さらに別の一態様では、コンピュータプログラム製品が開示される。このコンピュータプログラム製品は、データ処理装置で実行されると、上述のシステムを提供するように、または、上述の方法ステップを実施するように構成されたプログラム指示を含む。
【００２５】
前述の一般的な説明、および以下の詳細な説明は、いずれも、単に例示的、および説明のためのものであり、本発明を請求されるように制限するためのものではないことは、理解されよう。
【図面の簡単な説明】
【００２６】
【図１】本開示の実施形態に係る、複数の部屋を含む典型的な三次元モデルを示す概略図である。
【図２】本開示の実施形態に係る、三次元モデルにおける典型的な部屋を示す概略図である。
【図３】本開示の実施形態に係る、三次元モデル内でユーザをナビゲートするための典型的なシステムを示すブロック図である。
【図４】本開示の実施形態に係る、三次元モデル内でユーザをナビゲートするための典型的な方法を示すフローチャートである。
【図５】本開示の実施形態に係る、点位置間の接続性を判定するための典型的な方法を示すフローチャートである。
【図６】本開示の実施形態に係る、典型的な候補経路を示す図である。
【図７】本開示の実施形態に係る、候補経路から１つの経路を選択するための典型的な方法を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下に、典型的な実施形態を詳細に参照する。これらの実施形態の例は、添付の図面に示されている。図面を通して、可能であればどの個所でも、同一、または類似の部品を説明するために同一の参照番号を使用する。
【００２８】
図１は、本開示の実施形態に係る、複数の部屋を含む典型的な三次元モデル１００を示す概略図である。幾つかの実施形態において、三次元モデル１００は、家、アパート、マンション、ガレージ、倉庫、オフィスビル、ホテル、および、商店等といった物件のモデルであり得る。図１に示されるように、三次元モデル１００は、現実世界の物件を、そのレイアウト（例えば、壁やカウンタといった、その物件を幾つかの部屋に分けるフレーム構造物）、仕上げ（例えば、台所／洗面所のキャビネット、浴槽、アイランド型調理台、等）、取り付けられている備品（例えば、電化製品、窓飾り、シャンデリア、等）、並びに、家具、および装飾品（例えば、ベッド、机、テーブル、および椅子、ソファー、ＴＶ台、本棚、壁絵画、鏡、植物、等）を含めて、仮想的に再現する。
【００２９】
三次元モデル１００は、内壁によって、複数の部屋、または機能空間に分割され得る。幾つかの部屋は、複数の機能を有し得る。例えば、三次元モデル１００は、居間、および台所の結合機能を有する大部屋１１０を備え得る。三次元モデル１００は、２つの寝室１２０および１３０、それらに備え付けられた洗面所、並びに、バルコニーをさらに備え得る。図２は、本開示の実施形態に係る、三次元モデル１００内の典型的な大部屋１１０を示す概略図である。これらの部屋は、廊下、およびドアによって接続されていてもよい。
【００３０】
三次元モデル１００の各部屋は、少なくとも１つの紹介位置を含む。例えば、大部屋１１０は紹介位置１１２を含み、寝室１２０は紹介位置１１５を含む。本開示によれば、「紹介位置」とは、ユーザが、物件の所有者／業者による紹介を聞く際にその部屋で立つことになる物理的な位置に対応する、三次元モデルにおける位置である。換言すると、ＶＲツールのユーザは、この紹介位置から部屋を視認する。幾つかの実施形態では、音声コンテンツが紹介位置においてユーザに表示され、各部屋の特徴を口頭で紹介することができる。この紹介は、物件の所有者／業者によってリアルタイムで提供されてもよいし、または、事前に記録されて、ユーザがその紹介位置に来た時に再生されてもよい。
【００３１】
三次元モデル１００の各部屋内には、幾つかの点位置が設置され得る。例えば、大部屋１１０には、点位置１１１および１１３が設置されており、寝室１２０には、点位置１１４が設置されている。本開示によれば、「点位置」とは、物件の画像、および動画が撮影されるカメラ位置に対応する、三次元モデルにおける位置を指す。幾つかの実施形態では、紹介位置１１２および１１５が点位置であり得る。
【００３２】
図２に示されるように、ユーザ２１０は、部屋の特徴の紹介を受けるために、大部屋１１０内の紹介位置１１２につくことが可能である。ユーザ２１０は、紹介位置１１２において、大部屋１１０の画像、または動画を見たり、口頭の紹介を聞いたりすることが可能である。カメラ２２０が、点位置１１３および／または１１２に設置されて、大部屋１１０の画像、および／または、動画を撮影し得る。幾つかの実施形態では、カメラ２２０は、デジタルカメラ、双眼カメラ、ビデオカメラ、パノラマ式カメラ、等であり得る。幾つかの実施形態では、カメラ２２０は、部屋の（例えば、立体情報を含む）三次元情報を撮影するように構成されていることが可能である。カメラ２２０は、三脚の上に取り付けられてもよいし、または、操作者によって運ばれてもよい。カメラ２２０は、異なる角度、および高さで画像、または動画を撮影するために、回転させるか、そうでなければ調節されることが可能である。
【００３３】
幾つかの実施形態では、ＶＲ家見学の間、ＶＲツールは、三次元モデルの１つの部屋から別の部屋に移行し得る。例えば、ユーザ２１０は、大部屋１１０の見学を終了すると、寝室１２０に移動したいと思うかもしれない。本開示によれば、ユーザ２１０を物件の三次元モデル１００内で（例えば、大部屋１１０から寝室１２０まで）ナビゲートするためのシステム、および方法が提供される。第１の部屋内の紹介位置１１２における景色から直接、第２の部屋内の紹介位置１１５における景色に移行する代わりに、本開示のシステム、および方法は、ユーザ２１０を、紹介位置１１２から紹介位置１１５まで、１つ、または複数の点位置、例えば点位置１１３および１１４を通る経路に沿ってナビゲートする。幾つかの実施形態では、本開示のシステム、および方法は、この経路を複数の候補経路から選択する。これらの候補経路は、ユーザが大部屋１１０内の紹介位置１１２から寝室１２０内の紹介位置１１５に到達するためにたどることができる異なる経路である。各候補経路は、異なる点位置の群を通るものである。
【００３４】
幾つかの実施形態では、本開示のシステム、および方法は、まず、関連する点位置間の接続性を判定し、その後、接続可能である判定された点位置の群を連結することにより紹介位置１１２と紹介位置１１５とを接続する候補経路を定める。本開示のシステム、および方法は、その後、一定の基準に基づき候補経路から最良の経路を選択する。選択された経路上の点位置に対応する景色が、連続的にユーザに表示され、ユーザがその経路を通って大部屋１１０から紹介位置１１５に歩く時の、より実際に近い体験を提供する。幾つかの実施形態では、各点位置における景色は、当該点位置に対応するカメラ位置において以前に撮影された画像から描画される。幾つかの実施形態では、これらの景色は、ユーザが、各点位置に向かって歩く時に向いている方向に方向づけられている。例えば、ユーザは、紹介位置１１２から点位置１１３を指す方向に向いていることが可能であり、したがって、点位置１１３における景色は、ユーザに示される時には、その方向において描画されることになる。
【００３５】
図１に示される典型的な三次元モデルは、屋内の空間、および構造物だけを示しているが、モデルが、デッキ、前庭／裏庭、ガレージ、および、近隣環境といった屋外の間、および構造物を含んでいてもよいことも想定される。ユーザが、屋内の紹介位置から屋外の紹介位置まで、または、屋外の紹介位置から屋内の紹介位置まで、例えばドアを通ってナビゲートされてもよい。当業者は、屋外を表示するための実験を過度に行わずに、開示されるこのシステム、および方法を適用可能である。
【００３６】
図３は、本開示の実施形態に係る、三次元モデル内でユーザをナビゲートするための典型的なシステム３００を示すブロック図である。幾つかの実施形態では、システム３００は、物理サーバ、またはクラウド内のサービスによって実施され得る。幾つかの他の実施形態では、システム３００は、コンピュータ、または、例えば携帯電話、パッド、若しくは、ウェアラブルデバイスといった家電製品によって実施され得る。図３に示されるように、システム３００は、通信インターフェイス３０２、プロセッサ３０４、メモリ３０６、記憶装置３０８、および、バス３１０を含み得る。幾つかの実施形態では、システム３００は、（特定用途向け集積回路（ＡＳＩＣ）、または、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）として実施された）集積回路（ＩＣ）チップといった単一の装置、または、独自の機能を有する別々の装置における異なるモジュールを有し得る。システム３００の構成要素は、１つの装置に集積されていていることが可能であり、または、異なる位置に分散されているが互いにネットワーク（図示せず）を介して通信することが可能である。システム３００の様々な構成要素は、バス３１０に接続されており、バス３１０を介して互いに通信できる。
【００３７】
通信インターフェイス３０２は、電波、セルラーネットワーク、および／または、ローカル無線ネットワーク（例えば、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（商標））、または、ＷｉＦｉ）、若しくは、他の通信方法を用いて、直接通信リンク、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線通信ネットワークを介して、カメラ２２０、およびデータベース３０１といった構成要素に対してデータを送受信し得る。幾つかの実施形態では、通信インターフェイス３０２は、総合デジタル通信網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、または、データ通信接続を提供するモデムであり得る。他の例としては、通信インターフェイス３０２は、互換性のあるＬＡＮに対してデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードであり得る。無線リンクが、通信インターフェイス３０２によって実施されていてもよい。このような実施例では、通信インターフェイス３０２は、ネットワークを介して様々な情報を表すデジタルデータ流を運ぶ、電気信号、電磁信号、または、光信号を送受信することが可能である。
【００３８】
幾つかの実施形態によれば、通信インターフェイス３０２は、物件の三次元モデルを受信し得る。モデルは、点群データ、および、物件を撮影した画像に基づき構成され得る。幾つかの実施形態では、三次元モデルは、ＶＲ見学のリアルタイムにおいて、または、見学の前のオフラインにおいて、描画され得る。本開示によれば、通信インターフェイス３０２は、物件におけるカメラ位置のデータ、および、これらのカメラ位置において撮影された物件の画像／動画を受信し得る。三次元モデル、カメラ位置、および、画像／動画は、データベース３０１に記憶され得る。通信インターフェイス３０２は、受信された情報、またはデータを、記憶のためにメモリ３０６、および／または、記憶装置３０８に提供してもよいし、または、処理のためにプロセッサ３０４に提供してもよい。
【００３９】
プロセッサ３０４は、任意の適切な種類の汎用、または特殊用途のマイクロプロセッサ、デジタル信号プロセッサ、または、マイクロコントローラを含み得る。プロセッサ３０４は、ＶＲ家見学を提供するために特化された別体のプロセッサモジュールとして構成されていてもよい。あるいは、プロセッサ４０４は、ＶＲ家見学に関係した、または、無関係の他の機能を行うための共有のプロセッサモジュールとして構成されていてもよい。例えば、ＶＲ家見学は、多目的装置にインストールされた単に１つのアプリケーションである。
【００４０】
図３に示されるように、プロセッサ３０４は、点位置判定ユニット３４０、候補経路判定ユニット３４２、経路選択ユニット３４４、景色描画ユニット３４６、等といった複数のモジュールを含み得る。これらのモジュール（および、対応する任意のサブモジュールまたはサブユニット）は、プロセッサ３０４のハードウェアユニット（例えば、集積回路の一部）であることが可能であり、他の構成要素と一緒に使用されるように、または、プログラムの一部を実施するように意図されている。このプログラムは、コンピュータ可読媒体（例えば、メモリ３０６、および／または、記憶装置３０８）に記憶されることが可能であり、プロセッサ３０４によって実行される場合、１つ、または複数の機能を実施可能である。図３は、全てのユニット３４０〜３４６が１つのプロセッサ３０４内にあることを示しているが、これらのユニットは、互いに近接、または離隔して配置された複数のプロセッサ間に分散され得ることも想定される。
【００４１】
メモリ３０６、および記憶装置３０８は、プロセッサ３０４が動作するために必要とし得る任意の種類の情報を記憶するために設けられた、任意の好適な種類の大容量記憶装置を含み得る。メモリ３０６、および記憶装置３０８は、揮発性若しくは不揮発性媒体、磁気媒体、半導体媒体、テープ式媒体、光学媒体、リムーバブル媒体、固定式媒体、または、他の種類の記憶装置若しくはタンジブルな（すなわち、非一時的な）コンピュータ可読媒体であってよく、ＲＯＭ、フラッシュメモリ、ダイナミックＲＡＭ、および、スタティックＲＡＭを含むが、これらに限定されない。メモリ３０６、および／または、記憶装置３０８は、本明細書に開示される歩行軌道機能を実施するために、プロセッサ３０４によって実行され得る１つ、または複数のコンピュータプログラムを記憶するように構成されていてよい。例えば、メモリ３０６、および／または、記憶装置３０８は、プロセッサ３０４によって実行され、物件の特徴をユーザに三次元モデル内の紹介位置において紹介すること、および、ユーザを当該モデルにおける紹介位置の間にナビゲートすることによって、物件のＶＲ見学をユーザに提供することが可能なプログラムを記憶するように構成されていてもよい。
【００４２】
メモリ３０６、および／または、記憶装置３０８は、さらに、プロセッサ３０４によって使用される情報、およびデータを記憶するように構成されていてもよい。例えば、メモリ３０６、および／または、記憶装置３０８は、様々なカメラ位置、および、これらのカメラ位置においてカメラ２２０によって撮影された物件の画像／動画を記憶するように構成されていてもよい。メモリ３０６、および／または、記憶装置３０８は、プロセッサ３０４によって生成された中間データ、例えば、これらのカメラ位置に対応する三次元モデルにおける点位置、これらの点位置の接続性、２つの紹介位置を結ぶ候補経路、および、点位置において描画された景色を記憶するように構成されていてもよい。様々な種類のデータが、永続的に記憶されてもよい、周期的に消去されてもよい、または、データの各フレームが処理された直後に無視されてもよい。
【００４３】
幾つかの実施形態では、システム３００は、任意によりディスプレイ３０３を含み得る。幾つかの実施形態では、ディスプレイ３０３は、システム３００に対して外付けであり、システム３００に接続されることが可能である。ディスプレイ３０３は、三次元モデルにおける景色をユーザに表示することが可能である。幾つかの実施形態では、ディスプレイ３０３は、さらに、ユーザ入力を受信するためのユーザインターフェースとして機能し得る。ディスプレイ３０３は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、プラズマディスプレイ、または、任意の他の種類のディスプレイを含むことが可能であり、ユーザ入力、およびデータ表示のためにディスプレイ上に表示されるグラフィカルユーザインターフェース（ＧＵＩ）を提供できる。このディスプレイは、プラスチック、またはガラスといった多数の異なる種類の材料を含んでいてもよく、ユーザからの指令を受信するタッチセンサ式であってもよい。例えば、このディスプレイは、ゴリラ・ガラス（Ｇｏｒｉｌｌａ  Ｇｌａｓｓ（商標））といった実質的に剛体のタッチセンサ式材料、または、ウィロー・ガラス（Ｗｉｌｌｏｗ  Ｇｌａｓｓ（商標））といった実質的に柔軟なタッチセンサ式材料を含んでいてもよい。
【００４４】
プロセッサ３０４のモジュールは、メモリ３０６／記憶装置３０８に記憶されたプログラムを実行して、ＶＲ見学をユーザに提供するための方法を実施するように構成されていてもよい。例えば、図４は、本開示の実施形態に係る、三次元モデル内でユーザをナビゲートするための典型的な一方法４００を示すフローチャートである。方法４００は、以下に示すようなステップＳ４０２〜Ｓ４２０を含み得る。これらのステップのうちの幾つかは、本明細書の開示の実施にとって任意のステップであり得ることは理解されよう。また、これらのステップのうちの幾つかは、同時に実施されてもよいし、または、図４に示される順番とは異なる順番に実施されてもよい。説明のために、方法４００は、ユーザを、（図１に示されるような）三次元モデル１００の大部屋１１０から寝室１２０までナビゲートすることに関して説明される。しかしながら、方法４００は、本モデルの他の部屋の間や、屋内空間と屋外空間との間をナビゲートするために実施されてもよいし、複数の物件の異なるモデルの場合に実施されてもよい。
【００４５】
幾つかの実施形態では、システム３００が、ユーザを現在の部屋から次の部屋に移動させる指示を受信すると、方法４００が始動され得る。幾つかの実施形態では、システム３００は、現在の部屋の紹介が終わりそうになったことを検出すると、自動的に方法４００を開始し得る。
【００４６】
ステップＳ４０２において、通信インターフェイス３０２は、三次元モデル１００といった物件の三次元モデルを受信し得る。幾つかの実施形態では、三次元モデルは、家、アパート、マンション、ガレージ、倉庫、オフィスビル、ホテル、商店等といった物件のモデルであり得る。幾つかの実施形態では、三次元モデルは、物件の点群データ、および、物件を撮影した画像／動画に基づいて構成され得る。三次元モデルは、物件を、そのレイアウト、仕上げ、設備、並びに、その物件の家具、および装飾品と一緒に、仮想的に再現し得る。
【００４７】
ステップＳ４０４において、通信インターフェイス３０２は、カメラ位置情報を受信し得る。例えば、カメラ２２０は、物件内の複数の位置に配置されて、画像、および動画を撮ることが可能である。ステップＳ４０６において、点位置判定ユニット３４０は、物件内のカメラ位置に対応する、三次元モデル内の点位置を判定し得る。幾つかの実施形態では、点位置は、カメラ位置の座標変換で判定される。例えば、カメラ位置の座標は、物件の座標システムから三次元モデルの座標システムに変換され得る。
【００４８】
ステップＳ４０６において、点位置判定ユニット３４０は、さらに、点位置間の接続性を判定するように構成されていることが可能である。幾つかの実施形態では、２つの点位置間の接続線が、三次元モデルにおけるいかなる障害物も妨害していない場合、これら２つの点位置は「接続可能」であると考えられる。幾つかの実施形態では、障害物とは、フレーム構造物（例えば、壁、およびカウンタ）、家具（例えば、テーブル、および椅子、ソファー、ベッド）、または、他の物体（例えば、植物）を含み得る。幾つかの実施形態では、接続性は、二次元テーブルに記録され得る。例えば、２つの点位置の接続性は、これら２つの点位置に対応する１つのセルに記録され得る。幾つかの実施形態では、接続性は、２進数として記録されることが可能であり、ここで、「１」は「接続可能」に相当し、「０」は「接続不可能」に相当する。
【００４９】
図５は、本開示の実施形態に係る、点位置間の接続性を判定するための典型的な一方法５００を示すフローチャートである。方法５００は、以下に示すようなステップＳ５０２〜Ｓ５１２を含み得る。これらのステップのうちの幾つかは、本明細書の開示の実施にとって任意のステップであり得ることは理解されよう。また、これらのステップのうちの幾つかは、同時に実施されてもよいし、または、図５に示される順番とは異なる順番に実施されてもよい。幾つかの実施形態では、２つの点位置間の接続性は、物件のレイアウトに基づいて判定され得る。例えば、レイアウトは、壁、カウンタ、および、ドアといった分離構造物を特定し得る。幾つかの実施形態では、接続性は、追加的に、家具、植物、および、装飾品といった物件内の他の障害物に基づいて判定され得る。
【００５０】
ステップＳ５０２において、点位置判定ユニット３４０は、一対の点位置を接続線で接続し得る。ステップＳ５０４において、点位置判定ユニット３４０は、接続線が三次元モデル内の何らかの障害物に交差しているかどうかを判定し得る。もし交差していないならば、一対の点位置は、ステップＳ５０６において、接続可能であると判定される。そうでない場合、一対の点位置は、ステップＳ５０８において、接続不可能であると判定される。例えば、点位置１１３と点位置１１４とは、ドアを介して接続可能である。しかしながら、紹介位置１１２と点位置１１５とは、これら２つの位置を接続する線が壁に交差しているので、接続可能ではない。
【００５１】
ステップＳ５１０において、点位置判定ユニット３４０は、全ての対の点位置について検討したかどうかを判定し得る。点位置の全ての対について検討した場合、方法５００は終了し、方法４００は、ステップＳ４１０に進み得る。そうでない場合、方法５００は、ステップＳ５０２に戻り、次の一対の点位置について検討し、ステップＳ５０４〜Ｓ５０８を用いて接続性を判定し得る。
【００５２】
図４に戻ると、ステップＳ４１０において、候補経路判定ユニット３４２は、この接続性に基づいて第１の紹介位置と第２の紹介位置とを接続する候補経路を決定し得る。例えば、第１の紹介位置は、大部屋１１０における紹介位置１１２であり、第２の紹介位置は、寝室１２０における紹介位置１１５であり得る。各候補経路は、接続可能な点位置同士を繋いでいる。幾つかの実施形態では、第１の紹介位置と第２の紹介位置との間の複数の候補経路が利用可能であり得る。例えば、図６は、本開示の実施形態に係る、紹介位置６０１と紹介位置６０２との間の典型的な候補経路を示している。第１の候補経路は、点位置６１１、６１２、および、６１３を繋いでいる。第２の候補経路は、点位置６２１および６２２を繋いでいる。第３の候補経路は、点位置６３１および６３２を繋いでいる。
【００５３】
ステップＳ４１２において、経路選択ユニット３４４は、幾つかの所定の基準に基づいて、候補経路から１つの経路を選択する。幾つかの実施形態では、これらの所定の基準とは、経路上の点位置の数が最小であること、および／または、経路の長さが最短であることであり得る。例えば、図７は、本開示の実施形態に係る、ステップＳ４１２を実施するための典型的な一方法７００を示すフローチャートである。方法７００は、以下に示すようなステップＳ７０２〜Ｓ７０８を含み得る。これらのステップのうちの幾つかは、本明細書の開示の実施にとって任意のステップであり得ることは理解されよう。また、これらのステップのうちの幾つかは、同時に実施されてもよいし、または、図７に示される順番とは異なる順番に実施されてもよい。
【００５４】
ステップＳ７０２において、経路選択ユニット３４４は、各候補経路上の点位置の数を判定し得る。例えば、図６に示されるように、第１の候補経路は、第１の紹介位置と第２の紹介位置との間に３つの点位置を有する。第２の候補経路、および第３の候補経路はいずれも、第１の紹介位置と第２の紹介位置との間に２つの点位置を有する。
【００５５】
ステップＳ７０４において、経路選択ユニット３４４は、閾値数よりも少ない数の点位置を有する候補経路の部分群を特定し得る。例えば、閾値数が３である場合、経路選択ユニット３４４は、図６に示される第２、および第３の候補経路を特定することになる。閾値化した後に１つの候補経路だけが残っている場合、方法７００は、ステップＳ７０６およびＳ７０８を実施することなく終了し、選択された経路として、この１つの候補経路に戻ることが可能である。
【００５６】
ステップＳ７０４の後に２つ以上の候補経路が残っている場合、方法７００は、ステップＳ７０６に進む。ステップＳ７０６において、経路選択ユニット３４４は、部分群における各候補経路の長さを算出する。本開示によれば、経路の「長さ」とは、当該経路上の点位置間の蓄積距離である。例えば、図６では、距離Ｌ１が紹介位置６０１と点位置６２１との間、距離Ｌ２が点位置６２１と点位置６２２との間、および、距離Ｌ３が点位置６２２と紹介位置６０２との間である場合、第２の候補経路の長さは、これらの距離の合計、つまり、Ｌ＝Ｌ１＋Ｌ２＋Ｌ３である。同様に、第３の候補経路の長さは、Ｌ’＝Ｌ１’＋Ｌ２’＋Ｌ３’として算出され得る。ここで、Ｌ１’、Ｌ２’、および、Ｌ３’は、連続する紹介位置／点位置６０１、６３１、６３２、および、６０２間の距離である。
【００５７】
ステップＳ７０８において、経路選択ユニット３４４は、最短の経路を特定する。例えば、Ｌ＜Ｌ’である場合、経路選択ユニット３４４は、第２の候補経路を、最良の経路として特定することになる。
【００５８】
２つの基準を、逆の順番で適用可能であることも想定される。例えば、ステップＳ７０４において、各候補経路の長さを閾値と比較して、閾値よりも短い長さの経路を特定してもよく、ステップＳ７０６において、点位置の数が最も少ない経路を、残りの候補経路から選択してもよい。他の所定の基準を用いて、経路を選択してもよい。あるいは、例えば、ユーザが第２の紹介位置にナビゲートされている時にさらに切れ目のない景色を提供するために、経路選択ユニット３４４は、最多の点位置を繋ぐ候補経路を選択してもよい。選択された経路を、ステップＳ４１２の結果として提供可能であり、方法７００は終了する。
【００５９】
図４に戻ると、ステップＳ４１４において、景色描画ユニット３４６は、第１の紹介位置における上映が終わったこと、または、終わりそうなことを検出し得る。これは、ユーザが間もなく次の部屋に移動することになることを示すものである。幾つかの実施形態では、紹介位置における物件を上映することは、当該紹介位置に対応するカメラ位置において撮影された画像／動画から描画された景色を表示することを含み得る。幾つかの実施形態では、紹介位置における物件を上映することは、さらに、ユーザに対して音声コンテンツを再生して部屋の特徴を紹介することに、関連付けられていてもよい。例えば、音声コンテンツは、部屋のサイズや部屋の機能といった特徴、および、いつ部屋が改修されたかについて、および、部屋内の家具、および装飾品についての他の情報を紹介し得る。幾つかの実施形態では、音声コンテンツは、景色描画ユニット３４６が再生の終わりそうな時が分かるように、予め記録されていてもよい。幾つかの実施形態では、ユーザが他の部屋を見ることを希望することを示す表示が、ユーザによる、例えば、ＶＲツール上のボタンを押下することによる入力として、設けられていてもよい。
【００６０】
ステップＳ４１６では、景色描画ユニット３４６は、選択された経路上の１つの点位置に対応する複数の景色を描画して、これらの景色をユーザに表示し得る。幾つかの実施形態では、これらの景色は、この点位置において撮影された画像／動画に基づいて描画され得る。幾つかの実施形態では、これらの景色は、ユーザが次の点位置に向かって歩く際に、ユーザが向いている方向に方向づけられて描画される。例えば、ユーザは、紹介位置１１２から点位置１１３を指す方向に向いていることが可能であり、したがって、点位置１１３における景色は、ユーザに示される際にこの方向において描画されることになる。
【００６１】
幾つかの実施形態では、景色描画ユニット３４６は、２つの紹介位置間の全ての点位置の景色を連続して描画、および表示し得る。ステップＳ４１８において、景色描画ユニット３４６は、選択された経路上の全ての点位置の景色が描画、および表示されたかどうかを判定する。全ての点位置の景色が描画、および表示された場合、方法４００はステップＳ４２０に進む。そうでない場合、方法７００はステップＳ４１６に戻り、選択された経路上の次の点位置に対応する景色を表示する。方法７００は、全ての景色が表示されるまでステップＳ４１６、およびステップＳ４１８を繰り返し、ユーザは、第２の紹介位置にナビゲートされる。
【００６２】
ステップＳ４２０において、システム３００は、第２の紹介位置における次の部屋の特徴の上映を開始する。例えば、点位置１１３および１１４における景色を表示した後、ユーザ２１０は、寝室１２０における紹介位置１１５に到達する。ユーザには、紹介位置１１５において寝室１２０の景色が表示されることになり、任意により、音声コンテンツがユーザに再生され得る。
【００６３】
これら２つの紹介位置間の中間点位置における景色を提供することによって、本開示のシステム、および方法は、ＶＲ見学を、実際の家見学により近づけて再現することが可能になり、したがって、ユーザの体験を改善することができる。
【００６４】
本開示の他の態様は、実行される時に、１つ、または複数のプロセッサに本方法を上述のように実施させる指示を記憶する、非一時的コンピュータ可読媒体に関するものである。コンピュータ可読媒体は、揮発性若しくは不揮発性媒体、磁気媒体、半導体媒体、テープ式媒体、光学媒体、リムーバブル媒体、固定式媒体、または、他の種類のコンピュータ可読媒体若しくはコンピュータ可読記憶装置を含み得る。例えば、コンピュータ可読媒体は、開示されるような、コンピュータ指示が記憶された記憶装置、またはメモリモジュールであってもよい。幾つかの実施形態では、コンピュータ可読媒体は、コンピュータ指示が記憶されたディスク、またはフラッシュドライブであってもよい。
【００６５】
本開示の他の態様は、データ処理装置上で実行される時に、上述の任意のシステムを提供するように、または、上述の方法ステップのうちのいずれかを実施するように構成されたプログラム指示を含む、コンピュータプログラム製品に関するものである。
【００６６】
本開示のシステム、および関連する方法に対して、様々な変形、および変更が可能であることは当業者には明らかであろう。他の実施形態は、本開示のシステム、および関連する方法の仕様、および実務を考慮することにより、当業者には明らかとなろう。
【００６７】
本明細書、および実施例は、単に模範的なものであると考えられることが意図されており、実際の範囲は、以下の特許請求の範囲、およびその均等物によって示される。
【図１】
0006987998.tif 000002
【図２】
0006987998.tif 000003
【図３】
0006987998.tif 000004
【図４】
0006987998.tif 000005
【図５】
0006987998.tif 000006
【図６】
0006987998.tif 000007
【図７】
0006987998.tif 000008