(57)【要約】【課題】図面と撮影画像との紐付けを簡便に実現する。【解決手段】本発明により提供される情報処理システムは、図面に基づいて、該図面における方位を示す第１方位情報を取得する第１取得手段と、前記図面上で示される場所にて撮影された撮影画像に基づいて、該撮影画像における方位を示す第２方位情報を取得する第２取得手段と、前記第１方位情報と、前記第２方位情報とに基づいて、前記図面における方位と前記撮影画像における方位とを紐付ける紐付け手段と、を備える。【選択図】図３
2020087287.tif 000002
【特許請求の範囲】
【請求項１】
図面に基づいて、該図面における方位を示す第１方位情報を取得する第１取得手段と、
前記図面上で示される場所にて撮影された撮影画像に基づいて、該撮影画像における方位を示す第２方位情報を取得する第２取得手段と、
前記第１方位情報と、前記第２方位情報とに基づいて、前記図面における方位と前記撮影画像における方位とを紐付ける紐付け手段と、
を備える情報処理システム。
【請求項２】
前記撮影画像は、該撮影画像を表示する表示領域に表示される範囲よりも広い範囲を撮影した撮影画像であり、
前記紐付け手段による紐付けに基づいて、前記撮影画像の何れの方位に対応する範囲を前記表示領域に表示するのか決定する表示制御手段と、
前記撮影画像の前記表示制御手段が決定した範囲を、前記表示領域に表示する表示手段と、
を更に備える請求項１に記載の情報処理システム。
【請求項３】
前記表示制御手段は、前記撮影画像として、第１撮影画像と第２撮影画像とを切り替えて表示する場合に、切り替え前後における、前記表示領域に表示される前記第１撮影画像の範囲に対応する方位と、前記表示領域に表示される前記第２撮影画像の範囲に対応する方位とが一致するように前記決定を行う、
請求項２に記載の情報処理システム。
【請求項４】
前記表示制御手段は、前記第２撮影画像を表示して所定時間経過後に、前記表示領域に表示される前記第２撮影画像の範囲に対応する方位が、所定の方位に変更されるように前記決定を行う、
請求項３に記載の情報処理システム。
【請求項５】
前記表示制御手段は、前記図面と関連付けて表示される方位と、前記表示領域に表示される前記撮影画像の範囲に対応する方位とが一致するように前記決定を行う、
請求項２乃至４の何れか１項に記載の情報処理システム。
【請求項６】
前記第１取得手段は、前記撮影画像を画像解析し、該画像解析の結果に基づいて、前記第１方位情報を取得する、
請求項１乃至５の何れか１項に記載の情報処理システム。
【請求項７】
前記第１取得手段は、前記図面を用いた前記図面における方位を指定する操作に基づいて、前記第１方位情報を取得する、
請求項１乃至５の何れか１項に記載の情報処理システム。
【請求項８】
前記図面を用いた前記図面における方位を指定する操作は、前記図面を参照しながら前記図面に対応する地図を回転させる操作である、
請求項７に記載の情報処理システム。
【請求項９】
図面に基づいて、該図面における方位を示す第１方位情報を取得する第１取得手段と、
前記図面上で示される場所にて撮影された撮影画像に基づいて、該撮影画像における方位を示す第２方位情報を取得する第２取得手段と、
前記第１方位情報と、前記第２方位情報とに基づいて、前記図面における方位と前記撮影画像における方位とを紐付ける紐付け手段と、
を備える情報処理装置。
【請求項１０】
図面における方位と、前記図面上で示される場所にて撮影された撮影画像であって、該撮影画像を表示する表示領域に表示される範囲よりも広い範囲を撮影した撮影画像における方位との紐付けに基づいて、前記撮影画像の何れの方位に対応する範囲を前記表示領域に表示するのか決定する表示制御手段と、
前記撮影画像の前記表示制御手段が決定した範囲を、前記表示領域に表示する表示手段と、
を備える情報処理装置。
【請求項１１】
情報処理装置としてコンピュータを機能させるプログラムであって、
図面に基づいて、該図面における方位を示す第１方位情報を取得する第１取得手段と、
前記図面上で示される場所にて撮影された撮影画像に基づいて、該撮影画像における方位を示す第２方位情報を取得する第２取得手段と、
前記第１方位情報と、前記第２方位情報とに基づいて、前記図面における方位と前記撮影画像における方位とを紐付ける紐付け手段と、
を備える情報処理装置として前記コンピュータを機能させるプログラム。
【請求項１２】
情報処理装置としてコンピュータを機能させるプログラムであって、
図面における方位と、前記図面上で示される場所にて撮影された撮影画像であって、該撮影画像を表示する表示領域に表示される範囲よりも広い範囲を撮影した撮影画像における方位との紐付けに基づいて、前記撮影画像の何れの方位に対応する範囲を前記表示領域に表示するのか決定する表示制御手段と、
前記撮影画像の前記表示制御手段が決定した範囲を、前記表示領域に表示する表示手段と、
を備える情報処理装置として前記コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、及びプログラムに関する。
【背景技術】
【０００２】
近年、図面と、この図面上で示される場所で撮影された撮影画像とを紐付けて表示することが行われている。例えば、販売あるいは賃貸される不動産物件の間取り図と、この不動産物件内を撮影した撮影画像とを紐付けて表示する。これにより、購入あるいは賃借を検討しているユーザの利便性を向上させることができる。
【０００３】
このような表示を実現するための技術の一例が、特許文献１に開示されている。特許文献１に開示の技術では、撮影画像に対して画像解析を行うことにより、各撮影画像が何れの部屋において撮影されたものであるかを特定する。また、この特定結果に基づいて、間取り図と各部屋の撮影画像とを紐付けて、表示用の情報を生成する。
これにより、間取り図と、各部屋の撮影画像とを紐付けた表示を実現することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示の技術のように、撮影画像のそれぞれに対して画像解析を行うためには、コンピュータによる膨大な演算処理が必要となる。そのため、特許文献１に開示の技術を実現することが容易ではない場合もある。
そこで他の手段として、画像解析ではなく、ユーザの操作に基づいて、撮影画像と間取り図とを紐付けることも考えられる。しかしながら、適切な紐付けを行うためには、撮影画像や間取り図の方位等も指定する必要があり、その操作はユーザにとって煩雑なものとなる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、図面と撮影画像との紐付けを簡便に実現することが可能な、情報処理システム、情報処理装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明により提供される情報処理システムは、図面に基づいて、該図面における方位を示す第１方位情報を取得する第１取得手段と、前記図面上で示される場所にて撮影された撮影画像に基づいて、該撮影画像における方位を示す第２方位情報を取得する第２取得手段と、前記第１方位情報と、前記第２方位情報とに基づいて、前記図面における方位と前記撮影画像における方位とを紐付ける紐付け手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、図面と撮影画像との紐付けを簡便に実現することが可能な、情報処理システム、情報処理装置、及びプログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る情報処理システムの全体構成を示すブロック図である。
【図２】情報処理システムに含まれる、コンテンツ作成端末、コンテンツ作成サーバ、コンテンツ提供サーバ、及びコンテンツ表示端末それぞれのハードウェア構成を示すブロック図である。
【図３】コンテンツ作成端末、及びコンテンツ作成サーバの機能的構成のうち、方位情報紐付け処理を実行するための機能的構成を示す機能ブロック図である。
【図４】方位情報紐付け処理の流れを説明するフローチャートである。
【図５】図面方位情報の取得について説明する模式図である。
【図６】撮影画像方位情報の取得について説明する模式図である。
【図７】方位情報紐付け処理において、各機能ブロック間で送受信されるデータの流れを示すシーケンス図である。
【図８】方位情報紐付け処理において、コンテンツ作成端末の表示部に表示されるユーザインタフェースの一例を示す模式図である。
【図９】コンテンツ提供サーバ、及びコンテンツ表示端末の機能的構成のうち、コンテンツ表示処理を実行するための機能的構成を示す機能ブロック図である。
【図１０】コンテンツ表示処理の流れを説明するフローチャートである。
【図１１】コンテンツ表示処理において表示されるコンテンツの一例を示す模式図である。
【図１２】コンテンツ表示処理において表示されるコンテンツの一例を示す模式図である。
【図１３】コンテンツ表示処理において表示されるコンテンツの一例を示す模式図である。
【図１４】コンテンツ表示処理において、各機能ブロック間で送受信されるデータの流れを示すシーケンス図である。
【図１５】第１の変形例における、コンテンツ表示処理において表示されるコンテンツの一例を示す模式図である。
【図１６】第２の変形例における、方位情報紐付け処理において、コンテンツ作成端末の表示部に表示されるユーザインタフェースの一例を示す模式図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
［システム構成］
図１は、本実施形態に係る情報処理システムＳの全体構成を示すブロック図である。図１に示すように、情報処理システムＳは、コンテンツ作成端末１、コンテンツ作成サーバ２、コンテンツ提供サーバ３、及びコンテンツ表示端末４を含む。
【００１０】
これら各装置及び各端末は、インターネットや、ＬＡＮ（Local Area Network）等のネットワークにより実現されるネットワークＮを介して、相互に通信可能に接続される。かかる通信は、任意の通信方式に準拠して行うことができる。
【００１１】
コンテンツ作成端末１は、図面と、この図面上で示される場所で撮影された撮影画像とを紐付け（「関連付け」とも言う）たコンテンツを作成するための端末である。
コンテンツ作成サーバ２は、このコンテンツ作成端末１と協働して、コンテンツを作成するためのサーバである。コンテンツ作成端末１と、コンテンツ作成サーバ２が協働して作成したコンテンツは、コンテンツ提供サーバ３に記憶される。
【００１２】
コンテンツ提供サーバ３は、表示対象となるコンテンツを、コンテンツ表示端末４に対して提供するサーバである。
コンテンツ表示端末４は、コンテンツ提供サーバ３から提供されたコンテンツを、ユーザに対して表示する端末である。
【００１３】
［ハードウェア構成］
次に、各装置により行なわれる処理の説明に先立って、各装置のハードウェア構成について、図２を参照して説明をする。
図２は、情報処理システムＳに含まれる、コンテンツ作成端末１、コンテンツ作成サーバ２、コンテンツ提供サーバ３、及びコンテンツ表示端末４それぞれのハードウェア構成を示すブロック図である。
【００１４】
コンテンツ作成端末１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory)１３、ＨＤＤ（Hard Disk Drive）１４、通信Ｉ／Ｆ(Interface)１５、操作部１６、及び表示部１７を含む。これら各部は、バス接続により相互に通信可能に接続される。
【００１５】
ＣＰＵ１１は、コンテンツ作成端末１全体を制御する。具体的には、ＣＰＵ１１は、ＲＡＭ１３をワークエリア（すなわち、作業領域）として、ＲＯＭ１２やＨＤＤ１４に格納されたＯＳ（Operating System）や、各種のプログラムに基づいた演算処理を行う。そして、ＣＰＵ１１は、この演算処理の結果に基づいて、コンテンツ作成端末１に含まれる各ハードウェアを制御する。ここで、各種のプログラムとは、例えば、後述する方位情報紐付け処理や、コンテンツ情報表示処理といった本実施形態特有の処理を実行するためのプログラムである。
【００１６】
ＲＯＭ１２やＨＤＤ１４は、ファームウェアや、ＯＳや、各種のプログラムや、これらのプログラムにおいて利用する各種のデータ（例えば、方位情報紐付け処理や、コンテンツ情報表示処理において利用される図面や撮影画像等のデータ）を記憶する。
【００１７】
ＲＡＭ１３は、上述したように、ＣＰＵ１１のワークエリアとして機能する。
通信Ｉ／Ｆ１５は、コンテンツ作成端末１が、情報処理システムＳに含まれる他の各装置と通信するためのインターフェースである。
【００１８】
操作部１６は、例えば、各種の釦や、外付けのキーボードやマウスといったデバイス等で実現され、ユーザの操作を受け付ける。そして、操作部１６は、受け付けたユーザの操作の内容をＣＰＵ１１に対して出力する。
【００１９】
表示部２７は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro Luminescence Display）等で実現され、ＣＰＵ２１から出力された所定の情報をユーザに対して表示する。
なお、操作部２６及び表示部２７を、例えば、ユーザによるタッチ操作を受付可能な、タッチパネルにより一体として実現してもよい。
【００２０】
コンテンツ作成サーバ２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ＨＤＤ２４、通信Ｉ／Ｆ２５を含む。これら各部は、バス接続により相互に通信可能に接続される。
また、コンテンツ提供サーバ３は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、ＨＤＤ３４、通信Ｉ／Ｆ３５を含む。これら各部は、バス接続により相互に通信可能に接続される。
更に、コンテンツ表示端末４は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、ＨＤＤ４４、通信Ｉ／Ｆ４５、操作部４６、及び表示部４７を含む。これら各部は、バス接続により相互に通信可能に接続される。
これら、コンテンツ作成サーバ２、コンテンツ提供サーバ３、及びコンテンツ表示端末４に含まれる各ハードウェアは、コンテンツ作成端末１における、符号のみが異なる同名のハードウェアと同等のハードウェアである。そのため、重複する説明を省略する。
【００２１】
このようなコンテンツ作成端末１や、コンテンツ表示端末４は、例えば、本実施形態を実現するためのプログラムを組み込んだ、パーソナルコンピュータやスマートフォンにより実現することができる。
また、このようなコンテンツ作成サーバ２や、コンテンツ提供サーバ３は、例えば、本実施形態を実現するためのプログラムを組み込んだ、サーバ装置により実現することができる。
【００２２】
［処理の概要］
このような構成を有する情報処理システムＳは、「方位情報紐付け処理」と、「コンテンツ表示処理」の、２つの処理を実行する。
【００２３】
方位情報紐付け処理とは、図面における方位と、この図面上で示される場所で撮影された撮影画像における方位とを紐付けることによりコンテンツを作成する一連の処理である。
方位情報紐付け処理において、情報処理システムＳは、図面に基づいて、該図面における方位を示す図面方位情報を取得する。また、情報処理システムＳは、図面上で示される場所にて撮影された撮影画像に基づいて、該撮影画像における方位を示す撮影画像方位情報を取得する。また、情報処理システムＳは、図面方位情報と、撮影画像方位情報とに基づいて、図面における方位と撮影画像における方位とを紐付ける。
【００２４】
これにより、情報処理システムＳは、図面と撮影画像との紐付けを簡便に実現することができる。
なお、方位情報紐付け処理は、もっぱらコンテンツ作成端末１と、コンテンツ作成サーバ２とにより行われる。
【００２５】
一方で、コンテンツ表示処理とは、方位情報紐付け処理により作成されたコンテンツを表示する一連の処理である。
ここで、本実施形態における撮影画像は、該撮影画像を表示する表示領域に表示される範囲よりも広い範囲を撮影した撮影画像である。そして、コンテンツ表示処理において、情報処理システムＳは、方位情報紐付け処理による紐付けに基づいて、撮影画像の何れの方位に対応する範囲を表示領域に表示するのか決定する。また、情報処理システムＳは、決定した範囲を、表示領域に表示する。
【００２６】
これにより、情報処理システムＳは、紐付けられた方位情報に基づいて、コンテンツを表示することができる。
なお、コンテンツ表示処理は、もっぱらコンテンツ提供サーバ３と、コンテンツ表示端末４により行われる。
以下では、まず方位情報紐付け処理に関する説明を行う。そして、その後に、コンテンツ表示処理に関する説明を行う。
【００２７】
［方位情報紐付け処理］
（機能的構成）
方位情報紐付け処理を行う主体である、コンテンツ作成端末１、及びコンテンツ作成サーバ２の機能的構成について図３を参照して説明をする。図３は、コンテンツ作成端末１、及びコンテンツ作成サーバ２の機能的構成のうち、方位情報紐付け処理を実行するための機能的構成を示す機能ブロック図である。
【００２８】
これら機能ブロックは、上述したコンテンツ作成端末１や、コンテンツ作成サーバ２に含まれる各ＣＰＵが、方位情報紐付け処理を実現するためのプログラムに基づいて、図２を参照して上述した各ハードウェアを制御することにより実現される。なお、以下で特に言及しない場合も含め、これら機能ブロック間では、方位情報紐付け処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。
【００２９】
図３に示すように、コンテンツ作成端末１のＣＰＵ１１において、コンテンツ作成制御部１１１が機能する。また、コンテンツ作成端末１のＨＤＤ１４の記憶領域には、図面記憶部１４１と、撮影画像記憶部１４２とが設けられる。
【００３０】
図面記憶部１４１には、コンテンツを作成するための図面（例えば、不動産物件の見取り図）が記憶される。
撮影画像記憶部１４２には、図面記憶部１４１に記憶されている図面上で示される場所（例えば、不動産物件）において撮影された撮影画像が記憶される。
【００３１】
図面記憶部１４１に記憶される図面や、撮影画像記憶部１４２に記憶される撮影画像は、コンテンツ作成端末１のユーザ（例えば、不動産物件を提供する不動産事業者）により用意され、コンテンツ作成端末１に記憶される。
【００３２】
コンテンツ作成端末１のユーザは、例えば、自身が図面上で示される場所に赴き、デジタルカメラ等を用いた撮影を行うことにより、撮影画像を取得する。本実施形態では、撮影画像は、全天球パノラマ画像（画角３６０［ｄｅｇ］の画像）であると想定する。全天球パノラマ画像は、魚眼レンズ等の広角レンズを複数備えた全天球カメラによる撮影によって、複数の半球画像（画角１８０［ｄｅｇ］以上の画像）を得て、この複数の半球画像を合成することにより生成することができる。
【００３３】
コンテンツ作成制御部１１１は、コンテンツの作成を行うユーザの操作を受け付ける。コンテンツ作成制御部１１１は、操作用の所定のユーザインタフェースを生成し、表示部１７に表示する。また、コンテンツ作成制御部１１１は、このユーザインタフェースを参照したユーザからの操作を、操作部１６を介して受け付ける。ユーザからの操作とは、例えば、コンテンツを作成するための図面や撮影画像の選択操作である。そして、コンテンツ作成制御部１１１は、このユーザの操作内容を含んだ各種情報を、適宜コンテンツ作成サーバ２と送受信することにより、コンテンツの作成を行う。
【００３４】
以下の説明では、コンテンツの一例として、ウォークスルーコンテンツを作成することを想定する。ウォークスルーコンテンツでは、図面上で指定された位置と、そこで撮影された撮影画像（ここでは、複数の全天球パノラマ画像）を紐付ける。また、図面における方位と、撮影画像の方位とを紐付ける。これらの紐付けを複数の箇所（例えば、各部屋）で行い、複数の撮影画像を切り替えて連続的に表示することにより、あたかも撮影画像が撮影された場所を歩いて移動しているような表示を実現することができる。なお、以下ではウォークスルーコンテンツ、及びそれ以外のコンテンツも総称して、単に「コンテンツ」と称する。
【００３５】
次に、コンテンツ作成サーバ２の機能ブロックについて説明をする。図３に示すように、コンテンツ作成サーバ２のＣＰＵ２１において、図面保持部２１１と、図面方位情報取得部２１２と、撮影画像保持部２１３と、撮影画像方位情報取得部２１４と、方位情報紐付け部２１５とが機能する。また、コンテンツ作成サーバ２のＨＤＤ２４の記憶領域には、図面記憶部２４１と、撮影画像記憶部２４２とが設けられる。
【００３６】
図面記憶部２４１には、コンテンツを作成するために、コンテンツ作成制御部１１１から送信された図面が記憶される。
撮影画像記憶部２４２には、コンテンツを作成するために、コンテンツ作成制御部１１１から送信された撮影画像が記憶される。
【００３７】
図面保持部２１１は、コンテンツを作成するために、コンテンツ作成制御部１１１から送信された図面を受信し、受信した図面を保持するために、図面記憶部２４１に記憶させる。図面記憶部２４１には、少なくともコンテンツを作成する間、図面が記憶される。
【００３８】
図面方位情報取得部２１２は、図面記憶部２４１に記憶されている図面に基づいて、図面における方位を示す方位情報（以下、「図面方位情報」と称する。）を取得する。図面方位情報の取得については、図５を参照して後述する。
【００３９】
撮影画像保持部２１３は、コンテンツを作成するために、コンテンツ作成制御部１１１から送信された撮影画像を受信し、受信した撮影画像を保持するために、撮影画像記憶部２４２に記憶させる。撮影画像記憶部２４２には、少なくともコンテンツを作成する間、撮影画像が記憶される。
【００４０】
撮影画像方位情報取得部２１４は、撮影画像記憶部２４２に記憶されている撮影画像に基づいて、撮影画像における方位を示す方位情報（以下、「撮影画像方位情報」と称する。）を取得する。撮影画像方位情報の取得については、図６を参照して後述する。
【００４１】
方位情報紐付け部２１５は、図面方位情報と、撮影画像方位情報とに基づいて、図面における方位と撮影画像における方位とを紐付ける。そして、方位情報紐付け部２１５は、紐付けられた方位の関係を示す情報（以下、「紐付け情報」と称する。）と、図面と、撮影画像とを、まとめることによりコンテンツを作成する。また、方位情報紐付け部２１５は、このようにして作成したコンテンツを、コンテンツ提供サーバ３に対して送信する。
以上説明した各機能ブロックが協働することにより、方位情報紐付け処理が実現される。
【００４２】
（動作）
次に、図４、図５、及び図６を参照して、方位情報紐付け処理の流れについて説明をする。図４は、方位情報紐付け処理の流れを説明するフローチャートである。また、図５は、図面方位情報の取得について説明する模式図である。更に、図６は、撮影画像方位情報の取得について説明する模式図である。
方位情報紐付け処理は、例えば、コンテンツ作成端末１が、ユーザによる開始指示操作を受け付けたことを契機として実行される。
【００４３】
ステップＳ１１において、図面方位情報取得部２１２は、コンテンツを作成するための図面に対して画像解析を行うことにより、図面方位情報を取得する。例えば、図５に示すように、図面には、各部屋の構造や配置を示す間取り図５１と、方位磁石等により表現される方位情報５２とが含まれている。図面方位情報取得部２１２は、このような図面に対して画像解析を行うことにより、方位情報５２を検出する。そして、図面方位情報取得部２１２は、検出した方位情報５２に基づいて図面における方位を取得する。例えば、図面方位情報取得部２１２は、図面における「北」の方位を取得する。
【００４４】
なお、かかる画像解析を実現する手法は特に限定されず、任意の手法により行うことができる。例えば、特許文献１の明細書段落番号［００４６］〜［００５４］に記載されている手法で行うことができる。この手法を用いる場合、コンテンツを作成するための図面に対して２値化等の画像処理を行う。また、画像処理後の画像を走査することにより、方位情報５２のような方位情報が記載されている領域の候補である候補領域を複数抽出する。更に、これら複数の候補領域それぞれに対して、特徴量（例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴量）を算出する。
【００４５】
一方で、方位情報を検出するための検出器を用意する。この検出器は、教師あり学習等の機械学習により作成することができる。例えば、方位情報を含んだ画像の特徴量について正解のラベルを付し、方位情報を含まない画像の特徴量について不正解のラベルを付した教師データを用意する。そして、この教師データを用いて、入力と出力が同一となるようにニューラルネットワークのパラメータを変更する、という機械学習を繰り返し行う。これにより、検出器として機能する学習モデルを作成することができる。
【００４６】
そして、算出された複数の候補領域それぞれの特徴量を、この検出器に入力することで、方位情報を含んだ候補領域を検出することができる。これにより、図面方位情報取得部２１２は、方位情報５２を検出すると共に、検出した方位情報５２に基づいて図面における方位を取得することができる。
【００４７】
ステップＳ１２において、撮影画像方位情報取得部２１４は、コンテンツを作成するための撮影画像に、Ｅｘｉｆ（Exchangeable image file format）等の形式で付帯しているメタ情報に基づいて、撮影画像方位情報を取得する。
【００４８】
メタ情報における撮影画像方位情報について図６を参照して説明をする。本実施形態では、例えば、図６（Ａ）に示すように、地点Ａにおいて地点Ｂまでの線分に対する角度を、北を０度として右回りに正としたものを方位角と呼ぶ。
【００４９】
そして、図６（Ｂ）に示すように、方位を測定するセンサー（例えば、地磁気センサー）を備えた全天球カメラ５３にて撮影された撮影画像には、カメラ正面５４が定義されている。また、方位を測定するセンサーにより測定された、このカメラ正面５４の方位角情報が含まれている。
具体的には、図６（Ｃ）に示すように、全天球カメラ５３を真上から見た水平面における方位角（図中では、一例として４５［ｄｅｇ］）が含まれている。撮影画像方位情報取得部２１４は、この方位角を、撮影画像方位情報として取得する。
【００５０】
ステップＳ１３において、方位情報紐付け部２１５は、図面方位情報と、撮影画像方位情報とに基づいて、図面における方位と撮影画像における方位とを紐付ける。すなわち、図面方位情報取得部２１２が図面方位情報として取得した「北」と、撮影画像方位情報取得部２１４が撮影画像方位情報として取得した北を０度として右回りに正とした方位角とに基づいて、図面における方位と、撮影画像における方位とを紐付ける。
【００５１】
これにより、ユーザによる方位の指定操作等を要することなく、方位の紐付けを行うことができる。つまり、ユーザが手作業で方位を紐付ける必要が無くなり、コンテンツ作成時間を短縮することができる。
すなわち、図面と撮影画像との紐付けを簡便に実現するという課題を解決することができる。
【００５２】
（データの送受）
次に、図７及び図８を参照して、方位情報紐付け処理における、データの送受信についてより詳細に説明をする。図７は、方位情報紐付け処理において、各機能ブロック間で送受信されるデータの流れを示すシーケンス図である。図８は、方位情報紐付け処理において、コンテンツ作成端末１の表示部１７に表示されるユーザインタフェースの一例を示す模式図である。
【００５３】
ステップＳ２１において、ユーザはコンテンツを作成するための図面を選択する。例えば、図８（Ａ）の表示領域ＡＲ１にサムネイル表示されている画像の一覧から、コンテンツを作成するための図面を選択する。コンテンツ作成制御部１１１は、かかる選択を受け付けると、選択された図面の画像を、図８（Ｂ）の表示領域ＡＲ２に示すようにして表示する。
【００５４】
ステップＳ２２において、コンテンツ作成制御部１１１は、ステップＳ２１にてユーザが選択した図面を図面保持部２１１に対して転送する。
【００５５】
ステップＳ２３において、図面保持部２１１は、ステップＳ２２において転送された図面に基づいて、図面方位情報を取得する。取得された図面方位情報は、図面と共に図面保持部２１１により、図面記憶部２４１に記憶される。
【００５６】
ステップＳ２４において、ユーザはコンテンツを作成するための撮影画像と、撮影画像の配置位置を選択する。例えば、図８（Ｃ）の表示領域ＡＲ３にサムネイル表示されている画像の一覧から、コンテンツを作成するための撮影画像を選択する。そして、選択した撮影画像の配置位置を選択する。
【００５７】
これらの選択は、例えば、表示領域ＡＲ３の画像を、表示領域ＡＲ２の図面の対応する位置に対してドラッグ・アンド・ドロップする操作により実現できる。コンテンツ作成制御部１１１は、これらの選択を受け付けると、選択された図面の画像を、図８（Ｄ）の表示領域ＡＲ４に示すようにして表示する。なお、この段階では、図面における方位と、撮影画像における方位の紐付けは、未だ行なわれていない。
【００５８】
ステップＳ２５において、コンテンツ作成制御部１１１は、ステップＳ２４にてユーザが選択した撮影画像と、配置位置とを撮影画像保持部２１３に対して転送する。
ステップＳ２６において、撮影画像保持部２１３は、ステップＳ２５にて転送された撮影画像に基づいて、撮影画像方位情報を取得する。取得された撮影画像方位情報は、撮影画像と配置位置と共に撮影画像保持部２１３により、撮影画像記憶部２４２に記憶される。
【００５９】
ステップＳ２７において、コンテンツ作成制御部１１１は、ステップＳ２３にて取得された図面方位情報と、ステップＳ２６にて取得された撮影画像方位情報とに基づいた、方位の紐付け要求を方位情報紐付け部２１５に対して送信する。コンテンツ作成制御部１１１は、ステップＳ２４において、図８（Ｄ）の表示領域ＡＲ５のような方位の紐付け要求を行うための操作ボタンを表示している。例えば、「視界同期」のテキストが付されたボタンを表示している。そして、コンテンツ作成制御部１１１は、ユーザがかかるボタンを操作した場合に、方位の紐付け要求を方位情報紐付け部２１５に対して送信する。方位情報紐付け部２１５は、紐付け要求に応じて紐付けを実行し、紐付け情報を作成する。そして、方位情報紐付け部２１５は、作成した紐付け情報をコンテンツ作成制御部１１１に対して送信する。
【００６０】
コンテンツ作成制御部１１１は、この紐付け情報に基づいて、図８（Ｅ）に示すように表示領域ＡＲ４に表示する撮影画像の方位を変更する。この時点では、ユーザからの方位の指定を受け付けていない。そこで、コンテンツ作成制御部１１１は、予め定めた所定の方位（例えば、北側）に、撮影画像の方位を変更する。また、表示領域ＡＲ５として示すように、図面における方位と、撮影画像における方位とが紐付け済みであることを示すテキスト（例えば、「視界同期」というテキスト）を表示する。
【００６１】
更に、コンテンツ作成制御部１１１は、図８（Ｆ）に示すように、図面に関連付けて、ユーザの視点を示すアイコン（以下、「視点アイコン」と称する。）を表示する。ユーザは、かかる視点アイコンを参照することにより、図面における現在の方位（すなわち、現在のユーザの視線）を確認することができる。すなわち、ユーザは、表示されている撮影画像の方位と、図面における方位とが、適切に紐付けられているか否かを確認することができる。なお、視点アイコンの詳細については、コンテンツ表示処理の説明として後述する。
【００６２】
ステップＳ２８において、方位情報紐付け部２１５は、紐付け情報と、図面と、撮影画像とを、まとめることによりコンテンツを作成する。また、方位情報紐付け部２１５は、このようにして作成したコンテンツを、コンテンツ提供サーバ３に対して送信する。
このようにして、方位情報紐付け処理は実現される。なお、本処理により奏する効果については上述した通りである。次に、コンテンツ表示処理について説明する。
【００６３】
［コンテンツ表示処理］
（機能的構成）
コンテンツ表示処理を行う主体である、コンテンツ提供サーバ３、及びコンテンツ表示端末４の機能的構成について図９を参照して説明をする。図９は、コンテンツ提供サーバ３、及びコンテンツ表示端末４の機能的構成のうち、コンテンツ表示処理を実行するための機能的構成を示す機能ブロック図である。
【００６４】
これら機能ブロックは、上述したコンテンツ提供サーバ３、及びコンテンツ表示端末４に含まれる各ＣＰＵが、コンテンツ表示処理を実現するためのプログラムに基づいて、図２を参照して上述した各ハードウェアを制御することにより実現される。なお、以下で特に言及しない場合も含め、これら機能ブロック間では、コンテンツ表示処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。
【００６５】
図９に示すように、コンテンツ提供サーバ３のＣＰＵ３１において、コンテンツ提供部３１１と、初期方位提供部３１２が機能する。また、コンテンツ提供サーバ３のＨＤＤ３４の記憶領域には、コンテンツ記憶部３４１が設けられる。
【００６６】
コンテンツ記憶部３４１には、上述した方位情報紐付け処理により作成されたコンテンツが記憶される。
【００６７】
コンテンツ提供部３１１は、コンテンツを提供する。コンテンツ提供部３１１は、コンテンツ表示端末４からのコンテンツ提供要求を受け付けると、対応するコンテンツをコンテンツ記憶部３４１から読み出して、コンテンツ表示端末４に対して提供する。
【００６８】
初期方位提供部３１２は、コンテンツにおける各撮影画像の初期方位を提供する。初期方位提供部３１２は、コンテンツ表示端末４からの初期方位の提供要求を受け付けると、対応するコンテンツをコンテンツ記憶部３４１から読み出して、コンテンツ表示端末４に対して提供する。
【００６９】
ここで、初期方位について説明をする。前提として、本実施形態では、撮影画像である全天球パノラマ画像の所定の方位に対応する範囲を表示する。そのため、所定の方位として、何れの方位に対応する範囲を表示するかを決定する必要がある。そこで、コンテンツを閲覧するユーザが方位を指定するための操作をして、表示する方位（すなわち、表示する視点方向）を指定することにより、撮影画像の何れの方位に対応する範囲を表示するのかを決定する。以下では、このユーザが指定した表示する方位（すなわち、表示する視点方向）を「注目方位」と称する。
【００７０】
これに対して、初期方位とは、注目方位の指定がない場合に、最初に表示される方位である。初期方位は、各撮影画像において共通の方位であってもよいし、各撮影画像毎に異なる方位であってもよい。例えば、撮影画像毎の特徴を示す方位であってもよい。この場合、例えば、撮影画像がキッチンを撮影した画像であれば、キッチンの特徴を示すコンロやシンクが表示される方位を初期方位とするとよい。
【００７１】
次に、コンテンツ表示端末４の機能ブロックについて説明をする。図９に示すように、コンテンツ表示端末４のＣＰＵ４１において、表示制御部４１１と、表示部４１２と、注目方位保持部４１３とが機能する。また、コンテンツ表示端末４のＨＤＤ４４の記憶領域には、注目方位記憶部４４１が設けられる。
【００７２】
注目方位記憶部４４１には、注目方位が記憶される。注目方位は、コンテンツ表示端末４のユーザ（例えば、不動産物件を利用する事業者や個人）による、視点アイコンの操作により指定される。
【００７３】
表示制御部４１１は、撮影画像の何れの方位に対応する範囲を表示するのかを決定する。表示制御部４１１は、ユーザによる視点アイコンの操作により注目方位が指定されている場合は、この注目方位に対応する範囲を表示すると決定する。一方で、表示制御部４１１は、ユーザによる視点アイコンの操作により注目方位が指定されていない場合は、初期方位に対応する範囲を表示すると決定する。
【００７４】
表示部４１２は、表示制御部４１１の決定に基づいて、撮影画像を表示部４７に表示する。表示部４１２は、表示すると決定された方位と、表示部４７において撮影画像の表示を行う表示対象領域の広さ（例えば、画素数により定義される広さ）とに基づいて、撮影画像における表示すべき画像を特定する。具体的には、表示すると決定された方位を中心として、周囲の表示対象領域の広さと同じ範囲の画像を特定する。そして、表示部４１２は、特定した画像を、表示対象領域に表示する。
【００７５】
注目方位保持部４１３は、ユーザによる視点アイコンの操作により注目方位が指定された場合に、この注目方位を注目方位記憶部４４１に記憶させる。
以上説明した各機能ブロックが協働することにより、コンテンツ表示処理が実現される。
【００７６】
（動作）
次に、図１０を参照して、コンテンツ表示処理の流れについて説明をする。図１０は、コンテンツ表示処理の流れを説明するフローチャートである。
コンテンツ表示処理は、例えば、コンテンツ表示端末４が、ユーザによる開始指示操作を受け付けたことや、ユーザによる撮影画像を表示する地点の変更操作を受け付けたことを契機として実行される。
【００７７】
ステップＳ３１において、表示制御部４１１は、撮影画像を表示する地点を決定する。例えば、直前にコンテンツ表示処理を行っており、ユーザによる撮影画像を表示する地点の変更操作を受け付けた場合には、この変更操作に対応する地点を、撮影画像を表示する地点として決定する。また、直前にコンテンツ表示処理を行っていない場合には、何れかの地点を所定の条件（例えば、図面における中央に近い地点を選択するという条件）に基づいて、又は、ランダムに選択し、撮影画像を表示する地点として決定する。
【００７８】
ステップＳ３２において、表示制御部４１１は、直前にコンテンツ表示処理を行っており、直前に表示していた地点があるか否かを判定する。直前に表示していた地点がある場合はステップＳ３２においてＹｅｓと判定され、処理はステップＳ３３に進む。一方で、直前に表示していた地点がない場合は、ステップＳ３２においてＮｏと判定され、処理はステップＳ３４に進む。
【００７９】
ステップＳ３３において、表示制御部４１１は、直前に表示していた地点の注目方位を注目方位記憶部４４１から取得する。そして、表示制御部４１１は、この注目方位に対応する範囲を表示すると決定する。
【００８０】
一方で、ステップＳ３４において、表示制御部４１１は、ステップＳ３１にて表示すると決定した地点の初期方位を、コンテンツ提供サーバ３から取得する。そして、表示制御部４１１は、この初期方位に対応する範囲を表示すると決定する。
【００８１】
ステップＳ３５において、表示部４１２は、ステップＳ３３又はステップＳ３４における表示制御部４１１の決定に基づいて、指定された方位で撮影画像を表示する。
これにより、方位情報紐付け処理により紐付けられた方位に基づいて、図面と撮影画像との方位を一致させて表示を行うことが可能となる。
【００８２】
また、本実施形態では、表示の切り替えにおいて、所定の処理を行っている。具体的には、直前に表示していた地点がある場合は、ステップＳ３３において注目方位を引き継ぐと共に、ステップＳ３４において引き継いだ注目方位での表示をする。これにより、コンテンツの表示態様が、実際にその地点で移動した際の視点と近くなり、表示位置の遷移後の違和感が少なくなるという効果を奏する。
【００８３】
コンテンツ表示処理における表示例と、この表示位置の遷移後の違和感が少なくなるという効果について、図１１、図１２、及び図１３を参照して説明をする。図１１、図１２、及び図１３は、コンテンツ表示処理において表示されるコンテンツの一例を示す模式図である。
【００８４】
本実施形態では、表示部４１２により、図１１に示すようにコンテンツが表示される。具体的には、表示領域ＡＲ７に、コンテンツを作成するために用いた図面が表示される。また、表示領域ＡＲ８に、コンテンツを作成するために用いた撮影画像であって、ユーザに選択された地点の撮影画像が表示される。また、表示領域ＡＲ９には、表示領域ＡＲ８に表示される撮影画像を拡大、縮小、あるいは、全画面表示するための操作用ボタンが表示される。
【００８５】
この表示において、ユーザは、所定の操作（例えば、表示領域ＡＲ８の何れかの位置をドラッグしたまま、左右に移動させる操作）を行うことにより、注目方位（すなわち、注目視点）を切り替えて表示させることができる。
【００８６】
また、ユーザは、撮影画像と重畳して表示されている「キッチン」や「玄関」といったテキスト部分を選択することにより、表示する地点を変更することができる。あるいは、ユーザは、表示領域ＡＲ７に表示されている図面に対して操作を行うことによっても、表示する地点を変更することができる。この点について、図１２を参照して説明をする。
【００８７】
図１２（Ａ）に、表示領域ＡＲ７に表示されている図面を拡大して示す。表示領域ＡＲ７には、図面に含まれる間取り図６１と、方位情報６２が表示される。また、表示領域ＡＲ７には、視点アイコン６３が表示される。視点アイコン６３は、現在の表示地点を示す丸型のアイコンと、現在の注目方位（すなわち、注目視点）を示す扇形のアイコンの組み合わせにより表現される。
【００８８】
また、表示領域ＡＲ７には、表示可能地点６４も表示される。ユーザは、表示したい地点に対応する表示可能地点６４を選択することにより、表示する地点を変更することができる。なお、表示可能地点６４は、部屋の中央であってもよいが、これに限られない。例えば、表示可能地点６４は、部屋の特徴を示す位置（例えば、洗面台の前や、クローゼットの前）等であってもよい。
【００８９】
ここで、視点アイコン６３と、表示可能地点６４は、同形状の丸型のアイコンにより表示されているが、これらを識別可能なように表示するとよい。例えば、視点アイコン６３には、中黒を表示するようにするとよい。なお、表示可能地点６４を複数図示しているが、図示の都合上１つの表示可能地点６４にのみ符号を付し、他の表示可能地点６４については符号を省略する。
【００９０】
図１２（Ｂ）に、ウォークスルー表示が可能なルートである移動可能ルート６５を示す。例えば、図１１における表示領域ＡＲ８に表示されている撮影画像は、図１２（Ｂ）における地点Ａでの表示に相当する。図１２（Ｂ）の移動可能ルート６５として示すように、地点Ａは、地点Ｂ、地点Ｃ、及び地点Ｄと接続されていて、ウォークスルー表示が可能なルートとして設定されている。この設定により、上述したように図１１における表示領域ＡＲ８で、地点Ｂに対応する「キッチン」といった表示や、地点Ｃに対応する「玄関」といったテキストが表示される。
【００９１】
そして、例えば、キッチンが選択された場合には、地点Ａに対応する撮影画像から、地点Ｂに対応する撮影画像に表示が切り替わる。これにより、ユーザは、あたかも撮影画像が撮影された場所を歩いて移動しているような体験をすることができる。
【００９２】
この場合に、上述したように、本実施形態では、直前に表示していた地点がある場合は、ステップＳ３３において注目方位を引き継ぐと共に、ステップＳ３４において引き継いで表示する。
例えば、図１３（Ａ）に示すように地点Ａであるリビングにおいて、地点Ｂであるキッチンの方向（すなわち、図面における左上の方向）を、注目方位として表示していたとする。この場合に、「キッチン」のテキストが選択されると、注目方位を引き継いだ表示が行なわれ、図１３（Ｂ）に示すように図面における左上の方向において、キッチンの撮影画像が表示される。
【００９３】
このように、地点の移動の前後において、注目方位（すなわち、注目視点）が引き継がれることから、コンテンツの表示態様が、実際にその地点で移動した際の視点と近くなり、表示位置の遷移後の違和感が少なくなる、という効果を奏する。
仮に、本実施形態のように注目方位を引き継がない場合には、地点の移動の際に、視点がリセットされることにより、表示位置の遷移後の違和感が生じてしまうが、本実施形態によれば、このような問題を解消することができる。
【００９４】
（データの送受）
次に、図１４を参照して、コンテンツ表示処理における、データの送受信についてより詳細に説明をする。図１４は、コンテンツ表示処理において、各機能ブロック間で送受信されるデータの流れを示すシーケンス図である。
【００９５】
ステップＳ４１において、ユーザは、地点Ａに対応する撮影画像を表示するための操作を行う。
【００９６】
ステップＳ４２において、表示制御部４１１は、コンテンツ提供部３１１に対して、地点Ａに対応する撮影画像である撮影画像Ａを要求する。コンテンツ提供部３１１は、要求に応じて撮影画像Ａを表示制御部４１１に対して送信する。
【００９７】
ステップＳ４３において、表示制御部４１１は、撮影画像Ａの表示に先立って、注目方位保持部４１３に対して、注目方位を要求する。ここで、未だ表示を行っていない場合には、注目方位が注目方位記憶部４４１に記憶されていないので、注目方位保持部４１３は、値なしとの応答をする。
【００９８】
ステップＳ４４において、表示制御部４１１は、初期方位提供部３１２に対して、撮影画像Ａの初期方位を要求する。初期方位提供部３１２は、撮影画像Ａの初期方位を表示制御部４１１に対して送信する。
【００９９】
ステップＳ４５において、表示制御部４１１は、撮影画像Ａの初期方位に対応する範囲を表示するように、表示部４１２の表示を制御する。これにより表示部４１２による、撮影画像Ａの表示が開始される。
【０１００】
ステップＳ４６において、ユーザは、注目方位を変更する操作を行う。
ステップＳ４７において、表示制御部４１１は、撮影画像Ａの変更後の注目方位に対応する範囲を表示するように、表示部４１２の表示を制御する。これにより表示部４１２による、撮影画像Ａの表示における注目方位が変更される。
【０１０１】
ステップＳ４８において、表示制御部４１１は、注目方位保持部４１３に対して、ステップＳ４７において変更した現在の注目方位を注目方位保持部４１３に保持するように指示をする。注目方位保持部４１３は、現在の注目方位を、注目方位記憶部４４１に記憶させる。
【０１０２】
ステップＳ４９において、ユーザは、地点Ｂに対応する撮影画像を表示するための操作を行う。
【０１０３】
ステップＳ５０において、表示制御部４１１は、コンテンツ提供部３１１に対して、地点Ｂに対応する撮影画像である撮影画像Ｂを要求する。コンテンツ提供部３１１は、要求に応じて撮影画像Ｂを表示制御部４１１に対して送信する。
【０１０４】
ステップＳ５１において、表示制御部４１１は、撮影画像Ｂの表示に先立って、注目方位保持部４１３に対して、注目方位を要求する。ここで、ステップＳ４８において保持された注目方位が、注目方位記憶部４４１に記憶されているので、注目方位保持部４１３は、この注目方位を応答する。
【０１０５】
ステップＳ５２において、表示制御部４１１は、撮影画像ＢのステップＳ５１にて応答された注目方位に対応する範囲を表示するように、表示部４１２の表示を制御する。これにより表示部４１２による、撮影画像Ｂの表示が開始される。
このようにして、コンテンツ表示処理は実現される。なお、本処理により奏する効果については上述した通りである。
【０１０６】
［変形例］
以上、本発明の実施形態について詳細に説明した。ただし、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、以下に例示する変形例のような変形を行うことができる。また、以下に例示する変形例を組み合わせるようなこともできる。
【０１０７】
［第１の変形例］
上述した実施形態では、地点の移動の前後において、注目方位（すなわち、注目視点）が引き継いで表示していた。これに加えて、移動後の所定時間、注目方位引き継いで表示した後に、他の方位に切り替えて表示を行うようにしてもよい。例えば、移動後の所定時間、注目方位引き継いで表示した後に、初期方位に切り替えて表示を行うようにしてもよい。ここで、初期方位は、上述したように、撮影画像の特徴を示す方位とすることができる。例えば、撮影画像がキッチンを撮影した画像であれば、キッチンの特徴を示すコンロやシンクが表示される方位とすることができる。
【０１０８】
例えば、図１５（Ａ）に示すように地点Ａであるリビングにおいて、地点Ｂであるキッチンの方向（すなわち、図面における左上の方向）を、注目方位として表示していたとする。この場合に、「キッチン」のテキストが選択されると、注目方位を引き継いだ表示が行なわれ、図１５（Ｂ）に示すように図面における左上の方向において、キッチンの撮影画像が表示される。
本変形例では、図１５（Ｂ）に示すような表示を行い、所定時間経過後に、更に他の方位（例えば、初期方位）に切り替えて表示を行う。例えば、図１５（Ｃ）に示すように、キッチンの特徴を示すコンロやシンクが表示される方位に切り替えて表示を行う。
【０１０９】
これにより、表示位置の遷移後の違和感が少なくなる、という上述の効果に加えて、更に撮影画像の特徴的な部分を、ユーザの方位の変更操作を要することなく、ユーザに対して参照させることができる、という効果を奏する。
【０１１０】
他にも、移動後の所定時間、注目方位引き継いで表示した後に、方位を連続的に切り替えて、自動的に回転するような表示を行うようにしてもよい。また、この方位の切り替え方向や、切り替え速度については、ユーザの操作等に応じて適宜変更できるようにしてもよい。これによっても、撮影画像の特徴的な部分を、ユーザの方位の変更操作を要することなく、ユーザに対して参照させることができる、という効果を奏する。
【０１１１】
［第２の変形例］
上述した実施形態では、図面方位情報取得部２１２が、図面に対して画像解析を行うことにより、方位情報５２を検出して、図面方位情報を取得していた。しかしながら、図面によっては、方位情報５２に相当する情報が記載されていない場合もあり得る。そこで、ユーザの操作に基づいて、図面方位情報を取得するようにしてもよい。
【０１１２】
この点について図１６を参照して説明をする。図１６（Ａ）及び（Ｂ）については、図８の（Ａ）と（Ｂ）同様の表示であり、選択された図面の画像を、図１６（Ｂ）の表示領域表示領域ＡＲ２に示すようにして表示している。
ここで、上述の実施形態と異なり、図面方位情報を取得できなった場合、図１６（Ｃ）の表示領域ＡＲ７に示すように、「方位情報がありません。設定しますか？」等のメッセージを表示する。そして、ユーザから、手動設定をするか否かの操作を受け付ける。
【０１１３】
手動設定をする旨の操作を受け付けた場合は、手動設定を行うための画面を表示する。手動設定の方法としては、例えば、２つの方法が考えられる。
第１の方法では、図１６（Ｄ１）に示すように、表示領域ＡＲ８に図面の画像を表示すると共に、表示領域ＡＲ９に方位磁石を模した画像を表示する。そして、ユーザが、方位磁石を模した画像を操作することにより、図面の方位を設定する。例えば、方位磁石を模した画像を操作することにより、図面における「北」を設定する。この設定に基づいて、図面方位情報を取得することができる。
【０１１４】
第２の方法では、図１６（Ｄ２）に示すように、表示領域ＡＲ８に図面の画像を表示すると共に、表示領域ＡＲ１０に図面上で示される建物が含まれる地図の画像を表示する。そして、ユーザが、地図を回転させる操作により、地図における建物の向きと図面の向きとを合わせる。この地図には、「北」等の方位が設定されていることから、この設定に基づいて、図面方位情報を取得することができる。
【０１１５】
このようにして、図面方位情報を取得することより、図９（Ｄ）と同様に、図１６（Ｅ）に示すように、視界同期のボタンを表示する画面へと遷移することが可能となる。
本変形例では、ユーザによる方位の設定が必要にはなるが、図面に対して一度だけ方位を設定するのみであり、各撮影画像に対する方位の設定は必要ない。従って、本変形例によっても、図面と撮影画像との紐付けを簡便に実現することが可能となる。
【０１１６】
［第３の変形例］
上述した実施形態では、撮影画像方位情報取得部２１４が、撮影画像に含まれるメタ情報に基づいて、撮影画像方位情報を取得していた。しかしながら、撮影画像によっては、撮影画像のメタ情報に方位を示す情報が含まれていない場合もあり得る。そこで、撮影画像を画像解析することにより、撮影画像方位情報を取得するようにしてもよい。
【０１１７】
この場合、メタ情報から、撮影位置を示す情報（例えば、ＧＰＳ（Global Positioning System）により測位した緯度および経度の情報）と、撮影時刻とを取得する。一方で、撮影画像を画像解析することにより、窓等から差し込んでいる日差しの光源の方向（すなわち、建物に対する太陽の方向）を特定する。
【０１１８】
撮影位置と撮影時刻に加えて、地図情報や気象情報等に基づけば、建物に対する太陽の方向とその方位を特定できる。そのため、この撮影位置と撮影時刻から特定した太陽の方向と、画像解析により特定した太陽の方向を照らし合わせることにより、撮影画像の方位を特定することができる。すなわち、撮影画像を画像解析することにより、撮影画像方位情報を取得することができる。
【０１１９】
［第４の変形例］
上述した実施形態では、地点の移動の前後において、注目方位（すなわち、注目視点）が引き継いで表示していた。この処理の対象を限定するようにしてもよい。
例えば、図１２（Ｂ）に示す移動可能ルート６５において地点を移動した場合には、注目方位を引き継いで表示する。その一方で、図１２（Ａ）に示す表示可能地点６４を直接選択して移動可能ルート６５に含まれない地点に移動した場合には、注目方位を引き継ぐことなく、初期方位で表示するようにしてもよい。
移動可能ルート６５に含まれない地点の場合は、移動前の地点から視認できず、移動の前後で視点の連続性がないため、注目方位を必ずしも引き継ぐ必要はないからである。
【０１２０】
［第５の変形例］
上述した実施形態では、１つの地点において、１つの撮影画像を紐付けていた。これに限らず、複数の撮影画像を紐付けるようにしてもよい。例えば、同じ位置で撮影したが、撮影時刻がそれぞれ異なる複数の撮影画像（例えば、昼に撮影した撮影画像と、夜に撮影した撮影画像）を紐付けるようにしてもよい。
【０１２１】
そして、撮影画像を表示する時刻が昼であれば、昼に撮影した撮影画像を表示し、撮影画像を表示する時刻が夜であれば、夜に撮影した撮影画像を表示するとよい。あるいは、ユーザの操作等に応じて、昼に撮影した撮影画像と、夜に撮影した撮影画像を選択的に表示するようにしてもよい。
これにより、ユーザは、昼間の日当たりを確認したり、夜景を確認したりすることが可能となる。
【０１２２】
また、撮影画像は、全天球パノラマ画像に限らず、例えば、上下の方位は所定の幅（すなわち、所定の角度）で固定され、左右の方位に回転可能なパノラマ画像であってもよい。これにより、全天球カメラが撮影した撮影画像以外にも、上述の実施形態を適用することができる。
また、撮像撮像は、静止画に限定されず、例えば、動画としてもよい。あるいは、同じ位置で間欠的に撮影を行うことにより作成したタイムラプス画像としてもよい。そして、表示時に、動画又はタイムラプス画像を時系列に沿って切り替えて表示するようにしてもよい。
これにより、ユーザは、時間の経過と共に変化する表示を参照することが可能となる。
【０１２３】
［第６の変形例］
上述した実施形態では、図８（Ｃ）のようなユーザインタフェースにおいて、ユーザがドラッグ・アンド・ドロップ等の操作を行って、撮影画像の配置位置を決定していた。これに限らず、画像解析により撮影画像の配置位置を決定してもよい。
【０１２４】
この場合、例えば、特許文献１の明細書段落番号［００２７］に記載のようにして、コンテンツを作成するための図面から文字列（例えば、「和室６」、「キッチン３」、「玄関」等の文字列）を検出する。
また、特許文献１の明細書段落番号［００３０］〜［００３８］に記載のようにして、コンテンツを作成するための図面に対して２値化を行う。そして、２値化後の図面に対して、確率的ハフ変換等の手法で線分を検出する処理を行うことにより、部屋を構成する壁を検出する。
【０１２５】
更に、これらの検出結果に基づいて、特許文献１の明細書段落番号［００６２］及び［００６３］に記載されているようにして、各部屋とその種別を特定する。また、これらの検出結果に基づいて、ドアや引き戸の位置を特定することにより、ユーザが移動可能なルートも特定する。
また、撮影画像が何れの部屋の画像であるのかを、例えば、深層学習により生成した識別器により判定することができる。具体的には、正解のデータであるキッチンの多数の画像と、不正解データであるキッチン以外の画像、例えばリビングの多数の画像とを教師データとして入力し、深層学習により生成可能である。このように、撮影画像が何れの部屋の画像であるのかを、自動認識する。
【０１２６】
これらの処理結果に基づくことにより、撮影画像の配置位置を決定すると共に、ウォークスルーのリンクを作成することができる。
かかる画像解析には、所定の演算が必要となるものの、方位の紐付け等の処理は、上述した実施形態のようにして行うことにより、全体としての演算量を削減することができる。
【０１２７】
［第７の変形例］
上述した実施形態における装置構成や、機能ブロックの切り分けは一例に過ぎず、これに限られない。例えば、コンテンツ作成サーバ２と、コンテンツ提供サーバ３を同一のサーバ装置により実現してもよい。
あるいは、コンテンツ作成サーバ２と、コンテンツ提供サーバ３のそれぞれを、複数の装置により実現してもよい。例えば、コンテンツ作成サーバ２と、コンテンツ提供サーバ３のそれぞれを、複数のクラウドサーバが協働することによって実現してもよい。
あるいは、コンテンツ作成端末１、コンテンツ作成サーバ２、コンテンツ提供サーバ３、及びコンテンツ表示端末４がそれぞれ備える機能ブロックの一部又は全部を、他の装置や端末により実現してもよい。
【０１２８】
つまり、上述した各装置が備える機能ブロック、あるいは代替となる機能ブロックを、情報処理システムＳに含まれる何れかの装置により実現するようにすればよい。換言すると、図３や図９の機能的構成は例示に過ぎず、特に限定されず、各機能を実現するためにどのような機能ブロックを用いるのかは特に図３や図９の例に限定されない。
【０１２９】
なお、一例として上述した実施形態における機能的構成で機能ブロックを実現した場合、情報処理システムＳは、本発明における「情報処理システム」に相当する。またこの場合、図面方位情報取得部２１２は、本発明における「第１取得手段」に相当する。更にこの場合、撮影画像方位情報取得部２１４は、本発明における「第２取得手段」に相当する。更にこの場合、方位情報紐付け部２１５は、本発明における「紐付け手段」に相当する。更にこの場合、表示制御部４１１は、本発明における「表示制御手段」に相当する。更にこの場合、表示部４１２は、本発明における「表示手段」に相当する。更にこの場合、コンテンツ作成サーバ２や、コンテンツ表示端末４は、本発明における「情報処理装置」に相当する。
【０１３０】
また、これら装置及び端末は、単一のユーザに利用されてもよいが、それぞれ異なるユーザに利用されてもよい。例えば、コンテンツ作成端末１は、不動産物件を提供する不動産事業により利用されてもよい。また、コンテンツ作成サーバ２や、コンテンツ提供サーバ３は、この不動産事業者にサービスを提供するサービス提供事業者により利用されてもよい。コンテンツ表示端末４は、不動産物件を利用する事業者や個人により利用されてもよい。
また、このような不動産物件の紹介に関する利用の他にも、例えば、飲食店の紹介や、観光施設や観光スポットの紹介等の用途で利用されてもよい。すなわち、上述した実施形態の用途は特に限定されず、上述した実施形態を多様な用途で利用することができる。
【０１３１】
［他の変形例］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。例えば、本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現される。
【０１３２】
本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものを含む。また、他にも、これら各種処理装置と、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field‐Programmable Gate Array）等の処理回路とが組み合わせられたものを含む。
【０１３３】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１３４】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。
【０１３５】
光ディスクは、例えば、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている、図５の、ＲＯＭ１２、ＲＯＭ２２、ＲＯＭ３２、及びＲＯＭ４３、あるいは、ＨＤＤ１４、ＨＤＤ２４、ＨＤＤ３４、及びＨＤＤ４４等で構成される。
【０１３６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【０１３７】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３８】
Ｓ  情報処理システム
Ｎ  ネットワーク
１  コンテンツ作成端末
２  コンテンツ作成サーバ
３  コンテンツ提供サーバ
４  コンテンツ表示端末
１１、２１、３１、４１  ＣＰＵ
１２、２２、３２、４２  ＲＯＭ
１３、２３、３３、４３  ＲＡＭ
１４、２４、３４、４４  ＨＤＤ
１５、２５、３５、４５  通信Ｉ／Ｆ
１６、４６  操作部
１７、４７  表示部
１１１  コンテンツ作成制御部
１４１  図面記憶部
１４２  撮影画像記憶部
２１１  図面保持部
２１２  図面方位情報取得部
２１３  撮影画像保持部
２１４  撮影画像方位情報取得部
２１５  方位情報紐付け部
２４１  図面記憶部
２４２  撮影画像記憶部
３１１  コンテンツ提供部
３１２  初期方位提供部
３４１  コンテンツ記憶部
４１１  表示制御部
４１２  表示部
４１３  注目方位保持部
４４１  注目方位記憶部
【先行技術文献】
【特許文献】
【０１３９】
【特許文献１】特許第６１１６７４６号公報
【図１】
2020087287.tif 000003
【図２】
2020087287.tif 000004
【図３】
2020087287.tif 000005
【図４】
2020087287.tif 000006
【図５】
2020087287.tif 000007
【図６】
2020087287.tif 000008
【図７】
2020087287.tif 000009
【図８】
2020087287.tif 000010
【図９】
2020087287.tif 000011
【図１０】
2020087287.tif 000012
【図１１】
2020087287.tif 000013
【図１２】
2020087287.tif 000014
【図１３】
2020087287.tif 000015
【図１４】
2020087287.tif 000016
【図１５】
2020087287.tif 000017
【図１６】
2020087287.tif 000018