(57)【特許請求の範囲】
【請求項１】
少なくとも、
一度の撮像動作により周囲の全方位３６０°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
前記撮像装置と有線又は無線により接続された携帯端末と、
を備える撮像システムであって、
前記携帯端末に設けられ、前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得する画像データ取得部と、
前記携帯端末に設けられた表示部と、
前記携帯端末に設けられ、前記撮像装置により１回目の撮像を実行する旨を指示する第１の撮像指示画面と、前記１回目の撮像終了後に表示される第２の撮像指示画面であって、前記物体の位置を変更させて前記撮像装置により２回目の撮像を実行する旨を指示する第２の撮像指示画面と、を前記表示部に表示させる表示制御部と、
前記複数の画像を合成することにより、前記物体の像が消去された画像を生成する画像処理部と、
を備える撮像システム。
【請求項２】
通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバをさらに備え、
前記画像処理部は前記サーバに設けられ、
前記携帯端末は、前記画像データ取得部が取得した前記複数の画像の画像データを前記サーバに送信し、
前記サーバは、前記複数の画像の画像データを受信し、該画像データに基づいて前記物体の像が消去された画像を生成する、請求項１に記載の撮像システム。
【請求項３】
前記画像処理部は、さらに、前記物体の像が消去された画像の画像データを用いて、バーチャルリアリティ用の画像データを生成する、請求項２に記載の撮像システム。
【請求項４】
通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバをさらに備え、
前記画像処理部は、前記携帯端末に設けられ、
前記携帯端末は、前記画像処理部により生成された前記物体の像が消去された画像の画像データを前記サーバに送信して記憶させる、請求項１に記載の撮像システム。
【請求項５】
前記サーバは、前記物体の像が消去された画像の画像データを用いてバーチャルリアリティ用の画像データを生成する第２の画像処理部をさらに有する、請求項４に記載の撮像システム。
【請求項６】
前記携帯端末は、外部からなされる操作に応じた信号を入力する入力デバイスをさらに有し、
前記表示制御部は、前記複数の画像のうちの１つの画像を前記表示部に表示させると共に、前記入力デバイスから前記１つの画像内の少なくとも１つの領域を選択する信号が入力された場合に、前記１つの画像内の前記少なくとも１つの領域に対し、前記複数の画像のうちの他の画像内の前記少なくとも１つの領域に対応する領域を重畳して前記表示部に表示させ、
前記携帯端末は、前記１つの画像における前記少なくとも１つの領域の位置を表す位置情報を前記サーバにさらに送信し、
前記画像処理部は、前記複数の画像の画像データに加え、前記位置情報を用いて、前記物体の像が消去された画像を生成する、
請求項２又は３に記載の撮像システム。
【請求項７】
前記携帯端末は、外部からなされる操作に応じた信号を入力する入力デバイスをさらに有し、
前記表示制御部は、前記複数の画像のうちの１つの画像を前記表示部に表示させ、
前記画像処理部は、前記入力デバイスから前記１つの画像内の少なくとも１つの領域を選択する信号が入力された場合に、前記複数の画像の画像データに加え、前記１つの画像における前記少なくとも１つの領域の位置を表す位置情報を用いて、前記物体の像が消去された画像を生成する、
請求項４又は５に記載の撮像システム。
【請求項８】
前記画像処理部は、前記複数の画像間で画素値の変化が生じている領域を抽出し、前記複数の画像のうちの１つの画像における前記領域の画素値を、前記複数の画像のうちの他の画像における前記領域の画素値に置き換える、
請求項１〜５のいずれか１項に記載の撮像システム。
【請求項９】
前記携帯端末は、外部からなされる操作に応じた信号を入力する入力デバイスをさらに有し、
前記表示制御部は、前記複数の画像のうちの１つの画像を前記表示部に表示させ、
前記画像処理部は、前記入力デバイスから前記１つの画像内の少なくとも１つの領域を選択する信号が入力された場合に、前記１つの画像内の前記少なくとも１つの領域の画素値を、前記複数の画像のうちの他の画像内の前記少なくとも１つの領域に対応する領域の画素値に置き換える、
請求項１〜５のいずれか１項に記載の撮像システム。
【請求項１０】
前記携帯端末は、外部からなされる操作に応じた信号を入力する入力デバイスをさらに有し、
前記画像処理部は、前記複数の画像間で画素値の変化が生じている少なくとも１つの領域を抽出し、
前記表示制御部は、前記複数の画像のうちの１つの画像を前記表示部に表示させると共に、前記表示部に表示させた前記１つの画像に、前記画像処理部が抽出した前記少なくとも１つの領域をそれぞれ表す少なくとも１つのマークを重畳して表示させ、
前記画像処理部は、前記入力デバイスから前記少なくとも１つのマークのうちの少なくともいずれかを選択する信号が入力された場合に、前記１つの画像内の前記少なくともいずれかのマークに対応する領域の画素値を、前記複数の画像のうちの他の画像内の対応する領域の画素値に置き換える、
請求項１〜５のいずれか１項に記載の撮像システム。
【請求項１１】
前記携帯端末は、外部からなされる操作に応じた信号を入力する入力デバイスをさらに有し、
前記表示制御部は、前記複数の画像を重畳し、前記表示部に表示させ、
前記画像処理部は、前記入力デバイスから、前記複数の画像のうち前記表示部に表示された最上層の画像内の領域を選択する信号が入力された場合に、前記領域を透明化する、
請求項１〜５のいずれか１項に記載の撮像システム。
【請求項１２】
一度の撮像動作により周囲の全方位３６０°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
前記撮像装置と有線又は無線により接続された携帯端末と、
通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバと、
を備える撮像システムであって、
前記サーバは、撮像場所の位置を特定する画像の画像データを記憶する記憶部を有し、
前記携帯端末は、
表示部と、
前記位置を特定する画像の画像データに基づいて、前記位置を特定する画像を前記表示部に表示させる表示制御部と、
外部からなされる操作に応じた信号を入力する入力デバイスと、
前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得する画像データ取得部と、
前記入力デバイスから入力された信号に基づき、前記表示部に表示された前記位置を特定する画像上の特定の位置を選択し、該選択された位置に基づいて、前記複数の画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理を施すマッピング処理部と、
前記複数の画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記サーバに送信する通信部と、
を有し、
前記サーバは、さらに、前記携帯端末から受信した前記複数の画像を合成することにより、前記物体の像が消去された画像を生成する画像処理部を有し、前記物体の像が消去された画像の画像データ、及び、前記携帯端末から受信した前記マッピング処理が施された前記位置を特定する画像の画像データを、前記記憶部に記憶させる、撮像システム。
【請求項１３】
一度の撮像動作により周囲の全方位３６０°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
前記撮像装置と有線又は無線により接続された携帯端末と、
通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバと、
を備える撮像システムであって、
前記サーバは、撮像場所の位置を特定する画像の画像データを記憶する記憶部を有し、
前記携帯端末は、
表示部と、
前記位置を特定する画像の画像データに基づいて、前記位置を特定する画像を前記表示部に表示させる表示制御部と、
外部からなされる操作に応じた信号を入力する入力デバイスと、
前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得する画像データ取得部と、
前記複数の画像を合成することにより、前記物体の像が消去された画像を生成する画像処理部と、
前記入力デバイスから入力された信号に基づき、前記表示部に表示された前記位置を特定する画像上の特定の位置を選択し、該選択された位置に基づいて、前記物体の像が消去された画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理を施すマッピング処理部と、
前記物体の像が消去された画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記サーバに送信する通信部と、
を有し、
前記サーバは、前記携帯端末から受信した前記物体の像が消去された画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記記憶部に記憶させる、撮像システム。
【請求項１４】
前記サーバは、予め前記記憶部に記憶された前記マッピング処理が施される前の前記位置を特定する画像の画像データを前記携帯端末に送信し、前記携帯端末から受信した前記マッピング処理が施された前記位置を特定する画像の画像データを、前記記憶部に更新して記憶させる、請求項１２又は１３に記載の撮像システム。
【請求項１５】
前記被写体は建物の外観又は建物の内部であり、
前記位置を特定する画像の画像データは、前記建物の位置を含む地図データ、又は、前記建物の内部を表す見取り図データ若しくは間取図データである、請求項１２〜１４のいずれか１項に記載の撮像システム。
【請求項１６】
少なくとも、
一度の撮像動作により周囲の全方位３６０°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
前記撮像装置と有線又は無線により接続された携帯端末と、
を備える撮像システムにおいて行われる撮像方法であって、
前記撮像装置により１回目の撮像を実行する旨を指示する第１の撮像指示画面を前記携帯端末の表示部に表示するステップ（ａ）と、
撮像装置に１回目の撮像を実行させることにより、少なくとも撮像対象の被写体が写った第１の画像を取得するステップ（ｂ）と、
ステップ（ｂ）の後、前記撮像対象の被写体以外の物体の位置を変更させて前記撮像装置により２回目の撮像を実行する旨を指示する第２の撮像指示画面を前記表示部に表示するステップ（ｃ）と、
前記撮像装置に対する前記撮像対象の被写体以外の物体を移動させ、前記撮像装置に２回目の撮像を実行させることにより、前記第１の画像とは前記物体の位置が異なる第２の画像を取得するステップ（ｄ）と、
前記第１及び第２の画像を合成することにより、前記物体の像が消去された画像を生成するステップ（ｅ）と、
を含む撮像方法。
【請求項１７】
一度の撮像動作により周囲の全方位３６０°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
前記撮像装置と有線又は無線により接続された携帯端末と、
通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバと、
を備える撮像システムにおいて行われる撮像方法であって、
前記サーバは、撮像場所の位置を特定する画像の画像データを記憶する記憶部を備え、
前記携帯端末が、前記位置を特定する画像の画像データに基づいて、前記位置を特定する画像を前記携帯端末の表示部に表示するステップ（ａ）と、
前記携帯端末が、外部からなされる操作に応じて前記携帯端末の入力デバイスから入力される信号に基づき、前記表示部に表示された前記位置を特定する画像上の特定の位置を選択するステップ（ｂ）と、
前記携帯端末が、前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得するステップ（ｃ）と、
前記携帯端末が、ステップ（ｂ）において選択された位置に基づいて、前記複数の画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理を施すステップ（ｄ）と、
前記携帯端末が、前記複数の画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記サーバに送信するステップ（ｅ）と、
前記サーバが、前記携帯端末から受信した前記複数の画像を合成することにより、前記物体の像が消去された画像を生成するステップ（ｆ）と、
前記サーバが、前記携帯端末から受信した前記マッピング処理が施された前記位置を特定する画像の画像データを記憶するステップ（ｇ）と、
を含む撮像方法。
【請求項１８】
一度の撮像動作により周囲の全方位３６０°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
前記撮像装置と有線又は無線により接続された携帯端末と、
通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバと、
を備える撮像システムにおいて行われる撮像方法であって、
前記サーバは、撮像場所の位置を特定する画像の画像データを記憶する記憶部を備え、
前記携帯端末が、前記位置を特定する画像の画像データに基づいて、前記位置を特定する画像を前記携帯端末の表示部に表示するステップ（ａ）と、
前記携帯端末が、外部からなされる操作に応じて前記携帯端末の入力デバイスから入力される信号に基づき、前記表示部に表示された前記位置を特定する画像上の特定の位置を選択するステップ（ｂ）と、
前記携帯端末が、前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得するステップ（ｃ）と、
前記携帯端末が、前記複数の画像を合成することにより、前記物体の像が消去された画像を生成するステップ（ｄ）と、
前記携帯端末が、ステップ（ｂ）において選択された位置に基づいて、前記物体の像が消去された画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理を施すステップ（ｅ）と、
前記携帯端末が、前記物体の像が消去された画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記サーバに送信するステップ（ｆ）と、
前記サーバが、前記携帯端末から受信した前記物体の像が消去された画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを記憶するステップ（ｇ）と、
を含む撮像方法。
【請求項１９】
少なくとも、
一度の撮像動作により周囲の全方位３６０°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
前記撮像装置と有線又は無線により接続された携帯端末と、
を備える撮像システムにおいて、前記携帯端末に実行させるプログラムであって、
前記撮像装置により１回目の撮像を実行する旨を指示する第１の撮像指示画面を前記携帯端末の表示部に表示するステップ（ａ）と、
撮像装置に１回目の撮像を実行させることにより、少なくとも撮像対象の被写体が写った第１の画像を取得するステップ（ｂ）と、
ステップ（ｂ）の後、前記撮像対象の被写体以外の物体の位置を変更させて前記撮像装置により２回目の撮像を実行する旨を指示する第２の撮像指示画面を前記表示部に表示するステップ（ｃ）と、
前記撮像装置に対する前記撮像対象の被写体以外の物体を移動させ、前記撮像装置に２回目の撮像を実行させることにより、前記第１の画像とは前記物体の位置が異なる第２の画像を取得するステップ（ｄ）と、
前記第１及び第２の画像を合成することにより、前記物体の像が消去された画像を生成するステップ（ｅ）と、
を含むプログラム。
【請求項２０】
一度の撮像動作により周囲の全方位３６０°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
前記撮像装置と有線又は無線により接続された携帯端末と、
通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバと、
を備える撮像システムにおいて、前記携帯端末に実行させるプログラムであって、
前記サーバは、撮像場所の位置を特定する画像の画像データを記憶する記憶部を備え、
前記位置を特定する画像の画像データに基づいて、前記位置を特定する画像を前記携帯端末の表示部に表示するステップ（ａ）と、
外部からなされる操作に応じて前記携帯端末の入力デバイスから入力される信号に基づき、前記表示部に表示された前記位置を特定する画像上の特定の位置を選択するステップ（ｂ）と、
前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得するステップ（ｃ）と、
ステップ（ｂ）において選択された位置に基づいて、前記複数の画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理を施すステップ（ｄ）と、
前記複数の画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記サーバに送信し、前記携帯端末から受信した前記複数の画像を合成することにより前記物体の像が消去された画像を生成させると共に、前記マッピング処理が施された前記位置を特定する画像の画像データを記憶させるステップ（ｅ）と、
を実行させるプログラム。
【請求項２１】
一度の撮像動作により周囲の全方位３６０°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
前記撮像装置と有線又は無線により接続された携帯端末と、
通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバと、
を備える撮像システムにおいて、前記携帯端末に実行させるプログラムであって、
前記サーバは、撮像場所の位置を特定する画像の画像データを記憶する記憶部を備え、
前記位置を特定する画像の画像データに基づいて、前記位置を特定する画像を前記携帯端末の表示部に表示するステップ（ａ）と、
外部からなされる操作に応じて前記携帯端末の入力デバイスから入力される信号に基づき、前記表示部に表示された前記位置を特定する画像上の特定の位置を選択するステップ（ｂ）と、
前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得するステップ（ｃ）と、
前記複数の画像を合成することにより、前記物体の像が消去された画像を生成するステップ（ｄ）と、
ステップ（ｂ）において選択された位置に基づいて、前記物体の像が消去された画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理を施すステップ（ｅ）と、
前記物体の像が消去された画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記サーバに送信し、前記物体の像が消去された画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを記憶させるステップ（ｆ）と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全天球画像を生成する撮像システムに関する。
【背景技術】
【０００２】
近年、仮想現実（バーチャルリアリティ、以下「ＶＲ」とも記す）の画像表示技術が、ゲームやエンターテインメント、学習支援、職業訓練、ビジネス等の様々な分野で利用されている。ＶＲにおいては、通常、ヘッドマウントディスプレイ（以下、「ＨＭＤ」とも記す）と呼ばれるメガネ型又はゴーグル型の表示装置が用いられる。ユーザは、ＨＭＤを頭部に装着し、ＨＭＤに内蔵された画面を両眼で見ることにより、立体感のある画像を認識することができる。ＨＭＤにはジャイロセンサや加速度センサが内蔵されており、これらのセンサにより検出されたユーザの頭部の動きに応じて、画面に表示される画像が変化する。それにより、ユーザは、あたかも３次元的に表示された画像（仮想空間）の中に入り込んだような体験をすることができる。【０００３】
ＶＲの素材となる画像は、カメラで現実の被写体を撮像したり、コンピュータグラフィックスで構成したり、或いは、両者を組み合わせたりして取得される。従来、広画角のパノラマ画像を取得する場合、カメラの向きを変化させながら撮像を繰り返すことにより生成した複数フレームの画像をつなぎ合わせていた。これに対し、最近では、一度の撮像動作により周囲の全方位３６０°の範囲が写った画像（所謂全天球画像）を撮像可能なカメラ（以下、「全天球カメラ」ともいう。例えば特許文献１、２参照）が実用化されている。全天球カメラを用いる場合、カメラの周囲の被写体のほぼ全体が収められた画像を、簡単且つ短時間に取得することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１９８０６２号公報
【特許文献２】特開２０１６−１０３８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＶＲのビジネスにおける利用例として、結婚式場等の施設の下見や不動産物件の内見等を、顧客を現場に連れて行く代わりに、ＶＲによって顧客に体験させるといった例が挙げられる。これらの場合、施設や不動産物件の各部屋を全天球カメラで撮像することにより、ＶＲ用の画像を簡単に作成することができる。その一方で、全天球カメラを用いる際、全天球カメラを操作する撮影者が画像内に写り込んでしまうという問題がある。そのため、従来においては、全天球カメラを現場に据え付けた上で、撮影者が隣室に移動し又は物陰に隠れて、遠隔操作により撮像を行う必要があった。特に、撮影者を含む複数のスタッフが現場にいる場合、撮像時に隠れる場所の確保が困難なことがあり、１人でも画像内に写り込むと撮像をやり直さなければならず、かえって手間がかかることもあった。【０００６】
このような問題に対し、特許文献２には、全天球画像を生成するための複数の画像を同時に撮像する撮像装置であって、撮像装置が撮像した撮像画像又は該撮像画像から生成された生成画像において、撮像装置を支持する支持体の像が所定の範囲に存在するか否かを判定し、その判定結果に基づいて、カメラが撮像を行う視点の位置を変更するためのガイド情報を通知する技術が開示されている。即ち、特許文献２においては、撮影者にガイド情報を通知することにより、撮影者の像を除去するのに適した画像を取得することとしている。それにより、取得された画像から撮影者が写った領域（撮影者領域）を抽出し、この領域に対して別の領域（例えば地面が写った地面領域）に基づくテクスチャ画像を並べることにより撮影者の像を消去している。【０００７】
しかし、特許文献２の場合、撮影者は、ガイド情報に従って自分の位置やカメラの位置を調節しなければならないため、撮像作業が面倒である。また、取得された画像から撮影者領域や地面領域を抽出する画像処理も煩雑である。【０００８】
本発明は以上を鑑みてなされたものであり、施設や不動産物件等の現場での全天球画像の撮像作業を容易に行うことができ、且つ、取得した全天球画像から撮影者の像などの不要な部分を簡単な画像処理で消去することができる撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の一態様である撮像システムは、一度の撮像動作により周囲の全方位３６０°の範囲に含まれる被写体が写った画像を生成する撮像装置と、前記撮像装置に同一の被写体を複数回撮像させることにより生成される複数の画像であって、前記撮像装置に対する前記被写体以外の物体の位置が異なる複数の画像の画像データを取得する画像データ取得部と、前記複数の画像を合成することにより、前記物体の像が消去された画像を生成する画像処理部と、を備えるものである。【００１０】
上記撮像システムは、画像を管理するサーバと、通信ネットワークを介して前記サーバと接続された携帯端末と、を備え、前記画像データ取得部は、前記携帯端末に設けられ、前記画像処理部は前記サーバに設けられ、前記携帯端末は、前記画像データ取得部が取得した前記複数の画像の画像データを前記サーバに送信し、前記サーバは、前記複数の画像の画像データを受信し、該画像データに基づく画像処理を前記画像処理部に実行させても良い。【００１１】
上記撮像システムにおいて、前記画像処理部は、さらに、前記物体の像が消去された画像の画像データを用いて、バーチャルリアリティ用の画像データを生成しても良い。【００１２】
上記撮像システムは、画像を管理するサーバと、通信ネットワークを介して前記サーバと接続された携帯端末と、を備え、前記画像データ取得部及び前記画像処理部は、前記携帯端末に設けられ、前記携帯端末は、前記画像処理部により生成された前記物体の像が消去された画像の画像データを前記サーバに送信しても良い。【００１３】
上記撮像システムにおいて、前記サーバは、前記物体の像が消去された画像の画像データを用いてバーチャルリアリティ用の画像データを生成する第２の画像処理部をさらに有しても良い。【００１４】
上記撮像システムは、前記携帯端末は、表示部と、外部からなされる操作に応じた信号を入力する入力デバイスと、前記複数の画像のうちの１つの画像を前記表示部に表示させると共に、前記入力デバイスから前記１つの画像内の少なくとも１つの領域を選択する信号が入力された場合に、前記１つの画像内の前記少なくとも１つの領域に対し、前記複数の画像のうちの他の画像内の前記少なくとも１つの領域に対応する領域を重畳して前記表示部に表示させる表示制御部と、をさらに有すると共に、前記１つの画像における前記少なくとも１つの領域の位置を表す位置情報を前記サーバにさらに送信し、前記画像処理部は、前記複数の画像の画像データに加え、前記位置情報を用いて、前記物体の像が消去された画像を生成しても良い。【００１５】
上記撮像システムにおいて、前記携帯端末は、表示部と、外部からなされる操作に応じた信号を入力する入力デバイスと、前記複数の画像のうちの１つの画像を前記表示部に表示させる表示制御部と、をさらに有し、前記画像処理部は、前記入力デバイスから前記１つの画像内の少なくとも１つの領域を選択する信号が入力された場合に、前記複数の画像の画像データに加え、前記１つの画像における前記少なくとも１つの領域の位置を表す位置情報を用いて、前記物体の像が消去された画像を生成しても良い。【００１６】
上記撮像システムにおいて、前記携帯端末は、前記入力デバイスから前記１つの画像内の少なくとも１つの領域を選択する信号が入力された場合に、前記撮像装置から前記他の画像の画像データを取得しても良い。【００１７】
上記撮像システムにおいて、前記携帯端末は、表示部と、前記撮像装置により１回目の撮像を実行する旨を指示する第１の撮像指示画面と、前記１回目の撮像終了後に前記物体の位置を変更させて前記撮像装置により２回目の撮像を実行する旨を指示する第２の撮像指示画面とを前記表示部に順次表示させる表示制御部と、さらに有しても良い。【００１８】
上記撮像システムにおいて、前記画像処理部は、前記複数の画像間で画素値の変化が生じている領域を抽出し、前記複数の画像のうちの１つの画像における前記領域の画素値を、前記複数の画像のうちの他の画像における前記領域の画素値に置き換えても良い。【００１９】
上記撮像システムにおいて、表示部と、外部からなされる操作に応じた信号を入力する入力デバイスと、前記複数の画像のうちの１つの画像を前記表示部に表示させる表示制御部と、をさらに備え、前記画像処理部は、前記入力デバイスから前記１つの画像内の少なくとも１つの領域を選択する信号が入力された場合に、前記１つの画像内の前記少なくとも１つの領域の画素値を、前記複数の画像のうちの他の画像内の前記少なくとも１つの領域に対応する領域の画素値に置き換えても良い。【００２０】
上記撮像システムは、表示部と、外部からなされる操作に応じた信号を入力する入力デバイスと、前記複数の画像のうちの１つの画像を前記表示部に表示させる表示制御部と、をさらに備え、前記画像処理部は、前記複数の画像間で画素値の変化が生じている少なくとも１つの領域を抽出し、前記表示制御部は、前記表示部に表示させた前記１つの画像に、前記画像処理部が抽出した前記少なくとも１つの領域をそれぞれ表す少なくとも１つのマークを重畳して表示させ、前記画像処理部は、前記入力デバイスから前記少なくとも１つのマークのうちの少なくともいずれかを選択する信号が入力された場合に、前記１つの画像内の前記少なくともいずれかのマークに対応する領域の画素値を、前記複数の画像のうちの他の画像内の対応する領域の画素値に置き換えても良い。【００２１】
上記撮像システムは、表示部と、外部からなされる操作に応じた信号を入力する入力デバイスと、前記複数の画像を重畳し、前記表示部に表示させる表示制御部と、をさらに備え、前記画像処理部は、前記入力デバイスから、前記複数の画像のうち前記表示部に表示された最上層の画像内の領域を選択する信号が入力された場合に、前記領域を透明化しても良い。【００２２】
上記撮像システムにおいて、前記表示制御部は、前記１つの画像を平面に投影した画像を前記表示部に表示させても良い。【００２３】
上記撮像システムにおいて、前記表示制御部は、前記１つの画像を直交座標系に座標変換した画像を前記表示部に表示させても良い。【００２４】
上記撮像システムは、撮像場所の位置を特定する画像の画像データを記憶する記憶部と、前記複数の画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理部と、をさらに備えても良い。
【発明の効果】
【００２５】
本発明によれば、撮像装置に同一の被写体を複数回撮像させることにより、撮像装置に対する被写体以外の物体の位置が異なる複数の画像を取得し、これらの画像を合成することにより上記物体が消去された画像を生成するので、現場での全天球画像の撮像作業を容易に行うことができ、且つ、取得した全天球画像から撮影者の像などの不要な部分を簡単な画像処理で消去することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１の実施形態に係る撮像システムの概略構成を示す模式図である。
【図２】図１に示すサーバの概略構成を示すブロック図である。
【図３】図１に示す携帯端末の概略構成を示すブロック図である。
【図４】図１に示す撮像装置の外観を例示する模式図である。
【図５】図１に示す撮像装置の概略構成を示すブロック図である。
【図６】本発明の第１の実施形態に係る撮像システムの動作を示すフローチャートである。
【図７】不動産物件のチラシを例示する模式図である。
【図８】携帯端末に表示される識別コード読み取り画面を例示する模式図である。
【図９】携帯端末に表示される撮像場所選択画面を例示する模式図である。
【図１０】携帯端末に表示される撮像場所確認画面を例示する模式図である。
【図１１】携帯端末に表示される撮像指示画面（１回目）を例示する模式図である。
【図１２】１回目の撮像の様子を例示する模式図である。
【図１３】図１２に示す位置関係で撮像を行った場合に取得される画像を例示する模式図である。
【図１４】携帯端末に表示される撮像指示画面（２回目以降）を例示する模式図である。
【図１５】２回目の撮像の様子を例示する模式図である。
【図１６】図１５に示す位置関係で撮像を行った場合に取得される画像を例示する模式図である。
【図１７】携帯端末に表示される確認画面を例示する模式図である。
【図１８】携帯端末に表示される撮像場所変更画面を例示する模式図である。
【図１９】携帯端末に表示される撮像完了確認画面を例示する模式図である。
【図２０】携帯端末に表示される送信確認画面を例示する模式図である。
【図２１】撮影者の像を消去する処理を説明するための模式図である。
【図２２】撮影者の像が消去された画像を例示する模式図である。
【図２３】第１の変形例における不要領域をユーザに選択させるための操作画面を例示する模式図である。
【図２４】第１の変形例における画像処理を説明するための模式図である。
【図２５】第２の変形例における不要領域をユーザに選択させるための操作画面を例示する模式図である。
【図２６】第２の変形例における不要領域をユーザに選択させるための操作画面を例示する模式図である。
【図２７】第３の変形例における不要領域をユーザに選択させるための操作画面を例示する模式図である。
【図２８】第４の変形例における不要領域をユーザに選択させるための操作画面を例示する模式図である。
【図２９】本発明の第２の実施形態に係る撮像システムの動作を示すフローチャートである。
【図３０】携帯端末に表示される不要領域選択画面を例示する模式図である。
【図３１】携帯端末に表示される撮像指示画面を例示する模式図である。
【図３２】携帯端末に表示される画像確認画面を例示する模式図である。
【図３３】本発明の第３の実施形態に係る撮像システムの動作を示すフローチャートである。
【図３４】本発明の第３の実施形態における画像処理を説明するための模式図である。
【図３５】本発明の第３の実施形態における画像処理を説明するための模式図である。
【発明を実施するための形態】
【００２７】
以下、本発明の実施形態に係る撮像システムについて、図面を参照しながら説明する。なお、これらの実施形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００２８】
以下においては、一例として、バーチャルリアリティ（以下「ＶＲ」と記す）の素材となる画像として、不動産物件の内見用の画像を生成する場合を説明する。
【００２９】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像システムの概略構成を示す模式図である。図１に示す撮像システム１は、不動産物件に関する情報（以下「物件情報」という）や該不動産物件に関する画像を管理するサーバ１０と、不動産物件の画像データを取得してサーバ１０に転送する携帯端末２０と、撮像装置３０とを含む。このうち、サーバ１０と携帯端末２０とは、通信ネットワークＮを介して接続されている。また、携帯端末２０と撮像装置３０とは、有線又は無線により直接接続されていても良いし、通信ネットワークＮを介して接続されていても良い。
【００３０】
通信ネットワークＮは、例えばインターネット回線や電話回線、ＬＡＮ、専用線、移動体通信網、ＷｉＦｉ（Wireless  Fidelity）、ブルートゥース（登録商標）等の通信回線、又はこれらの組み合わせが用いられる。通信ネットワークＮは、有線、無線、又はこれらの組み合わせのいずれであっても良い。
【００３１】
図２は、サーバ１０の概略構成を示すブロック図である。サーバ１０は、不動産物件が写った画像の画像データを蓄積して管理する装置であり、例えばコンピュータによって構成される。ここで、サーバ１０は、必ずしも１台のコンピュータで構成する必要はなく、例えば、通信ネットワークＮに接続された複数のコンピュータによってサーバ１０を構成しても良い。図２に示すように、サーバ１０は、通信部１１と、記憶部１２と、演算部１３とを備える。
【００３２】
通信部１１は、サーバ１０を通信ネットワークＮに接続し、通信ネットワークＮに接続された他の機器との間で通信を行うインタフェースである。通信部１１は、例えばソフトモデム、ケーブルモデム、無線モデム、ＡＤＳＬモデム等を用いて構成される。
【００３３】
記憶部１２は、例えばＲＯＭやＲＡＭといった半導体メモリやハードディスク等のコンピュータ読取可能な記憶媒体であり、プログラム記憶部１２１と、画像データ記憶部１２２と、物件情報データベース１２３とを含む。
【００３４】
プログラム記憶部１２１は、オペレーティングシステムプログラム及びドライバプログラムに加えて、各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を格納する。具体的には、プログラム記憶部１２１は、物件情報を管理すると共に、撮像装置３０によって取得され、携帯端末２０を介して転送された画像データに基づいて画像処理を行うことによりＶＲ画像の画像データを生成し、この画像データを物件情報と紐づけて管理する一連の動作を演算部１３に実行させるためのプログラムを記憶している。
【００３５】
画像データ記憶部１２２は、不動産物件が写った画像の画像データや、この画像をＶＲ用に構築した画像の画像データ（以下「ＶＲ画像データ」という）や、不動産物件の間取り図の画像データ（以下「間取り図データ」という）を格納する。
【００３６】
物件情報データベース１２３は、画像データ記憶部１２２に画像データが蓄積されている物件に関する情報を格納する。具体的には、物件情報は、物件情報を識別するための識別情報（物件ＩＤ）、当該物件の所在地、並びに、当該物件の画像データ、ＶＲ画像データ、及び間取り図データが記憶されている画像データ記憶部１２２上の記憶領域を表すアドレス等を含む。
【００３７】
演算部１３は、例えばＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）を用いて構成され、プログラム記憶部１２１に記憶された各種プログラムを読み込むことにより、サーバ１０の各部を統括的に制御すると共に、撮像システム１において物件の画像データを管理するための各種演算処理を実行する。詳細には、演算部１３は、物件情報登録部１３１と、物件情報抽出部１３２と、物件情報更新部１３３と、画像処理部１３４とを含む。
【００３８】
物件情報登録部１３１は、通信ネットワークＮを介して入力される情報に基づいて、物件情報を物件情報データベース１２３に登録する。具体的には、不動産物件の所在地や間取り、賃料若しくは売値等の情報が入力された場合に、物件ＩＤを発行すると共に、入力された情報を物件ＩＤと紐づけて、物件情報データベース１２３に記録する。
【００３９】
物件情報抽出部１３２は、通信ネットワークＮを介して物件ＩＤが入力された場合に、この物件ＩＤと紐づけられた物件情報を物件情報データベース１２３から抽出する。
物件情報更新部１３３は、通信ネットワークＮを介して入力される情報に従って、物件情報を更新する。
【００４０】
画像処理部１３４は、通信ネットワークＮを介して入力される画像データに基づき、不動産物件の画像に対して所定の画像処理を実行する。詳細には、画像処理部１３４は、画像合成部１３５及びＶＲ画像データ生成部１３６を含む。
【００４１】
画像合成部１３５は、同一の被写体を複数回撮像することにより取得された複数の画像を合成することにより、これらの画像に写り込んだ不要な物体、即ち、撮像対象とする被写体以外の物体の像を消去する。
【００４２】
ＶＲ画像データ生成部１３６は、画像合成部１３５により不要な物体の像が消去された画像をもとに、ＶＲ用の画像データを生成する。
【００４３】
図３は、携帯端末２０の概略構成を示すブロック図である。携帯端末２０は、不動産物件の現場で撮像装置３０を用いて撮像を行う一連の動作を制御するための装置であり、例えばスマートフォン、タブレット端末、携帯電話、携帯情報端末（ＰＤＡ）のように、通信ネットワークＮを介した情報の送受信が可能な携帯機器によって構成される。
【００４４】
図３に示すように、携帯端末２０は、通信部２１と、入力部２２と、表示部２３と、読み取り部２４と、記憶部２５と、演算部２６とを備える。
【００４５】
通信部２１は、携帯端末２０を通信ネットワークＮに接続し、サーバ１０やその他の機器との間で通信を行うインタフェースである。また、通信部２１は、通信ケーブルを介して又は無線通信により撮像装置３０との間で通信を行う。通信部２１は、例えばＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等を用いて構成される。
【００４６】
入力部２２は、操作ボタンや、表示部２３上に設けられたタッチパネル等の入力デバイスであり、外部からなされる操作に応じた信号を演算部２６に入力する。
【００４７】
表示部２３は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、ユーザが入力操作を行うためのアイコンや、テキストメッセージや、画像等を表示する。
【００４８】
読み取り部２４は、例えば携帯端末２０に内蔵されたカメラであり、２次元コード等の識別コードの認識機能を有する。なお、携帯端末２０は、必ずしもカメラを内蔵している必要はない。携帯端末２０がカメラを内蔵していない場合には、識別コードを認識可能なリーダ装置を外付けにして用いれば良い。
【００４９】
記憶部２５は、例えばＲＯＭやＲＡＭといった半導体メモリ等のコンピュータ読取可能な記憶媒体であり、プログラム記憶部２５１と画像データ記憶部２５２とを含む。
【００５０】
プログラム記憶部２５１は、オペレーティングシステムプログラムやドライバプログラムに加えて、各種アプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を記憶する。具体的には、プログラム記憶部２５１は、不動産物件の撮像を撮像装置３０に実行させることにより画像データを取得する一連の動作を演算部２６に実行させるためのアプリケーションプログラムを記憶している。
【００５１】
画像データ記憶部２５２は、サーバ１０から送信された不動産物件の間取り図データや、撮像装置３０が撮像を行うことにより生成された画像データを記憶する。
【００５２】
演算部２６は、例えばＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）を用いて構成され、プログラム記憶部２５１に記憶された各種プログラムを読み込むことにより、携帯端末２０の各部を統括的に制御すると共に、撮像装置３０から不動産物件の画像データを取得する一連の動作を実行する。詳細には、演算部２６は、識別情報取得部２６１と、表示制御部２６２と、画像データ取得部２６３と、マッピング処理部２６４とを備える。
【００５３】
識別情報取得部２６１は、読み取り部２４が識別コードを認識した場合に、この識別コードによって表される物件ＩＤ等の情報を取得する。ここで、識別コードとしては、バーコードや２次元コードのように光学的に読み取り可能なコードが用いられる。
【００５４】
表示制御部２６２は、撮像装置３０に同一の被写体を複数回撮像させることにより、撮像装置３０に対する被写体以外の物体の位置が異なる複数の画像を取得する一連の撮像動作中に表示部２３に表示させる画面を生成し、表示部２３に表示させる。
【００５５】
画像データ取得部２６３は、撮像装置３０から出力される画像データを取り込み、同一の被写体を複数回撮像することにより取得された画像の画像データを互いに関連付けて画像データ記憶部２５２に記憶させる。
【００５６】
マッピング処理部２６４は、サーバ１０から不動産物件の間取り図データを取得し、この間取り図データに対し、画像データ取得部２６３が撮像装置３０から取り込んだ画像データのマッピングを行う。
【００５７】
図４は、撮像装置３０の外観を例示する模式図である。また、図５は、撮像装置３０の概略構成を示すブロック図である。撮像装置３０は、一度の撮像動作により周囲の全方位を３６０°にわたって撮像可能な所謂全天球カメラであり、図４に示すように、筐体３０ｃに取り付けられた２つの超広角レンズ３０ａ、３０ｂと、各々がＣＣＤイメージセンサ又はＣＭＯＳイメージセンサを含み、カラー画像の画像データを生成して出力する２つの撮像部（第１撮像部３１ａ、第２撮像部３１ｂ）とを備える。
【００５８】
超広角レンズ３０ａ、３０ｂの各々は少なくとも１８０°の画角を有する。第１撮像部３１ａは、被写体からの光を受光する受光面が超広角レンズ３０ａを介して外部を臨むように設けられている。また、超広角レンズ３０ａと第１撮像部３１ａとの間には、超広角レンズ３０ａによって集光された光を第１撮像部３１ａの受光面に入射させるためのプリズム等の光学系が配置されている。これにより、第１撮像部３１ａによって、水平画角１８０°及び垂直画角１８０°を有する半球画像を取得することができる。また、超広角レンズ３０ｂ及び第２撮像部３１ｂも同様の構成を有している。
【００５９】
これらの第１撮像部３１ａ及び第２撮像部３１ｂによってそれぞれ取得された２つの半球画像を貼り合わせることにより、周囲の全方位が３６０°にわたって写った画像を取得することができる。このような画像は、全天球画像とも呼ばれる。
【００６０】
図５に示すように、撮像装置３０は、第１撮像部３１ａ、第２撮像部３１ｂに加えて、通信部３２、記憶部３３、操作部３４、及び制御部３５を備える。
通信部３２は、通信ケーブルを介して又は無線通信により当該撮像装置３０を携帯端末２０と接続するインタフェースである。
【００６１】
記憶部３３は、例えばＲＯＭやＲＡＭといった半導体メモリであり、第１撮像部３１ａ、第２撮像部３１ｂから出力された画像データを一時的に記憶する。
【００６２】
操作部３４は、例えば押ボタン等の入力デバイスであり、ユーザの入力操作（シャッター操作）に応じて撮像指示を制御部３５に入力する。なお、撮像装置３０に対する撮像指示の入力は、操作部３４を直接操作する他、撮像装置３０と接続された携帯端末２０からのリモート操作により行っても良い。
【００６３】
制御部３５は、例えばＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）を用いて構成され、当該撮像装置３０の動作を制御すると共に、第１撮像部３１ａ及び第２撮像部３１ｂからそれぞれ出力された画像データに基づく画像に対して所定の画像処理を実行する。詳細には、制御部３５は、第１撮像部３１ａ及び第２撮像部３１ｂからそれぞれ出力された画像データに基づく半球画像に対し、ホワイトバランス処理やガンマ処理等の画像処理を施し、さらに、これらの半球画像を貼り合わせることにより、全天球画像を生成する画像処理部３５１を有する。
【００６４】
このような撮像装置３０として、例えば、株式会社リコー製の全天球デジタルカメラ（製品名：ＴＨＥＴＡ）を用いることができる。
【００６５】
次に、本実施形態に係る撮像システム１の動作について説明する。図６は、撮像システム１の動作を示すフローチャートである。
【００６６】
不動産物件の撮像に先立って、撮影者は、撮像対象の物件の物件ＩＤを入手する。物件ＩＤの入手方法は特に限定されないが、一例として、図７に示すように、物件ＩＤを表す識別コード（例えば２次元コード）ｍ１１が印刷されたチラシを入手することとしても良い。このチラシＭ１には、識別コードｍ１１の他、物件の間取り図ｍ１２や、物件の所在地等の情報が印刷されている。
【００６７】
まず、ステップＳ２０において、撮影者は、携帯端末２０において撮像アプリケーションを起動し、読み取り部２４によってチラシＭ１に印刷された識別コードｍ１１を読み取る。図８は、撮像アプリケーションの起動後に携帯端末２０に表示される識別コード読み取り画面を例示する模式図である。撮影者は、まず、識別コード読み取り画面Ｍ２に表示されたメッセージｍ２１に従い、チラシＭ１に印刷された識別コードｍ１１に読み取り部２４をかざす。
【００６８】
これに応じて、携帯端末２０は、識別コードｍ１１を読み取り、読み取った情報に含まれるＵＲＬによりサーバ１０にアクセスして、読み取った情報に含まれる物件ＩＤをサーバ１０に送信する（ステップＳ２１）。なお、物件ＩＤをサーバ１０に送信する方法はこれに限定されない。例えば、撮影者が携帯端末２０に物件ＩＤを直接入力して送信することとしても良い。
【００６９】
ステップＳ１０において、サーバ１０は物件ＩＤを受信する。続くステップＳ１１において、サーバ１０の物件情報抽出部１３２は、物件情報データベース１２３を検索し、受信した物件ＩＤに対応する物件情報を抽出する。
【００７０】
続く、ステップＳ１２において、サーバ１０の物件情報抽出部１３２は、抽出した物件情報から間取り図データが記憶されている記憶領域のアドレスを取得し、このアドレスに従って画像データ記憶部１２２から間取り図データを読み出して携帯端末２０に送信する。
【００７１】
ステップＳ２２において、携帯端末２０は、間取り図データを受信し、表示部２３に間取り図を表示する（ステップＳ２３）。図９は、間取り図が表示された撮像場所選択画面を例示する模式図である。また、図１０は、選択された撮像場所の確認画面を例示する模式図である。
【００７２】
撮影者は、図９に示す撮像場所選択画面Ｍ３に表示されたメッセージｍ３２に従い、これから撮像しようとする場所に対応する間取り図ｍ３１上の位置（例えばＬＤＫ）に所定の操作（例えばタップ操作）を行う。携帯端末２０は、操作を検知した間取り図ｍ３１上の位置を撮像場所として選択し（ステップＳ２４）、この位置にピンｍ３３を表示する（図１０参照）。
【００７３】
図１０に示す撮像場所確認画面Ｍ４には、間取り図ｍ３１及びピンｍ３３に加えて、撮像場所を確認する旨のメッセージｍ３４と、確認ボタンｍ３５と、変更ボタンｍ３６とが表示されている。携帯端末２０は、確認ボタンｍ３５に対する所定の操作（例えばタップ操作）を検知すると、選択された撮像場所を確定する。反対に、携帯端末２０は、変更ボタンｍ３６に対する所定の操作（同上）を検知すると、撮像場所の選択を解除し、再び図９に示す撮像場所選択画面Ｍ３を表示する。
【００７４】
続くステップＳ２５において、携帯端末２０は、撮像装置３０に１回目の撮像を実行させることにより画像を取得する。詳細には、携帯端末２０はまず、図１１に例示するように、撮像の実行を指示するメッセージｍ３７が表示された撮像指示画面（１回目）Ｍ５を表示する。撮影者がこのメッセージｍ３７に従い、撮像装置３０に対してシャッター操作を行うと、撮像装置３０は撮像を開始し、撮像装置３０の周囲の被写体が写った全天球画像の画像データを生成する。この画像データは、通信ケーブル又は無線通信を介して、撮像装置３０から携帯端末２０に転送される。
【００７５】
ここで、撮像を行う際には、好ましくは、三脚等を用いて撮像装置３０を固定すると良い。より好ましくは、撮像装置３０のセルフタイマー機能を利用し、或いは、携帯端末２０からリモート操作を行うなどして、撮像装置３０から若干離れた位置からシャッター操作を行うと良い。複数回撮像を行う間の構図の変化やブレを極力低減するためである。
【００７６】
図１２は、選択された撮像場所（例えばＬＤＫ）における１回目の撮像の様子を例示する模式図である。また、図１３は、図１２に示す位置関係で撮像を行った場合に取得される１枚目の画像を例示する模式図である。なお、図１３は、全天球画像に写った被写体の一部（例えば半球分の領域に写った被写体）を平面に投影した状態を示している。
【００７７】
撮像は、図１２に示すように、撮像装置３０をできるだけ部屋の中心に設置した状態で行うことが好ましい。図１２において、撮影者２は、撮像装置３０に対して図の左側に立った状態で撮像を行っている。そのため、図１３に示すように、撮影者の像２’は、画像Ｉ１の左寄りの位置に写り込んでいる。
【００７８】
続くステップＳ２６において、携帯端末２０は、撮像装置３０に２回目以降の撮像を実行させることにより画像を取得する。詳細には、携帯端末２０はまず、図１４に例示する撮像指示画面（２回目以降）Ｍ６を表示する。この撮像指示画面Ｍ６は、カメラ（撮像装置３０）を移動させることなく、撮影者のみ移動して２回目の撮像を行うよう指示するメッセージｍ３８が表示されている。撮影者がこのメッセージｍ３８に従い、撮像装置３０の位置を保ったまま、自分自身が移動し、この状態でシャッター操作を行うと、撮像装置３０は撮像を開始し、撮像装置３０の周囲の被写体が写った全天球画像の画像データを生成する。この画像データも、撮像装置３０から携帯端末２０に転送される。
【００７９】
図１５は、２回目の撮像の様子を例示する模式図である。また、図１６は、図１５に示す位置関係で撮像を行った場合に取得される２枚目の画像を例示する模式図である。なお、図１６は、全天球画像に写った被写体の一部（例えば半球分の領域に写った被写体）を平面に投影した状態を示している。図１５において、撮影者２は、撮像装置３０に対して図の右側に立った状態で撮像を行っている。そのため、図１６に示すように、撮影者の像２’は、画像Ｉ２の右寄りの位置に写り込んでいる。
【００８０】
なお、撮影者を含む複数のスタッフで撮像を行う場合、各スタッフも撮影者２と同様、各回の撮像を行う間に場所を移動する。要するに、撮像装置３０とスタッフとの相対的な位置が異なる複数の画像を取得できれば良い。
【００８１】
図１７は、携帯端末２０に表示される撮像確認画面を例示する模式図である。図１７に示す撮像確認画面Ｍ７は、撮像が成功したか否かを問うメッセージｍ３９と、成功ボタンｍ４０と、やり直しボタンｍ４１とを含む。携帯端末２０は、やり直しボタンｍ４１に対する所定の操作（例えばタップ操作）を検知すると、撮像装置３０から転送された当該撮像場所に関する画像データを消去する。この場合、撮影者は、間取り図ｍ３１上でピンｍ３３が表示されている場所における撮像をやり直すことができる。
【００８２】
他方、携帯端末２０は、成功ボタンｍ４０に対する所定の操作（同上）を検知すると、当該撮像場所において複数回撮像を行うことにより生成された画像データを１つのグループとして関連付けて画像データ記憶部２５２に記憶させる。
【００８３】
ステップＳ２６において撮像を行う回数は、適宜設定することができる。例えば、全天球画像から撮影者の像を消去する画像処理を自動で行う場合には、トータルで（ステップＳ２５を含め）少なくとも３回撮像を行う。また、全天球画像から撮影者の像を手動で選択する場合には、トータルで少なくとも２回撮像を行えば良い。
【００８４】
続くステップＳ２７において、マッピング処理部２６４は、撮像装置３０から転送された画像データを間取り図データに対してマッピングする。それにより、転送された画像データが、間取り図ｍ３１上でピンｍ３３により特定された位置に関連づけられる。
【００８５】
図１８は、１つの撮像場所における撮像の終了後に携帯端末２０に表示される撮像場所変更画面を例示する模式図である。図１８に示す撮像場所変更画面Ｍ８は、間取り図ｍ３１に加えて、次の撮像場所を選択させるメッセージｍ４２と、終了ボタンｍ４３とを含む。携帯端末２０は、間取り図ｍ３１に対する操作を検知すると、操作に応じた位置にピンｍ３３を表示した撮像場所確認画面（図１０参照）を表示する。撮影者はこのような作業を繰り返すことにより、不動産物件の全ての部屋を撮像する。
【００８６】
他方、携帯端末２０は、終了ボタンｍ４３に対する操作を検知すると、図１９に例示する撮像完了確認画面を表示する。図１９に示す撮像完了確認画面Ｍ９は、全ての部屋の撮像が完了したか否かを問うメッセージｍ４４と、ＹＥＳボタンｍ４５と、ＮＯボタンｍ４６とを含む。携帯端末２０は、ＮＯボタンｍ４６に対する操作を検知すると、再び図９に示す撮像場所選択画面Ｍ３を表示する。それにより、撮影者は、引き続き撮像を行うことができる。
【００８７】
他方、携帯端末２０は、ＹＥＳボタンｍ４５に対する操作を検知すると、続いて図２０に示す画像データの送信確認画面を表示する。図２０に示す送信確認画面Ｍ１０は、画像データを送信するか否かを問うメッセージｍ４７と、今すぐ送信する指示を入力するためのボタンｍ４８と、後で送信する指示を入力するためのボタンｍ４９とを含む。携帯端末２０は、ボタンｍ４８に対する操作を検知すると、撮像装置３０から転送された物件の画像データと、マッピング処理後の間取り図データとを、通信ネットワークＮを介してサーバ１０に送信する。他方、携帯端末２０は、ボタンｍ４９に対する操作を検知すると、その場では画像データ等の送信を行わず、物件の画像データ及びマッピング処理後の間取り図データを画像データ記憶部２５２に保存しておく。この場合、携帯端末２０は、別途送信指示を受けた段階で、画像データ及び間取り図データをサーバ１０に送信する。
【００８８】
ここで、撮影者は、物件の画像データ及び間取り図データを、不動産物件の現場でサーバ１０に送信しても良いし、サーバ１０との通信環境が整ったときに送信しても良い。例えば、撮像対象の部屋数が多い場合には、データ送信に長時間を要することが予想されるので、後者とすることが好ましい。また、携帯端末２０からサーバ１０に画像データを直接送信しても良いし、携帯端末２０から通信ケーブルを介してコンピュータに画像データを送信し、このコンピュータからサーバ１０に画像データを送信することとしても良い。
【００８９】
ステップＳ２８において、携帯端末２０は、物件の画像データ及びマッピング処理後の間取り図データをサーバ１０に送信する。ステップＳ１３において、サーバは、これらのデータを受信する。
【００９０】
続くステップＳ１４において、サーバ１０の物件情報更新部１３３は、画像データ記憶部１２２に記憶されている間取り図データを、ステップＳ１３において受信したマッピング処理後の間取り図データに更新する。
【００９１】
続くステップＳ１５において、画像処理部１３４は、ステップＳ１３において受信した物件の画像データに基づく画像に対して画像処理を施す。詳細には、画像合成部１３５が、同一の被写体（同じ部屋）を複数回撮像することにより得られた複数の全天球画像から、撮影者の像を消去する処理を行う。
【００９２】
ここで、撮影者の像を消去する処理を、図１３、図１６、図２１、図２２を参照しながら説明する。
図１３に示す画像Ｉ１と図１６に示す画像Ｉ２とは、同一の被写体を、撮像装置３０に対する撮影者の位置を変えて撮像することにより得られた画像である。従って、各画像Ｉ１、Ｉ２においては、それぞれの画像に写り込んでいる撮影者の像２’の位置が異なるだけであって、それ以外の被写体の像は共通である。そこで、画像Ｉ１と画像Ｉ２との間で変化があった領域（例えば、図２１に示す領域３）を検出することにより、撮影者の像２’を抽出することができる。詳細には、画像Ｉ１の座標ｘに位置する画素の画素値をｐ（ｘ）、画像Ｉ２の座標ｘに位置する画素の画素値をｑ（ｘ）として、位置が対応する画素同士で画素値の差を算出する。この差が所定の閾値Ｔｈ以上である領域、即ち、次式（１）を満たす領域が、画像Ｉ１と画像Ｉ２との間で変化のあった領域である。
｜ｐ（ｘ）−ｑ（ｘ）｜≧Ｔｈ…（１）
【００９３】
従って、｜ｐ（ｘ）−ｑ（ｘ）｜により算出される画像を閾値Ｔｈにより二値化し、得られた二値画像において輪郭追跡を行うことにより、撮影者の像２’と本来の被写体の像とを分離して抽出することができる。
【００９４】
実際の処理としては、同一の被写体を少なくとも３回撮像することにより得られた３枚の全天球画像（以下、画像Ａ、画像Ｂ、画像Ｃとする）を用い、画像Ａと画像Ｂとの差分画像から抽出した撮影者の像と、画像Ｂと画像Ｃとの差分画像から抽出した撮影者の像とのアンドを取ることにより、画像Ｂにおける撮影者の像の領域を抽出する。そして、画像Ｂから抽出された撮影者の像の領域に対し、別の画像（画像Ａ又はＣ）における同じ領域の像を嵌め込む。即ち、画像Ｂにおける撮影者の像の領域内の画素の画素値を、別の画像内の対応する領域内の画素の画素値に置き換える。それにより、図２２に示すような撮影者の像が消去された画像Ｉ３を得ることができる。
【００９５】
なお、撮像時に三脚等を用いて撮像装置３０を固定している場合、撮像装置３０の真下の領域については、複数の画像間で差異が生じない。この場合、上述したような画像処理により撮影者の像が消去された画像に対してさらに、撮像装置３０の真下を含む所定の範囲が写った領域内の画素の画素値を、当該領域の近傍の画素の画素値に置き換える画像処理を実行する。これにより、当該領域全体が、当該領域の近傍と同じテクスチャとなり、撮像装置３０を支持する三脚等の像を消去することができる。この際に画素値を置き換える領域の範囲については、予め設定しておけば良い。
【００９６】
続くステップＳ１６において、ＶＲ画像データ生成部１３６は、撮影者の像が消去された全天球画像の画像データをもとに、間取り図データにおけるマッピング情報を用いてＶＲ画像データを生成する。さらに、ステップＳ１７において、ＶＲ画像データ生成部１３６は、生成したＶＲ画像データを物件ＩＤと関連付けて画像データ記憶部１２２に記憶させる。これにより、サーバ１０及び携帯端末２０の動作は終了する。
【００９７】
以上説明したように、本発明の第１の実施形態によれば、撮影者は、各撮像場所において撮像装置３０に対する位置を変更して複数回撮像を行うだけで良いので、容易且つ短時間に撮像を完了することができる。また、第１の実施形態によれば、撮影者の位置が異なる複数の画像間での簡単な演算処理により、全天球画像から撮影者の像２’を消去することができる。従って、撮影者等の写り込みのない全天球画像を容易に取得することができる。
【００９８】
なお、上記第１の実施形態においては、同一の被写体に対して２回撮像を行うこととしたが、撮像回数は２回に限定されない。例えば、撮影者を含む複数のスタッフが現場にいる場合には、スタッフの位置を変えつつ３回以上撮像を行うことにより、より確実に、スタッフの像を全天球画像から消去することができる。
【００９９】
また、上記第１の実施形態においては、全天球画像から撮影者の像などの不要な部分を消去する画像処理をサーバ１０側において行ったが、この画像処理を携帯端末２０側で行っても良い。第１の実施形態においては、上述したように、簡単な演算処理で全天球画像から不要な部分を消去できるので、携帯端末２０においても少ない負荷で当該画像処理を実行することができる。この場合、撮影者の像が消去された全天球画像の画像データを携帯端末２０からサーバ１０に転送し、サーバ１０においては、受信した画像データをそのまま用いてＶＲ画像データを生成すれば良い。
【０１００】
（第１の変形例）
上記第１の実施形態においては、全天球画像から撮影者の像などの不要な領域（以下、単に不要領域ともいう）を消去する画像処理を、サーバ１０において自動で行うこととしたが、サーバ１０にアクセスした端末装置から入力される情報に基づいて上記画像処理を行うこととしても良い。端末装置としては、サーバ１０と通信を行うための通信インタフェースと、表示部と、該表示部における画面表示を制御する表示制御機能等を有する演算部と、外部からなされる操作に応じた信号を入力する入力デバイス（マウス、タッチパネル、キーボード等）とを有する汎用の装置を用いることができる。具体的には、パーソナルコンピュータ、ノートＰＣ、タブレット端末等が用いられる。
【０１０１】
図２３は、不要領域をユーザ（端末装置の操作者）に選択させるための操作画面を例示する模式図であり、サーバ１０にアクセスした端末装置に設けられた表示部に表示される。図２４は、第１の変形例における画像処理を説明するための模式図である。以下の例においては、１つの撮像場所について少なくとも２回撮像を行えば良い。
【０１０２】
図２３に示す操作画面Ｍ１１は、同一の被写体（１つの撮像場所）を複数回撮像することにより取得された画像（図６のステップＳ２５、Ｓ２６参照）のうちのいずれか（図２３においては画像Ｉ１）と、不要領域の選択を促すメッセージｍ５０と、ＯＫボタンｍ５１とを含む。ここで、図２３においては、画像Ｉ１を、全天球画像に写った被写体の一部（例えば半球分の領域に写った被写体）を平面に投影した状態で表示している。操作画面Ｍ１１においては、端末装置に設けられた入力デバイスにより画像Ｉ１に対して所定の操作（例えばスライド操作）を行うことにより、画像Ｉ１がスクロールされるようにしても良い。
【０１０３】
ユーザは、画像Ｉ１の中から目視により撮影者の像２’を見つけ、操作画面Ｍ１１に対する入力デバイスを用いた所定の操作（例えば、マウスやタッチパネルを用いた描画操作）により、撮影者の像２’を含む領域を囲み（囲み線４参照）、ＯＫボタンｍ５１を選択する。当該端末装置は、入力デバイスから入力される信号から画像Ｉ１内の領域を囲む操作及びＯＫボタンｍ５１に対する操作を検知すると、囲まれた領域が不要領域として選択されたものと判断し、画像Ｉ１における当該領域の位置を表す位置情報（座標情報）をサーバ１０に送信する。なお、選択される領域は１つであっても良いし、複数であっても良い。
【０１０４】
これに応じて、サーバ１０の画像処理部１３４は、端末装置から受信した位置情報に基づき、画像Ｉ１において選択された領域内の画素の画素値を、当該撮像時に取得された別の画像（図２４に示す画像Ｉ２）において対応する領域内の画素（領域４’参照）の画素値に置き換える。これにより、撮影者の像２’が消去された画像（図２２参照）を得ることができる。
【０１０５】
本変形例によれば、画像内から消去したい領域をユーザが選択するので、より簡単な画像処理で、不要領域が消去された画像を得ることができる。
【０１０６】
（第２の変形例）
上記第１の変形例においては、撮影者の像２’などの不要領域を軌跡４で囲むことにより選択したが、不要領域の選択方法はこれに限定されない。例えば、操作画面に表示された画像（全天球画像の一部）に対してスライド操作をすることにより、当該画像がスクロールされるようになっている場合、不要領域を選択する操作としては、画像内の領域への操作をできるだけ少なくすることが好ましい。
【０１０７】
図２５及び図２６は、不要領域をユーザに選択させるための別の操作画面を例示する模式図である。これらの操作画面も、上記第１の変形例と同様、サーバ１０にアクセスした端末装置に設けられた表示部に表示される。
【０１０８】
図２５に示す操作画面Ｍ１２は、画像Ｉ１に対し、マウスやタッチパネル等の入力デバイスを用いて円弧５をなぞる描画操作がなされた場合に、当該円弧５を含む扇形領域６が選択されるようにしたものである。ユーザは、画像Ｉ１から撮影者の像２’を見つけた場合、この撮影者の像２’の近傍の円弧５をなぞる。それにより、撮影者の像２’を含む扇形領域６が不要領域として選択される。この場合、ユーザは、画像Ｉ１の内部に触れることなく、簡単に領域の選択操作を行うことができる。
【０１０９】
図２６に示す操作画面Ｍ１３は、画像Ｉ１を予め複数の領域７ａ〜７ｈに分割して表示することにより、分割された領域単位で不要領域が選択されるようにしたものである。ユーザは、分割された領域７ａ〜７ｈのうちの所望の領域（例えば、撮影者の像２’を含む領域７ｇ）に対し、入力デバイスを用いた所定の操作（例えば、ダブルクリック操作やダブルタップ操作）を行う。それにより、操作がなされた領域（例えば領域７ｇ）が不要領域として選択される。この場合、ユーザは、画像Ｉ１に対する最小限の操作で、簡単に領域の選択操作を行うことができる。
【０１１０】
なお、図２６においては、画像Ｉ１を扇形に分割しているが、分割方法はこれに限定されない。例えば、画像Ｉ１を扇形に分割すると共に、径方向に分割しても良いし、格子状に分割しても良い。
【０１１１】
（第３の変形例）
上記第１の変形例においては、不要領域をユーザに選択させるための操作画面に、全天球画像を平面に投影した円形の画像を表示しているが、全天球画像の表示方法はこれに限定されない。
【０１１２】
図２７は、不要領域をユーザに選択させるためのさらに別の操作画面を例示する模式図である。この操作画面も、上記第１の変形例と同様、サーバ１０にアクセスした端末装置に設けられた表示部に表示される。
【０１１３】
図２７に示す操作画面Ｍ１４には、全天球画像（例えば図１６に示す画像Ｉ２）を直交座標系に座標変換した方形の画像Ｉ２’が表示されている。画像Ｉ２’の左方及び右方には、アイコンｍ５２、ｍ５３がそれぞれ表示されており、これらのアイコンｍ５２、ｍ５３に対して所定の操作（例えばクリック又はタップ操作）を行うことにより、画像Ｉ２’を左右にスクロールすることができる。或いは、画像Ｉ２’に対して直接、所定の操作（例えばスライド操作）を行うことにより、画像Ｉ２’がスクロールされるようにしても良い。
【０１１４】
画像Ｉ２’に対する不要領域の選択方法は特に限定されない。例えば、第１の変形例と同様に、画像Ｉ２’内の所望の領域を囲むことで不要領域が選択されるようにしても良い。或いは、第２の変形例と同様に、画像Ｉ２’又は画像Ｉ２’の上辺若しくは下辺を水平方向になぞることで、なぞったラインを含む方形の領域が不要領域として選択されるようにしても良い。さらには、画像Ｉ２’を予め複数の領域に分割し、分割された領域単位で不要領域が選択されるようにしても良い。
【０１１５】
（第４の変形例）
上記第１〜３の変形例においては、画像内からユーザが目視により撮影者の像２’を見つけることとしたが、撮影者の像２’の候補領域を自動検出し、候補領域の中から不要領域をユーザに選択させても良い。この場合、サーバ１０の画像処理部１３４は、携帯端末２０から送信された画像データに基づき、同一の被写体を複数回撮像することにより取得された複数の画像間の差分を取ることにより、撮影者の像２’と見られる候補領域を予め検出する。候補領域は、第１の実施形態と同様に、式（１）を満たす領域に対して輪郭追跡を行うことにより検出することができる。
【０１１６】
図２８は、不要領域をユーザに選択させるためのさらに別の操作画面を例示する模式図である。この操作画面も、上記第１の変形例と同様、サーバ１０にアクセスした端末装置に設けられた表示部に表示される。
【０１１７】
図２８に示す操作画面Ｍ１５には、同一の被写体を複数回撮像することにより取得された複数の画像（例えば、図１３に示す画像Ｉ１と、図１６に示す画像Ｉ２）のうちのいずれか（図２８においては画像Ｉ１）が表示されている。この画像Ｉ１には、さらに、サーバ１０において検出された候補領域を表すマーク８ａ、８ｂが重畳して表示されている。このうち、マーク８ａは、画像Ｉ１に写り込んだ撮影者の像２’に対応し、マーク８ｂは、画像Ｉ２に写り込んだ撮影者の像２’に対応している。なお、マークの種類としては、図２８に示すような候補領域の輪郭に限定されない。例えば、候補領域全体を塗りつぶしたオブジェクトであっても良いし、候補領域の位置を指す矢印等であっても良い。
【０１１８】
携帯端末２０は、操作画面Ｍ１５上でのいずれかのマーク８ａ、８ｂに対する操作を検知すると、操作がなされたマーク（例えばマーク８ａ）を示す情報をサーバ１０に送信する。これに応じて、サーバ１０の画像処理部１３４は、操作画面Ｍ１５に表示されている方の画像Ｉ１内のマーク８ａに対応する領域の画素の画素値を、別の画像Ｉ２内の位置が対応する画素の画素値に置き換える。これにより、撮影者の像２’が消去された画像（図２２参照）を得ることができる。
【０１１９】
本変形例によれば、同一の被写体を複数回撮像することにより取得された複数の画像間で変化があった領域を候補領域として自動検出するので、ユーザの目視による不要領域の見落としを低減することができる。また、本変形例によれば、候補領域の中から、消去すべき不要領域をユーザに選択させるので、無用な画像処理を抑制することができる。
【０１２０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
上記第１の実施形態においては、同一の被写体を複数回撮像することにより複数の全天球画像を取得した後（図６のステップＳ２５、Ｓ２６参照）、全天球画像から撮影者の像２’などの不要領域を消去する画像処理を行った。しかし、この画像処理を、携帯端末２０において、撮像作業と並行して行っても良い。この場合、携帯端末２０の演算部２６が、プログラム記憶部２５１に記憶された画像処理プログラムを読み込むことにより、画像処理部としても機能する。以下、携帯端末２０において画像処理を行う場合の撮像システム１の動作について説明する。
【０１２１】
図２９は、本発明の第２の実施形態に係る撮像システムの動作を示すフローチャートである。このうち、ステップＳ１０〜Ｓ１４、Ｓ１６、Ｓ１７、及びステップＳ２０〜Ｓ２４は、第１の実施形態と同様である。
【０１２２】
ステップＳ２４に続くステップＳ３０において、携帯端末２０は、撮像装置３０に最初の撮像を実行させることにより画像を取得する。このステップＳ３０の詳細は、図６のステップＳ２５と同様である（図１１〜図１３参照）。撮影者が撮像装置３０のシャッター操作を行うと、撮像装置３０は撮像を開始し、撮像装置３０の周囲の被写体が写った全天球画像の画像データを生成する。この画像データは、通信ケーブルを介して又は無線通信により、携帯端末２０に転送される。
【０１２３】
続くステップＳ３１において、携帯端末２０は、ステップＳ３０において取得された画像を表示部２３に表示する。詳細には、演算部２６（表示制御部２６２）は、図３０に示す不要領域選択画面を作成し、この画面内に、撮像装置３０から転送された画像データに基づく画像を配置して表示部２３に表示させる。図３０に示す不要領域選択画面Ｍ１６は、ステップＳ３０において取得された画像Ｉ４と、不要領域をユーザに選択させるためのメッセージｍ６０と、ＯＫボタンｍ６１とを含む。
【０１２４】
撮影者は、画像Ｉ４から消去すべき領域、即ち、撮影者自身が写り込んでいる領域（不要領域）を目視で探し、この不要領域を選択する操作を携帯端末２０に対して行う。不要領域を選択する操作は特に限定されない。例えば、第１の変形例と同様に不要領域を含む領域を線で囲む方法であっても良いし、第２の変形例と同様に、不要領域を含む扇形領域の円弧をなぞる方法であっても良いし、予め分割された複数の領域のいずれかを選択する方法であっても良い。また、不要領域選択画面Ｍ１６において、第３の変形例と同様に全天球画像を直交座標系に座標変換した画像を表示しても良い。さらに、選択する領域は１つであっても良いし、複数であっても良い。図３０は、画像Ｉ４において撮影者の像２’を含む領域を囲み線９で囲んだ状態を示している。
【０１２５】
携帯端末２０は、画像Ｉ４内の１つ以上の領域を選択する信号が入力され、さらに、ＯＫボタンｍ６１に所定の操作（例えばタップ操作）がなされたことを検知すると、画像Ｉ４において選択された不要領域の位置情報（座標情報）を記憶する（ステップＳ３２）。
【０１２６】
続くステップＳ３３において、携帯端末２０は、撮像装置３０に再び撮像を実行させることにより画像を取得する。詳細には、演算部２６はまず、図３１に示す撮像指示画面を表示部２３に表示させる。この撮像指示画面Ｍ１７には、撮影者に移動して撮像を行うよう指示するメッセージｍ６２が表示されている。撮影者がこのメッセージｍ６２に従い、自分自身が移動した上で撮像装置３０のシャッター操作を行うと、撮像装置３０は撮像を開始し、撮像装置３０の周囲の被写体が写った全天球画像の画像データを生成して携帯端末２０に転送する。
【０１２７】
続くステップＳ３４において、携帯端末２０は、ステップＳ３０において取得された画像と、ステップＳ３３において取得された画像とを合成する画像処理を行う。詳細には、画像処理部としての演算部２６が、ステップＳ３３において取得された画像から、ステップＳ３２において記憶した不要領域の位置における画素の画素値を取得する。そして、これらの画素値によって、ステップＳ３０において取得された画像Ｉ４における不要領域内の画素の画素値を置き換える。
【０１２８】
続くステップＳ３５において、携帯端末２０は、ステップＳ３４において画像処理が施された画像を表示する。詳細には、演算部２６は、図３２に示す画像確認画面を作成し、この画面内に、画像処理済みの画像を配置して表示部２３に表示させる。図３２に示す画像確認画面Ｍ１８は、画像処理済みの画像Ｉ５と、不要領域の有無をユーザに確認させるためのメッセージｍ６４と、不要領域の確認結果を入力させるためのボタンｍ６５、ｍ６６とを含む。撮影者は、画像Ｉ５を目視し、さらに消去すべき不要領域がない場合には、ボタンｍ６５に対して所定の操作（例えばタップ操作）を行う。反対に、さらに消去すべき不要領域がある場合には、ボタンｍ６６に対して所定の操作（同上）を行う。
【０１２９】
携帯端末２０が、不要領域がある旨の操作を検知すると（ステップＳ３６：Ｙｅｓ）、携帯端末２０の動作はステップＳ３１に戻る。この場合、携帯端末２０は、再び不要領域選択画面（図３０参照）を作成し、この画面に画像処理済みの画像Ｉ５を表示する。それにより、撮影者は、画像Ｉ５からさらに不要領域を選択することができる。
【０１３０】
他方、携帯端末２０が、不要領域はない旨の操作を検知すると（ステップＳ３６：Ｎｏ）、演算部２６（マッピング処理部２６４）は、画像処理済みの画像Ｉ５に対応する画像データを間取り図データに対してマッピングする（ステップＳ３７）。それにより、画像処理済みの画像Ｉ５の画像データが、間取り図ｍ３１上でピンｍ３３により特定された位置に関連づけられる。
【０１３１】
続くステップＳ３８において、携帯端末２０は、画像処理済みの物件の画像データ及びマッピング処理後の間取り図データをサーバ１０に送信する。
【０１３２】
サーバ１０は、物件の画像データ及び間取り図データを受信し（ステップＳ１３）、間取り図データを更新する（ステップＳ１４）。そして、ステップＳ１３において受信した画像処理済みの画像データを用いてＶＲ画像データを生成し（ステップＳ１６）、生成したＶＲ画像データを記憶する。
【０１３３】
以上説明したように、本発明の第２の実施形態によれば、撮影者は、物件の現場において、画像内の不要領域の有無を確認しながら撮像作業を進めることができる。従って、不要領域の消去漏れのない画像を取得することが可能となる。
【０１３４】
次に、上記第２の実施形態の変形例を説明する。本変形例において携帯端末２０（表示制御部２６２）は、画像Ｉ４において選択された不要領域に（ステップＳ３１、Ｓ３２参照）、ステップＳ３３において取得された画像内の上記不要領域に対応する領域の画像部分を重畳して表示するだけの簡易的な処理を行う（ステップＳ３４、Ｓ３５）。そして、ステップＳ３８において、携帯端末２０は、ステップＳ３０及びステップＳ３３においてそれぞれ取得された画像処理前の画像データと、ステップＳ３２において記憶した不要領域の位置情報（座標情報）とをサーバ１０に送信する。サーバ１０は、受信した画像データと位置情報とに基づいて、ある画像内の不要領域の画素の画素値を、別の画像内の対応する領域の画素の画素値に置き換えることにより、不要領域を消去する画像処理を実行する。
【０１３５】
本変形例によれば、不要領域の有無を確認しながら撮像作業を進めるので、不要領域の消去に必要な画像を確実に取得することができると共に、携帯端末２０における演算負荷を低減することが可能となる。
【０１３６】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図３３は、本発明の第３の実施形態に係る撮像システムの動作を示すフローチャートである。図３４及び図３５は、本発明の第３の実施形態における画像処理を説明するための模式図である。
【０１３７】
本実施形態に係る撮像システムにおいては、全天球画像から撮影者の像などの不要領域を消去する画像処理が、上記第１及び第２の実施形態と異なる。以下においては、全天球画像から不要領域を消去する画像処理を、携帯端末２０において行う場合を説明するが、この画像処理を、画像をサーバ１０に保存した後、端末装置からサーバ１０にアクセスして行っても良い。
【０１３８】
図３３において、ステップＳ１０〜Ｓ１４、Ｓ１６、Ｓ１７、及びステップＳ２０〜Ｓ２４は、第１の実施形態と同様である。ステップＳ２４に続くステップＳ４０において、携帯端末２０は、撮影場所１箇所につき、撮像装置３０に複数回撮像を実行させることにより生成された２枚以上の画像を取得する。この際、１つの撮影場所において、１回撮像するたびに撮影者が移動するなどして、画像間において不要領域の位置が変化するようにする。
【０１３９】
続くステップＳ４１において、携帯端末２０は、同じ場所で撮影された２枚以上の画像を重畳し、表示部２３に表示する。このとき、２枚以上の画像の間で、不要領域以外の被写体の位置が重なるように、画像の向きを揃える。図３４は、図１３に示す画像Ｉ１と、図１６に示す画像Ｉ２とを重畳した状態を示している。図３４においては、画像Ｉ１の上に画像Ｉ２を重ねているため、画像Ｉ１に写った撮影者の像２’（破線部分）は画面に映らず、画像Ｉ２に写った撮影者の像２’（実線部分）が画面に映っている。
【０１４０】
続くステップＳ４２において、携帯端末２０は、表示された画像において不要領域がある旨の操作を検知したか否かを判定する。この判定は、例えば図３２と同様に、不要領域の有無をユーザに入力させる２つのボタンを画面に表示し、２つのボタンのいずれかに対して操作（例えばタップ操作）がなされたかを検知することで行うことができる。
【０１４１】
携帯端末２０は、不要領域がある旨の操作を検知した場合（ステップＳ４２：Ｙｅｓ）、画面になされる操作に応じて、画面に表示された画像内において消去する部分（消去部分）を選択する（ステップＳ４３）。具体的には、携帯端末２０は、画面を指でなぞるスワイプ操作を検知すると、なぞられた領域を消去部分として選択する。例えば図３４において、画像Ｉ２の撮影者の像２’を含む領域Ａ１をなぞる操作が検知された場合、領域Ａ１が消去部分として選択される。消去部分は、本来画像内に残したい被写体（図３４においては撮影者の像２’の両脇のドア）にかかっても良い。
【０１４２】
続くステップＳ４４において、携帯端末２０は、ステップＳ４３において選択された部分を透明化する。即ち、選択された部分の透過度を１００％に設定する。それにより、当該部分においては、下層の画像が画面に映される。例えば図３５に示すように、選択された部分Ａ２を透明化することにより、画像Ｉ２に写った撮影者の像２’やその周辺の像が画面から消え、下層の画像Ｉ１が見えるようになる。その後、処理はステップＳ４１に戻る。
【０１４３】
画像が３枚以上重畳されている場合には、透明化された部分に対してさらに消去部分を選択する操作（スワイプ操作）が行われたとき、透明化処理が施された画像（例えば１枚目の画像）の直下（例えば２枚目）の画像における当該選択された部分を透明化する処理が行われる。それにより、さらに下層（例えば３枚目）の画像の当該部分が画面に表示される。
【０１４４】
また、ステップＳ４２において、携帯端末２０が、不要領域がある旨の操作を検知しない場合（ステップＳ４２：Ｎｏ）、処理はステップＳ３７に移行する。以後のステップＳ３７、Ｓ３８においては、重畳された２枚以上の画像はセットとして取り扱われる。
【０１４５】
以上説明したように、本発明の第３の実施形態によれば、ユーザ（撮影者）は、自身の指などを用いた画面に対する直感的な操作により、不要領域を消去することができる。また、上層の画像に写った被写体のうち、本来画像内に残すべき被写体が消去部分として選択されてしまった場合でも、下層の画像に写った同じ被写体が画面に表示されるので、消去操作のミスを低減することができる。従って、ユーザは、ラフな操作で簡単に不要領域を消去することが可能となる。
【０１４６】
上記第１〜３の実施形態及びこれらの変形例においては、不動産物件の内見用の画像を生成する場合を例として説明したが、本発明はこの他にも、全天球カメラにより周囲の被写体を一気に撮像したいが、撮影者の像を画像に写り込ませたくない各種画像を取得する場合に適用することができる。具体例として、結婚式場等の施設の下見用の画像や、観光案内用として観光地を仮想体験させるための画像などが挙げられる。
【０１４７】
一例として、観光案内用の画像を取得する場合、著名な観光地には観光客がひっきりなしに訪れるため、人物が写り込まない観光施設や風景のみの画像を取得することが困難である。このような場合、観光施設や風景を、適宜タイミングを開けて複数回撮像を行うことにより、複数の画像を取得する。この際、撮影者自身も移動する。そして、これらの画像を用いて、画像間で変化が生じている領域、即ち、観光客や通行人等が写った領域を消去する処理を行えば良い。それにより、観光施設や風景のみが写った画像を容易に取得することができる。
【０１４８】
画像処理の方法としては、第１の実施形態と同様にサーバ１０において自動で行っても良いし、第１若しくは第２の変形例又は第２の実施形態と同様に端末装置に表示させた画像からユーザが不要領域を選択する方法であっても良いし、第４の変形例と同様にサーバ１０において検出された不要領域の候補領域からユーザが不要領域を選択する方法であっても良い。或いは、第２の実施形態と同様に、撮像と、画像からの不要領域の選択と、画像処理又は重畳画像の表示とを、撮像場所において繰り返しても良い。後者の場合には、撮像しているその場で、不要領域を消去できているか否かを確認することができるので、画像処理による不要領域の消去漏れを抑制することができる。或いは、画像処理の失敗に備えて多めに撮像を行うといった手間を減らすことができる。
【０１４９】
別の例として、旅行先での記念写真を撮る場合、やはり、著名な観光地には観光客が訪れるため、観光施設や風景を背景に自分（撮影者自身）たちだけが写った画像を取得することが困難である。このような場合、背景及び写真に残したい人物の構図を決め、適宜タイミングを開け、同じ構図で複数回撮像を行う。このときは、撮影者自身も移動する必要はない。そして、取得した複数の画像を用いて、画像間で変化が生じている領域を消去する処理を行うことにより、背景と自分たちだけが写った画像を容易に取得することができる。
【０１５０】
これらの場合には、全天球画像の画像データを、不動産物件の間取り図データのように、撮像場所の位置を特定する画像の画像データにマッピングしても良い。具体的には、地図データ、観光施設の見取り図の画像データ等が挙げられる。
【０１５１】
本発明は、上記第１〜３の実施形態及び変形例に限定されるものではなく、上記第１〜３の実施形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、第１〜３の実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、第１〜３の実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【０１５２】
１  撮像システム
２  撮影者
２’  撮影者の像
３、４’７ａ〜７ｈ  領域
４、９  囲み線
５  円弧
６  扇形領域
８ａ、８ｂ  マーク
１０  サーバ
１１  通信部
１２  記憶部
１３  演算部
２０  携帯端末
２１  通信部
２２  入力部
２３  表示部
２４  読み取り部
２５  記憶部
２６  演算部
３０  撮像装置
３０ａ、３０ｂ  超広角レンズ
３０ｃ  筐体
３１ａ、３１ｂ  撮像部
３２  通信部
３３  記憶部
３４  操作部
３５  制御部
１２１  プログラム記憶部
１２２  画像データ記憶部
１２３  物件情報データベース
１３１  物件情報登録部
１３２  物件情報抽出部
１３３  物件情報更新部
１３４  画像処理部
１３５  画像合成部
１３６  ＶＲ画像データ生成部
２５１  プログラム記憶部
２５２  画像データ記憶部
２６１  識別情報取得部
２６２  表示制御部
２６３  画像データ取得部
２６４  マッピング処理部
３５１  画像処理部
【図１】
0006514418.tif 000002
【図２】
0006514418.tif 000003
【図３】
0006514418.tif 000004
【図４】
0006514418.tif 000005
【図５】
0006514418.tif 000006
【図６】
0006514418.tif 000007
【図７】
0006514418.tif 000008
【図８】
0006514418.tif 000009
【図９】
0006514418.tif 000010
【図１０】
0006514418.tif 000011
【図１１】
0006514418.tif 000012
【図１２】
0006514418.tif 000013
【図１３】
0006514418.tif 000014
【図１４】
0006514418.tif 000015
【図１５】
0006514418.tif 000016
【図１６】
0006514418.tif 000017
【図１７】
0006514418.tif 000018
【図１８】
0006514418.tif 000019
【図１９】
0006514418.tif 000020
【図２０】
0006514418.tif 000021
【図２１】
0006514418.tif 000022
【図２２】
0006514418.tif 000023
【図２３】
0006514418.tif 000024
【図２４】
0006514418.tif 000025
【図２５】
0006514418.tif 000026
【図２６】
0006514418.tif 000027
【図２７】
0006514418.tif 000028
【図２８】
0006514418.tif 000029
【図２９】
0006514418.tif 000030
【図３０】
0006514418.tif 000031
【図３１】
0006514418.tif 000032
【図３２】
0006514418.tif 000033
【図３３】
0006514418.tif 000034
【図３４】
0006514418.tif 000035
【図３５】
0006514418.tif 000036