(57)【要約】【課題】撮像対象物を周囲の様々な角度から見た画像を得る画像処理の演算量を低減する。【解決手段】画像処理装置は、取得部、推定部、検出部および画像生成部を備える。取得部は、視点位置と視線方向との組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、各撮像画像の撮像時における視点位置情報および視線方向情報とを取得する。推定部は、各撮像画像に係る視点位置情報と視線方向情報とに基づいて、対象物の存在位置を示す存在位置情報を取得する。検出部は、複数の撮像画像について、視点位置情報と、視線方向情報と、存在位置情報と、各撮像時に用いられた撮像部の特性情報と、に基づき、対象物の第１領域を第１視点位置から第１視線方向で捉えた第１画像部分と、対象物の第２領域を第２視点位置から第２視線方向で捉えた第２画像部分と、を検出する。画像生成部は、第１画像部分と第２画像部分とを合成することで合成画像を生成する。【選択図】図６
2018205863.tif 000002
【特許請求の範囲】
【請求項１】
視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視点位置を示す視点位置情報および視線方向を示す視線方向情報と、を取得する取得部と、
前記複数の撮像画像のそれぞれに係る前記視点位置情報と前記視線方向情報とに基づいて、前記対象物の存在位置を推定することで該存在位置を示す存在位置情報を取得する推定部と、
前記複数の撮像画像について、前記視点位置情報と、前記視線方向情報と、前記存在位置情報と、各撮像時に用いられた撮像部の特性情報と、に基づいて、前記対象物における第１領域を第１視点位置から第１視線方向で捉えた第１画像部分と、前記対象物における前記第１領域とは異なる第２領域を前記第１視点位置とは異なる第２視点位置から前記第１視線方向とは異なる第２視線方向で捉えた第２画像部分と、を検出する検出部と、
前記第１画像部分と前記第２画像部分とを合成することで、合成画像を生成する、画像生成部と、を備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記対象物において前記第１領域と前記第２領域とが隣接している、画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置であって、
前記取得部は、前記複数の撮像画像のそれぞれについての撮像時における前記視点位置から前記対象物の表面までの距離の分布を示す距離分布情報、を取得し、
前記検出部は、前記複数の撮像画像について、前記視点位置情報と、前記視線方向情報と、前記距離分布情報と、前記存在位置情報と、に基づき、前記第１画像部分と前記第２画像部分とを検出する、画像処理装置。
【請求項４】
請求項１から請求項３の何れか１つの請求項に記載の画像処理装置であって、
前記取得部は、前記対象物について視点位置よび視線方向の組合せが相互に異なる条件で前記対象物を撮像することで前記複数の撮像画像を得る、前記撮像部と、
前記複数の撮像画像のそれぞれについての撮影時における前記撮像部の位置を計測することで前記視点位置情報を得る、位置計測部と、
前記複数の撮像画像のそれぞれについての撮影時における前記撮像部の向きを計測することで前記視線方向情報を得る、方向計測部と、を含む、画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記取得部は、前記複数の撮像画像のそれぞれについての撮像時における前記視点位置から前記対象物の表面までの距離の分布を示す距離分布情報を得る、距離計測部、をさらに含む、画像処理装置。
【請求項６】
請求項１から請求項５の何れか１つの請求項に記載の画像処理装置であって、
前記合成画像を出力する出力部、および前記合成画像を記憶する記憶媒体の少なくとも一方をさらに備える、画像処理装置。
【請求項７】
請求項６に記載の画像処理装置であって、
前記出力部は、前記合成画像を可視的に出力する表示部、を含む、画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
ユーザの動作に応答して入力される信号に応じて、前記対象物のうちの前記表示部で可視的に出力される前記合成画像で捉えられた表示対象領域を変更する領域設定部、をさらに備え、
該領域設定部は、ユーザの動作に応答して入力される信号に応じて、前記表示部で可視的に出力されている第１合成画像で捉えられている前記対象物の既表示領域の一部を除く残部と、前記表示部で可視的に出力されている前記第１合成画像では捉えられていない前記対象物の非表示領域と、を含む変更後の表示対象領域を設定し、
前記検出部は、前記領域設定部による前記変更後の表示対象領域の設定に応答して、前記複数の撮像画像について、前記視点位置情報と、前記視線方向情報と、前記存在位置情報と、前記撮像部の特性情報と、に基づいて、前記非表示領域を捉えた第３画像部分、を検出し、
前記画像生成部は、前記第１合成画像における前記既表示領域を捉えた第４画像部分と、前記第３画像部分とを合成することで、第２合成画像を生成し、
前記表示部は、前記第２合成画像を可視的に出力する、画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記出力部は、前記検出部による前記複数の撮像画像における前記非表示領域を捉えた画像部分の不足の検出に応答して、前記非表示領域を捉えた画像部分の不足に係る情報を出力する、画像処理装置。
【請求項１０】
請求項１または請求項２に記載の画像処理装置であって、
前記取得部は、前記複数の撮像画像のそれぞれについての撮像時における前記視点位置から前記対象物の表面までの距離の分布を示す距離分布情報、を取得し、
前記画像処理装置は、
前記距離分布情報と、前記特性情報と、に基づいて、各前記撮像画像における前記対象物を捉えた画像部分の撮像解像度を算出する解像度算出部と、
前記合成画像を可視的に出力する出力部と、
ユーザの動作に応答して入力される信号に応じて、前記出力部で可視的に出力される前記対象物を捉えた画像部分についての表示解像度を設定する解像度設定部と、をさらに備え、
前記検出部は、前記複数の撮像画像において、前記撮像解像度が前記表示解像度以上である、前記第１画像部分と、前記第２画像部分と、を検出する、画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置であって、
前記解像度設定部は、ユーザの動作に応答して入力される信号に応じて、前記出力部に可視的に出力されている前記合成画像のうち、前記出力部で拡大表示する拡大表示画像部分の範囲を設定するとともに、該拡大表示画像部分における前記表示解像度を設定し、
前記出力部は、前記検出部によって、前記複数の撮像画像において、前記拡大表示画像部分の範囲に係る前記撮像解像度が前記表示解像度以上である拡大表示用の画像部分の不足が検出されたことに応答して、前記拡大表示用の画像部分の不足に係る情報を出力する、画像処理装置。
【請求項１２】
請求項１から請求項１１の何れか１つの請求項に記載の画像処理装置であって、
前記取得部によって２以上の撮像画像が時間順次に取得されている状態において、ユーザの動作に応答して入力される信号に応じて、前記画像生成部における出力用の画像を生成する画像生成モードを、第１画像生成モードと、第２画像生成モードと、第３画像生成モードと、の間で選択的に切り換える切換部、をさらに備え、
前記第１画像生成モードは、前記取得部で撮像画像が取得されるたびに該撮像画像を用いて前記出力用の画像を準備するモードを含み、
前記第２画像生成モードは、前記取得部で既に取得されている前記複数の撮像画像について、前記検出部によって検出される前記第１画像部分と前記第２画像部分とを合成することで、前記出力用の画像として前記合成画像を生成するモードを含み、
前記第３画像生成モードは、前記取得部で既に取得されている前記複数の撮像画像について、前記検出部によって検出される前記第１画像部分と、前記取得部における撮像画像の取得に応答して該撮像画像から前記検出部によって検出される前記第２画像部分と、を合成することで、前記出力用の画像として前記合成画像を生成するモードを含む、画像処理装置。
【請求項１３】
第１装置と、
通信回線を介して前記第１装置と通信可能に接続されている第２装置と、を備え、
前記第１装置は、
視点位置よび視線方向の組合せが相互に異なる条件で対象物を撮像することで、複数の撮像画像を得る、撮像部と、
前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の位置を計測することで、撮像時における視点位置を示す視点位置情報を得る、位置計測部と、
前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで、撮像時における視線方向を示す視線方向情報を得る、方向計測部と、
前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視点位置情報および前記視線方向情報とを、前記通信回線を介して前記第２装置に送信する通信部と、を含み、
前記第２装置は、
前記通信部から送信された、前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視点位置情報および前記視線方向情報と、を受信する受信部と、
前記複数の撮像画像のそれぞれに係る前記視点位置情報と前記視線方向情報とに基づいて、前記対象物の存在位置を推定することで該存在位置を示す存在位置情報を取得する推定部と、
前記複数の撮像画像について、前記視点位置情報および前記視線方向情報と、前記推定部で取得された前記存在位置情報と、に基づいて、前記対象物における第１領域を第１視点位置から第１視線方向で捉えた第１画像部分と、前記対象物における前記第１領域とは異なる第２領域を前記第１視点位置とは異なる第２視点位置から前記第１視線方向とは異なる第２視線方向で捉えた第２画像部分と、を検出する検出部と、
前記第１画像部分と前記第２画像部分とを合成することで、合成画像を生成する、画像生成部と、を含む、画像処理システム。
【請求項１４】
画像処理装置を制御するための制御プログラムであって、
視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視点位置を示す視点位置情報および視線方向を示す視線方向情報と、を取得する工程と、
前記複数の撮像画像のそれぞれに係る前記視点位置情報と前記視線方向情報とに基づいて、前記対象物の存在位置を推定することで該存在位置を示す存在位置情報を取得する工程と、
前記複数の撮像画像について、前記視点位置情報と、前記視線方向情報と、前記存在位置情報と、各撮像時に用いられた撮像部の特性情報と、に基づいて、前記対象物における第１領域を第１視点位置から第１視線方向で捉えた第１画像部分と、前記対象物における前記第１領域とは異なる第２領域を前記第１視点位置とは異なる第２視点位置から前記第１視線方向とは異なる第２視線方向で捉えた第２画像部分と、を検出する工程と、
前記第１画像部分と前記第２画像部分とを合成することで、合成画像を生成する工程と、を前記画像処理装置に実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理システムおよび制御プログラムに関する。
【背景技術】
【０００２】
被写体（撮像対象物ともいう）を周囲の様々な角度から見た画像を得る画像処理技術として、多くの視点からの撮像で得た画像（多視点画像ともいう）を用いて、撮像対象物を任意の角度から見た再構成画像を生成および表示する技術がある（例えば、下記特許文献１など参照）。この技術では、例えば、観察者の視点位置および画像出力装置の種類から画像の再構成に必要なパラメータが計算される。次に、このパラメータが用いられて再構成画像の各画素について多視点画像の対応する画素が演算で求められる。そして、対応する画素が多視点画像から抽出されて再構成画像が生成される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１１６５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像対象物を周囲の様々な角度から見た画像を得る画像処理については、演算量の低減を図る点で改善の余地がある。
【課題を解決するための手段】
【０００５】
画像処理装置、画像処理システムおよび制御プログラムが開示される。
【０００６】
画像処理装置の一態様は、取得部と、推定部と、検出部と、画像生成部と、を備える。前記取得部は、視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視点位置を示す視点位置情報および視線方向を示す視線方向情報と、を取得する。前記推定部は、前記複数の撮像画像のそれぞれに係る前記視点位置情報と前記視線方向情報とに基づいて、前記対象物の存在位置を推定することで該存在位置を示す存在位置情報を取得する。前記検出部は、前記複数の撮像画像について、前記視点位置情報と、前記視線方向情報と、前記存在位置情報と、各撮像時に用いられた撮像部の特性情報と、に基づいて、前記対象物における第１領域を第１視点位置から第１視線方向で捉えた第１画像部分と、前記対象物における前記第１領域とは異なる第２領域を前記第１視点位置とは異なる第２視点位置から前記第１視線方向とは異なる第２視線方向で捉えた第２画像部分と、を検出する。前記画像生成部は、前記第１画像部分と前記第２画像部分とを合成することで、合成画像を生成する。
【０００７】
画像処理システムの一態様は、第１装置と、通信回線を介して前記第１装置と通信可能に接続されている第２装置と、を備える。
【０００８】
前記第１装置は、撮像部と、位置計測部と、方向計測部と、通信部と、を含む。前記撮像部は、視点位置よび視線方向の組合せが相互に異なる条件で対象物を撮像することで、複数の撮像画像を得る。前記位置計測部は、前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の位置を計測することで、撮像時における視点位置を示す視点位置情報を得る。前記方向計測部は、前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで、撮像時における視線方向を示す視線方向情報を得る。前記通信部は、前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視点位置情報および前記視線方向情報とを、前記通信回線を介して前記第２装置に送信する。前記第２装置は、受信部と、推定部と、検出部と、画像生成部と、を含む。前記受信部は、前記通信部から送信された、前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視点位置情報および前記視線方向情報と、を受信する。前記推定部は、前記複数の撮像画像のそれぞれに係る前記視点位置情報と前記視線方向情報とに基づいて、前記対象物の存在位置を推定することで該存在位置を示す存在位置情報を取得する。前記検出部は、前記複数の撮像画像について、前記視点位置情報および前記視線方向情報と、前記推定部で取得された前記存在位置情報と、に基づいて、前記対象物における第１領域を第１視点位置から第１視線方向で捉えた第１画像部分と、前記対象物における前記第１領域とは異なる第２領域を前記第１視点位置とは異なる第２視点位置から前記第１視線方向とは異なる第２視線方向で捉えた第２画像部分と、を検出する。前記画像生成部は、前記第１画像部分と前記第２画像部分とを合成することで、合成画像を生成する。
【０００９】
制御プログラムの一態様は、画像処理装置を制御するための制御プログラムである。該制御プログラムは、前記画像処理装置に、第１工程と、第２工程と、第３工程と、第４工程と、を実行させる。前記第１工程では、視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視点位置を示す視点位置情報および視線方向を示す視線方向情報と、を取得する。前記第２工程では、前記複数の撮像画像のそれぞれに係る前記視点位置情報と前記視線方向情報とに基づいて、前記対象物の存在位置を推定することで該存在位置を示す存在位置情報を取得する。前記第３工程では、前記複数の撮像画像について、前記視点位置情報と、前記視線方向情報と、前記存在位置情報と、各撮像時に用いられた撮像部の特性情報と、に基づいて、前記対象物における第１領域を第１視点位置から第１視線方向で捉えた第１画像部分と、前記対象物における前記第１領域とは異なる第２領域を前記第１視点位置とは異なる第２視点位置から前記第１視線方向とは異なる第２視線方向で捉えた第２画像部分と、を検出する。前記第４工程では、前記第１画像部分と前記第２画像部分とを合成することで、合成画像を生成する。
【発明の効果】
【００１０】
例えば、撮像対象物を周囲の様々な角度から見た画像を得る画像処理における演算量が低減され得る。
【図面の簡単な説明】
【００１１】
【図１】図１は、第１実施形態に係る画像処理システムの構成の一例を示す図である。
【図２】図２は、第１装置の電気的構成の一例を示すブロック図である。
【図３】図３は、第１画像処理装置の機能的構成の一例を示すブロック図である。
【図４】図４は、撮像対象物を撮像する態様の一例を示す模式図である。
【図５】図５は、第２装置の電気的構成の一例を示すブロック図である。
【図６】図６は、第２画像処理装置の機能的構成の一例を示すブロック図である。
【図７】図７は、代表視線方向の一例を示す図である。
【図８】図８は、撮像対象物の存在位置を推定する方法の一例を説明する図である。
【図９】図９（ａ）は、表示画面における拡大前の表示画像の一例を示す図である。図９（ｂ）は、表示画面における拡大後の表示画像の一例を示す図である。
【図１０】図１０（ａ）は、表示画面におけるスクロール前の画像の一例を示す図である。図１０（ｂ）は、表示画面におけるスクロール後の画像の一例を示す図である。
【図１１】図１１は、第１装置による撮像対象物の撮像条件の一例を示す図である。
【図１２】図１２（ａ）から図１２（ｄ）は、図１１の撮像条件での撮像で取得された撮像画像を例示する図である。
【図１３】図１３（ａ）から図１３（ｃ）は、表示画面における画像のスクロールの一例を示す図である。
【図１４】図１４（ａ）から図１４（ｇ）は、複数の撮像画像に係る撮像中に表示用の画像を生成する第１画像生成モードを説明するための図である。図１４（ａ）は、時間順次の撮像によって複数の撮像画像が取得される様子を示す模式図である。図１４（ｂ）は、時刻ｔ０の撮像で得られる撮像画像の一例を示す図である。図１４（ｃ）は、時刻ｔ０において時刻ｔ０の撮像画像が表示画面に表示される態様の一例を示す図である。図１４（ｄ）は、時刻ｔ１の撮像で得られる撮像画像の一例を示す図である。図１４（ｅ）は、時刻ｔ１において時刻ｔ１の撮像画像が表示画面に表示される態様の一例を示す図である。図１４（ｆ）は、時刻ｔ２の撮像で撮像画像が取得されていない様子を示す図である。図１４（ｇ）は、時刻ｔ２において時刻ｔ１の撮像画像が表示画面に表示される態様の一例を示す図である。
【図１５】図１５（ａ）から図１５（ｃ）は、複数の撮像画像に係る撮像中に表示用の画像を生成する第２画像生成モードを説明するための図である。図１５（ａ）は、ユーザの入力に応じて表示対象領域が変更される態様の一例を示す図である。図１５（ｂ）は、表示画面に表示されるスクロール前の画像の一例を示す図である。図１５（ｃ）は、表示画面に表示されるスクロール後の画像の一例を示す図である。
【図１６】図１６（ａ）から図１６（ｅ）は、複数の撮像画像に係る撮像中に表示用の画像を生成する第３画像生成モードを説明するための図である。図１６（ａ）は、ユーザの入力に応じて表示対象領域が変更される態様の一例を示す図である。図１６（ｂ）は、表示画面に表示されるスクロール前の画像の一例を示す図である。図１６（ｃ）は、表示画面上で表示対象領域を変更させるスワイプ操作の一例を示す図である。図１６（ｄ）は、表示画面に表示されるスクロール後の画像の一例を示す図である。図１６（ｅ）は、直近に取得される撮像画像の一例を示す図である。
【図１７】図１７は、画像処理システムにおける複数回の撮像動作を行う動作フローの一例を示す流れ図である。
【図１８】図１８は、画像処理システムにおける各撮像動作に係る動作フローの一例を示す流れ図である。
【図１９】図１９は、画像処理システムにおける撮像対象物の存在位置を推定する動作フローの一例を示す流れ図である。
【図２０】図２０は、画像処理システムにおける表示用の画像を拡大する動作フローの一例を示す流れ図である。
【図２１】図２１は、画像処理システムにおける表示用の画像の生成に不足している撮像画像を補充する動作フローの一例を示す流れ図である。
【図２２】図２２は、画像処理システムにおける表示画面で画像をスクロールさせる際の動作フローの一例を示す流れ図である。
【図２３】図２３は、画像処理システムにおける表示画面で画像をスクロールさせる際の動作フローの一例を示す流れ図である。
【図２４】図２４は、画像処理システムにおける表示画面で画像をスクロールさせる際の動作フローの一例を示す流れ図である。
【図２５】図２５は、画像処理システムにおける複数の撮像画像の撮像中のユーザの入力に応じた画像生成モードの切り換えに係る動作フローの一例を示す流れ図である。
【図２６】図２６は、第２実施形態に係る第１画像処理装置の機能的構成の一例を示すブロック図である。
【図２７】図２７（ａ）から図２７（ｃ）は、第３実施形態に係る表示画面における画像のスクロールの一例を示す図である。
【発明を実施するための形態】
【００１２】
例えば、工場などの製造現場では、稼働中の製造機器に何らかのアクシデントが発生すると、商品の製造が停止する。このとき、例えば、工場全体における設備稼働率の低下による製造コストの上昇、納期の遅れによる顧客満足度の低下およびサプライチェーンの崩壊など、企業活動に多大な悪影響を及ぼし得る。このため、製造機器のアクシデントからの復旧は急務となる。
【００１３】
このような場面では、例えば、製造機器を開発した担当者などの製造機器の担当者（機器担当者ともいう）は、アクシデントが発生している製造現場からの製造機器の早急な復旧の要請に応じて、本来の職場から製造現場へ急行せざるを得ない場合が想定される。この場合には、例えば、機器担当者は、本来の職場における現在進行中の本来の業務を一旦休止して、製造現場に急行することになる。このとき、例えば、製造機器のアクシデントが、仮に、些細な原因によるものであっても、製造現場の作業者（現場作業者ともいう）が容易に解決可能なものであっても、機器担当者は、本来の職場に戻るまでは、製造機器の復旧作業に拘束される。
【００１４】
通常、稼働中の製造機器の出荷台数は、開発後に年々増加する傾向を示す。このため、機器担当者が製造機器の復旧作業に拘束される時間も、年々増加する傾向を示す。その結果、例えば、機器担当者が新たな製造機器の開発などの本来の業務に充てるべき時間が、製造機器の復旧作業によってさらに削られていく。
【００１５】
これに対して、近年では、通信ネットワークにおける広帯域化と、パーソナルコンピュータ（パソコンともいう）の遠隔操作の技術（パソコン遠隔操作技術ともいう）と、が発達してきている。このため、例えば、通信ネットワークの広帯域化とパソコン遠隔操作技術とを利用して、機器担当者が製造現場に行くことなく、アクシデントが生じた製造機器の状況を確認し、その状況に対処することが考えられる。この場合には、例えば、機器担当者が製造現場との往復に要する時間が減少し、機器担当者は、本来の業務に充てる時間を確保することができる。
【００１６】
ただし、パソコン遠隔操作技術では、例えば、パソコンに搭載されているソフトウェアの確認および修正、パソコンの設定の確認および修正、ならびにパソコンの制御下のセンサで取得可能な情報の確認など、が実行可能な程度である。センサで取得可能な情報には、例えば、カメラで撮像可能な視野内の情報などが含まれ得る。このため、例えば、パソコン遠隔操作技術では、製造機器における、製品、半製品もしくは部品などの載置および除去、センサの物理的な位置の調整、ならびにセンサによる計測範囲外の状況の確認など、は実行することが難しい。センサによる計測範囲外の状況の確認には、例えば、カメラの視野外の状況の確認などが含まれ得る。
【００１７】
これに対して、機器担当者は、例えば、パソコン遠隔操作技術で実行することができない部分については、現場作業者からの報告書および現場作業者との電話による会話などを介して、製造機器の状況を把握することが想定される。また、機器担当者は、例えば、さらなる状況の把握、および製造機器に対する作業内容の説明を、現場作業者との電話で実施することが想定される。このとき、機器担当者は、例えば、現場の製造機器を観ていない状態、および通話の相手である現場作業者の視野および着目点が分からない状態で、製造機器の状況の聞き取りおよび作業内容の説明を行うことになる。また、このとき、現場作業者は、例えば、機器担当者が知りたい情報を正確には理解できていない状態で、自らの視点から見えている範囲で製造機器の状況を説明することになる。さらに、このとき、例えば、機器担当者と現場作業者との間で、同一の部品に異なる名称を用いるなど、前提とする知識および用語の共有化がなされていなければ、説明の内容が、相手に正しく伝わらず、相手に誤った内容で理解される危険性がある。その結果、例えば、機器担当者は、製造機器の状況の把握および製造機器に対する作業内容の伝達に非常に多くの時間を要してしまうことが想定される。具体的には、例えば、機器担当者が、製造機器についての誤った状況の把握に基づいて、不必要な作業内容を説明すれば、製造機器の復旧に対して、必要以上の多くの時間を要してしまうおそれがある。このような時間の浪費は、例えば、機器担当者と現場作業者とが言葉のみに頼って意思の疎通を図ることによって生じ得る。
【００１８】
このような問題に対して、例えば、言葉だけでなく、静止画または動画などの映像その他の情報を利用することで、機器担当者と現場作業者との間における円滑な意思の疎通を図るシステム（遠隔作業支援システムともいう）が考えられる。このシステムでは、例えば、現場作業者が、スマートグラス、スマートフォンなどのような携帯可能な機器のカメラで目前の状況を撮像して得られた映像を、ネットワークなどの通信回線を介して機器担当者の端末機器に送信する態様が考えられる。このような態様では、例えば、機器担当者は、端末機器で受信した映像を視認することで、製造現場に行くことなく、現場作業者がリアルタイムで見ているものを視認することができる。また、例えば、現場作業者への作業内容の説明が、音声だけでなく、現場作業者の端末機器のディスプレイに、現場作業者が撮像で得た映像上に書き込まれた絵および文字などで示される態様も考えられる。これにより、現場作業者は、例えば、比較的容易に作業内容の説明を理解することができる。このとき、例えば、機器担当者が見たい場所を現場作業者に正しく伝えることで、現場作業者は、機器担当者が見たい映像を取得することができる。具体的には、例えば、機器担当者は、現場作業者に、製造機器の見たい場所および撮影角度などを伝えることができる。そして、現場作業者は、例えば、携行しているカメラ付きの機器を用いて、機器担当者が見たい映像を取得することができる。その結果、例えば、機器担当者は、見たい場所を容易に視認することができ、製造機器の状況の把握が容易となる。換言すれば、例えば、機器担当者は、製造機器の状況を正しく把握することが可能となり、現場作業者に作業内容を正しく伝えることができる。これにより、パソコン遠隔操作技術と比較して、例えば、機器担当者は、製造機器の状況を迅速かつ的確に把握した上で、状況に適した対策を講ずることができる。
【００１９】
ただし、仮に遠隔作業支援システムを採用しても、機器担当者の意図に沿って、現場作業者が撮影を行うため、例えば、現場作業者が撮影者として長時間拘束されてしまう。このとき、例えば、機器担当者が、製造機器のアクシデントの原因を見つけるために、同じ場所を、何度も繰り返して見たり、製造機器を動作させながら見たり、といった態様になれば、現場作業者による撮影に要する時間が長くなる。その結果、例えば、現場作業者に対する作業負担が増大するおそれがある。また、例えば、機器担当者とっては、現場作業者に要請する作業が多くなる程、現場作業者に対する申し訳ない気持ちが増大する。その結果、例えば、機器担当者に対する精神的な負担が増大するおそれがある。このため、例えば、現場作業者に多大な作業を強いることなく、機器担当者が自分のペースで製造機器を周囲の様々な角度から確認可能な技術が存在すれば、機器担当者および現場作業者の作業効率が向上し得る。
【００２０】
このような要請に対して、例えば、製造機器を周囲の様々な角度から見た画像を得る画像処理技術を適用することが考えられる。このような画像処理技術としては、例えば、多くの視点からの撮像で得た画像（多視点画像）を用いて、撮像対象物を任意の角度から見た再構成画像を生成および表示する技術が考えられる。この技術では、例えば、観察者の視点位置および画像出力装置の種類から算出される、画像の再構成に必要なパラメータが用いられて、再構成画像の各画素について多視点画像の対応する画素が演算で求められ、再構成画像が生成される。
【００２１】
しかしながら、このような再構成画像を生成する画像処理では、画像の再構成に必要なパラメータの算出などに多大な演算が必要である。このため、製造機器を周囲の様々な角度から見た画像を得る画像処理については、演算量の低減を図る点で改善の余地がある。
【００２２】
このような課題は、アクシデントが発生した製造機器が撮像対象物である場合だけでなく、立体的な撮像対象物を周囲の様々な角度から見た画像を得たい場面一般に共通する。すなわち、撮像対象物を周囲の様々な角度から見た画像を得る画像処理については、演算量の低減を図る点で改善の余地がある。
【００２３】
そこで、本願発明者らは、撮像対象物を周囲の様々な角度から見た画像を得る画像処理について、演算量を低減することができる技術を創出した。
【００２４】
これについて、以下、各種実施形態を図面に基づいて説明する。図面においては同様な構成および機能を有する部分に同じ符号が付されており、下記説明では重複説明が省略される。図面は模式的に示されたものである。図４、図７、図８および図１１には、右手系のＸＹＺ座標系が付されている。このＸＹＺ座標系では、図４で示す水平方向に沿った第１方向が＋Ｘ方向とされ、＋Ｘ方向に直交し且つ水平方向に沿った第２方向が＋Ｙ方向とされ、＋Ｘ方向と＋Ｙ方向との両方に直交する方向が＋Ｚ方向とされている。
【００２５】
＜１．第１実施形態＞
＜１−１．画像処理システム＞
図１で示されるように、画像処理システム１は、第１装置２と、第２装置３と、通信回線４と、基地局５と、を備えている。ここでは、第１装置２は、例えば、無線方式または有線方式で基地局５に対して通信可能に接続されている。基地局５は、例えば、有線方式または無線方式で通信回線４に対して通信可能に接続されている。第２装置３は、例えば、有線方式または無線方式で通信回線４に対して通信可能に接続されている。通信回線４には、例えば、インターネットなどのネットワーク回線が適用される。このため、第２装置３は、例えば、通信回線４を介して第１装置２と通信可能に接続されている。
【００２６】
第１装置２は、例えば、第１ユーザＵ１が使用可能な装置である。第１実施形態では、第１装置２は、例えば、撮像機能および通信機能などを有している。具体的には、第１装置２には、例えば、スマートフォンまたはタブレット端末などの撮像機能および通信機能を有する携帯機器が適用される。第１ユーザＵ１には、例えば、工場などの現場で撮像の対象物（撮像対象物ともいう）に対して作業を行う者（現場作業者ともいう）が含まれる。撮像対象物には、例えば、製造機器、検査機器および分析機器などの各種機器が含まれ得る。
【００２７】
第２装置３は、例えば、第２ユーザＵ２が使用可能な装置である。第１実施形態では、第２装置３は、例えば、通信機能および画像表示機能などを有している。具体的には、第２装置３には、例えば、パーソナルコンピュータまたはタブレット端末などの通信機能および画像表示機能を有する機器が適用される。第２ユーザＵ２には、例えば、撮像対象物としての各種機器を開発、生産または販売したメーカーの担当者（機器担当者ともいう）が含まれる。機器担当者には、例えば、機器の開発者などが含まれる。
【００２８】
このような画像処理システム１では、例えば、第２装置３は、通信回線４を介して、第１装置２に対して、各種の指示を送出することができる。また、例えば、第２装置３は、第１装置２で取得された各種の情報を、通信回線４を介して取得することができる。
【００２９】
＜１−２．第１装置の構成＞
＜１−２−１．第１装置の電気的な構成＞
図２で示されるように、第１装置２は、例えば、制御部２００、撮像部２１、位置センサ２２、方向センサ２３、測距センサ２４、表示部２５、スピーカ２６、通信部２７、タッチパネル２８および操作ボタン群２９を備えている。
【００３０】
制御部２００は、例えば、一種の演算処理装置であって、例えば、電気回路であるＣＰＵ（Central Processing Unit）２１０、ＤＳＰ（Digital Signal Processor）２２０および記憶媒体２３０などを備えている。制御部２００は、例えば、第１装置２の他の構成要素を制御することで、第１装置２の動作を統括的に管理することが可能である。第１装置２は、例えば、ＳｏＣ（System-on-a-Chip）、ＭＣＵ（Micro Control Unit）およびＦＰＧＡ（Field-Programmable Gate Array）などの副処理装置（co-processor）をさらに含んでいてもよい。また、第１装置２は、ＣＰＵ（Central Processing Unit）および副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて、各種の制御をおこなってもよい。
【００３１】
制御部２００は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御および処理能力を提供するために、少なくとも１つのプロセッサを含む。
【００３２】
種々の実施形態によれば、少なくとも１つのプロセッサは、単一の集積回路（ＩＣ）として、または複数の通信可能に接続された集積回路および／またはディスクリート回路（discrete circuits）として実行されてもよい。少なくとも１つのプロセッサは、種々の既知の技術に従って実行されることが可能である。
【００３３】
１つの実施形態において、プロセッサは、例えば、関連するメモリに記憶された指示を実行することによって１以上のデータ計算手続または処理を実行するように構成された１以上の回路またはユニットを含む。他の実施形態において、プロセッサは、１以上のデータ計算手続きまたは処理を実行するように構成されたファームウェア（例えば、ディスクリートロジックコンポーネント）であってもよい。
【００３４】
種々の実施形態によれば、プロセッサは、１以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ASIC）、デジタル信号処理装置、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、またはこれらのデバイス若しくは構成の任意の組み合わせ、または他の既知のデバイスおよび構成の組み合わせを含み、以下に説明される機能を実行してもよい。
【００３５】
記憶媒体２３０は、例えば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）などの、ＣＰＵ２１０およびＤＳＰ２２０が読み取り可能な非一時的な記録媒体を含む。記憶媒体２３０が有するＲＯＭは、例えば、不揮発性メモリ２３０ｂであるフラッシュＲＯＭ（フラッシュメモリ）である。記憶媒体２３０が有するＲＡＭは、例えば、揮発性メモリ２３０ａである。記憶媒体２３０には、第１装置２を制御するためのメインプログラムおよび複数のアプリケーションプログラム（アプリケーションともいう）などが記憶されている。制御部２００の各種機能は、ＣＰＵ２１０およびＤＳＰ２２０が記憶媒体２３０内の各種プログラムを実行することによって実現される。記憶媒体２３０には、例えば、撮像部２１を用いて静止画像あるいは動画像を撮像するための撮像アプリケーションならびに通信を行うためのアプリケーションが記憶されている。記憶媒体２３０に記憶されるアプリケーションには、例えば、第１装置２を制御するための制御プログラム２Ｐｒが含まれている。ここで、第１装置２では、制御プログラム２ＰｒをＣＰＵ２１０などで実行することで、第１画像処理装置２０としての機能を実現することができる。換言すれば、制御プログラム２Ｐｒによって、第１画像処理装置２０が制御され得る。
【００３６】
記憶媒体２３０は、ＲＯＭおよびＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶媒体２３０は、例えば、小型のハードディスクドライブおよびＳＳＤ（Solid State Drive）などを備えていてもよい。記憶媒体２３０とは別の記憶媒体が存在していてもよい。この記憶媒体は制御部２００の外部に位置していてもよい。後述する情報の記憶先は、記憶媒体２３０であってもよく、他の記憶媒体であってもよい。制御部２００の全ての機能あるいは制御部２００の一部の機能は、その機能の実現にソフトウェアが不要なハードウェアによって実現されても構わない。制御部２００は回路によって形成されていればよい。制御部２００の構成は後述する他の制御部にも適用できる。
【００３７】
撮像部２１は、例えば、レンズおよび撮像素子などを備えている。撮像部２１は、制御部２００によって制御され得る。撮像部２１は、レンズを介して撮像素子で光を受光して、撮像画像を生成する。これにより、撮像部２１は、撮像画像を取得することができる。撮像部２１は、得られた撮像画像を制御部２００へ出力することができる。撮像部２１で取得される撮像画像は、静止画像の形態とされてもよいし、繰り返し（例えば、周期的に）撮像画像を生成して動画像の形態のものとされてもよい。ここで、例えば、第１ユーザＵ１が第１装置２を携帯しつつ移動と撮像対象物の撮像とを繰り返して行えば、撮像部２１によって、視点の位置（視点位置ともいう）および視線の方向（視線方向ともいう）の組合せが相互に異なる条件で撮像対象物が撮像され得る。これにより、撮像部２１は、例えば、撮像対象物に係る複数の画像（撮像画像ともいう）を得ることができる。ここで、視点位置は、例えば、撮像部２１の位置を示す。視線方向は、例えば、視点位置を基準として撮像部２１の光軸上において被写体が位置している方向（撮像方向ともいう）を示す。また、撮像部２１は、得られた撮像画像を制御部２００へ出力することができる。このとき、制御部２００では、撮像部２１によって順次に取得される複数の撮像画像が記憶媒体２３０に蓄積される。これにより、例えば、複数の撮像画像が蓄積されたデータベース（画像ＤＢともいう）２Ｉｄが不揮発性メモリ２３０ｂなどに構築される。
【００３８】
位置センサ２２は、例えば、第１装置２の位置を計測するための情報を得ることができる。位置センサ２２には、例えば、ＧＰＳ（Global Positioning System）センサなどが適用される。位置センサ２２は、得られた情報を制御部２００へ出力することができる。このとき、制御部２００では、例えば、位置センサ２２で得られた情報が、画像ＤＢ２Ｉｄにおいて、対応する撮像画像と関連付けられた状態で記憶媒体２３０に記憶される。
【００３９】
方向センサ２３は、例えば、第１装置２の向きを計測するための情報を得ることができる。方向センサ２３には、例えば、３軸地磁気センサなどの電子コンパスが適用される。方向センサ２３は、得られた情報を制御部２００へ出力することができる。このとき、制御部２００では、例えば、方向センサ２３で得られた情報が、画像ＤＢ２Ｉｄにおいて、対応する撮像画像と関連付けられた状態で記憶媒体２３０に記憶される。
【００４０】
測距センサ２４は、例えば、第１装置２から撮像対象物までの距離を計測するための情報を得ることができる。測距センサ２４には、例えば、距離画像センサが適用される。距離画像センサの方式には、例えば、赤外線を用いて撮像対象物までの距離を非接触で測定する方式のものが適用される。測距センサ２４は、得られた情報を制御部２００へ出力することができる。このとき、制御部２００では、例えば、測距センサ２４で得られた情報が、画像ＤＢ２Ｉｄにおいて、対応する撮像画像と関連付けられた状態で記憶媒体２３０に記憶される。
【００４１】
表示部２５は、例えば、表示パネルおよび表示画面を有している。表示パネルは、例えば、第１装置２の１つの面である前面側に位置している。この表示パネルには、例えば、液晶パネルあるいは有機ＥＬ(Electro Luminescence）パネルが採用され得る。表示パネルは、制御部２００に制御されることで、画像、文字、記号および図形などの各種情報を表示することが可能である。表示パネルが可視的に出力する各種情報は、表示画面に表示される。これにより、表示部２５は、例えば、各種の情報を第１ユーザＵ１が認識可能な態様で可視的に出力することができる。ここで各種の情報には、例えば、撮像部２１で取得される撮像画像、および通信部２７で受信した各種の情報などが含まれ得る。
【００４２】
スピーカ２６は、例えば、音声を出力することができる。スピーカ２６には、例えば、タイミックスピーカが適用され得る。例えば、スピーカ２６では、制御部２００からの電気的な音信号が音に変換されて出力され得る。これにより、スピーカ２６は、例えば、音声情報を第１ユーザＵ１が可聴的に認識可能な態様で出力することができる。
【００４３】
通信部２７は、例えば、通信用のインターフェースであって、アンテナを有している。通信部２７は、例えば、第１装置２とは別の装置からの信号、あるいは通信回線４に接続された第２装置３などからの信号を、例えば、基地局５を介してアンテナで受信することが可能である。
【００４４】
上記のように、例えば、表示部２５は、情報を可視的に出力することが可能であり、スピーカ２６は、情報を可聴的に出力することが可能であり、通信部２７は、情報をデータの形式で出力することが可能である。このため、例えば、表示部２５、スピーカ２６および通信部２７は、情報を出力する出力部２ｏｕを構成し得る。
【００４５】
また、通信部２７は、例えば、アンテナでの受信信号に対して適宜所定の信号処理を行って制御部２００に処理後の受信信号を出力することが可能である。通信部２７は、例えば、制御部２００で生成された信号に対して、適宜所定の信号処理を行って処理後の送信信号をアンテナから無線送信することが可能である。アンテナからの送信信号は、例えば、基地局５を通じて、第１装置２以外の機器あるいは通信回線４に接続された第２装置３などで受信される。これにより、通信部２７は、例えば、通信回線４を介して、第２装置３と通信することができる。
【００４６】
タッチパネル２８は、例えば、表示画面に対する指などの操作子による操作を検出することが可能である。タッチパネル２８には、例えば、投影型静電容量方式のタッチパネルが適用され得る。タッチパネル２８は、第１ユーザＵ１が指などの操作子によって表示画面に対して操作を行うと、その操作に応じた電気信号がタッチパネル２８から制御部２００に入力される。これにより、制御部２００は、タッチパネル２８からの電気信号に基づいて、表示画面に対して行われた操作の内容を特定して、その内容に応じた処理を行うことが可能である。第１ユーザＵ１は、指以外の操作子、例えば、スタイラスペンなどの静電式タッチパネル用ペンで表示画面を操作することによっても、第１装置２に対して各種指示を与えることができる。このタッチパネル２８は、例えば、表示画面に対するスワイプ操作に応じて、表示部２５の表示画面上に表示されている画像の範囲をスクロールさせることができる。また、このタッチパネル２８は、例えば、表示画面に対するピンチインの操作に応じて、表示部２５の表示画面上に表示されている画像を拡大させることができる。また、このタッチパネル２８は、例えば、表示画面に対するピンチアウトの操作に応じて、表示部２５の表示画面上に表示されている画像を縮小させることができる。
【００４７】
操作ボタン群２９は、操作ボタン群２９に含まれる操作ボタンが第１ユーザＵ１によって操作されると、操作されたことを示す操作信号を制御部２００に出力することができる。これにより、制御部２００は、操作ボタンからの操作信号に基づいて、操作ボタンが操作されたか否かを判断することができる。制御部２００は、操作された操作ボタンに応じた処理を行うことが可能である。操作ボタンは、押しボタンなどのハードウェアボタンではなく、表示画面に表示されるソフトウェアボタンであってもよい。この場合には、例えば、第１ユーザＵ１によるソフトウェアボタンへの操作がタッチパネル２８によって検出され、制御部２００では、操作されたソフトウェアボタンに応じた処理が行われ得る。
【００４８】
このように、例えば、タッチパネル２８および操作ボタン群２９は、第１ユーザＵ１の動作に応答して操作信号を入力する入力部２ｉｎとなり得る。入力部２ｉｎには、例えば、タッチパネル２８および操作ボタン群２９以外のポインティングデバイスなどが含まれていてもよい。
【００４９】
＜１−２−２．第１画像処理装置の機能的な構成＞
図３は、第１装置２が第１画像処理装置２０として機能する場合における、第１画像処理装置２０の機能的な構成の一例を示す機能ブロック図である。図３で示されるように、第１画像処理装置２０は、例えば、撮像部２１、位置計測部２２１、方向計測部２３１、距離計測部２４１、解像度算出部２１１、通信部２７、指示生成部２１２、出力部２ｏｕおよび入力部２ｉｎを備えている。ここで、解像度算出部２１１および指示生成部２１２は、例えば、記憶媒体２３０に格納された制御プログラム２Ｐｒを制御部２００で実行することで実現され得る機能的な構成である。
【００５０】
撮像部２１は、例えば、撮像対象物およびその周辺の状況を撮像することができる。
【００５１】
位置計測部２２１は、例えば、位置センサ２２と制御部２００との協働によって機能的な構成として実現され得る。位置計測部２２１では、例えば、撮像部２１によって取得される複数の撮像画像のそれぞれについて、撮像時における撮像部２１の位置が計測されることで、撮像時における視点位置を示す情報（視点位置情報ともいう）が得られる。この位置計測部２２１では、例えば、ＧＰＳの計測技術に則った演算によって視点位置が算出され得る。ここでは、例えば、無線ＬＡＮ（Local Area Network）の基地局と、位置センサ２２と、の間における信号の送受信に応じた補正演算が加えられてもよい。ここで、例えば、ＧＰＳの代わりに、全球測位衛星システム（Global Navigation Satellite System：ＧＮＳＳ）における、ＧＬＯＮＡＳＳ（Global Navigation Satellite System）、ガリレオ（Galileo）または準天頂衛星（Quasi-Zenith Satellite System：ＱＺＳＳ）などの他の測位システムが採用されてもよい。また、ここで、例えば、位置センサ２２に、ジャイロおよび加速度センサを適用し、位置計測部２２１において、位置センサ２２における検出値に基づいて、視点位置が算出されてもよい。制御部２００では、例えば、位置計測部２２１で得られた視点位置情報が、画像ＤＢ２Ｉｄにおいて対応する撮像画像と関連付けられた状態で記憶媒体２３０に記憶される。
【００５２】
方向計測部２３１は、例えば、方向センサ２３と制御部２００との協働によって機能的な構成として実現され得る。方向計測部２３１では、例えば、撮像部２１によって取得される複数の撮像画像のそれぞれについて、撮像時における撮像部２１の向きが計測されることで、撮像時における視線方向を示す情報（視線方向情報ともいう）が得られる。この方向計測部２３１では、例えば、３軸地磁気センサの検出値に基づいて、撮像部２１が向いている視線方向が算出され得る。方向センサ２３には、例えば、傾斜センサが加えられてもよい。制御部２００では、例えば、方向計測部２３１で得られた視線方向情報が、画像ＤＢ２Ｉｄにおいて対応する撮像画像と関連付けられた状態で記憶媒体２３０に記憶される。
【００５３】
上記のようにして、撮像部２１、位置計測部２２１および方向計測部２３１を含む取得部２ａｃでは、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視点位置情報および視線方向情報と、が取得され得る。
【００５４】
ここで、図４で示すように、例えば、第１ユーザＵ１が撮像対象物Ｏｂ０の周囲を回りながら、撮像対象物Ｏｂ０およびその周辺を時間順次に撮像する場合を想定する。この場合には、例えば、次のような視点位置および視線方向における撮像が順に行われ得る。まず、第１ユーザＵ１は、視点位置ｐ１において、視線方向ｖ１での撮像と視線方向ｖ２での撮像とを行う。次に、第１ユーザＵ１は、視点位置ｐ１から視点位置ｐ２に移動して、視点位置ｐ２において、視線方向ｖ３での撮像と視線方向ｖ４での撮像とを行う。次に、第１ユーザＵ１は、視点位置ｐ２から視点位置ｐ３に移動して、視点位置ｐ３において、視線方向ｖ５での撮像と視線方向ｖ６での撮像とを行う。次に、第１ユーザＵ１は、視点位置ｐ３から視点位置ｐ４に移動して、視点位置ｐ４において、視線方向ｖ７での撮像と視線方向ｖ８での撮像とを行う。次に、第１ユーザＵ１は、視点位置ｐ４から視点位置ｐ５に移動して、視点位置ｐ５において、視線方向ｖ９での撮像と視線方向ｖ１０での撮像とを行う。このとき、例えば、取得部２ａｃでは、１０回の撮像によって１０枚の撮像画像が取得され、各撮像画像について視点位置情報と視線方向情報とが取得され得る。
【００５５】
距離計測部２４１は、例えば、測距センサ２４と制御部２００との協働によって機能的な構成として実現され得る。距離計測部２４１では、例えば、撮像部２１によって取得される複数の撮像画像のそれぞれについて、撮像時における視点位置から撮像対象物Ｏｂ０の表面までの距離の分布を示す情報（距離分布情報ともいう）が得られる。ここでは、例えば、撮像部２１によって取得される撮像画像を構成する全画素について、視点位置から各画素で捉えられた撮像対象物Ｏｂ０の表面部分までの距離が得られる。距離分布情報は、例えば、距離画像とも称する。距離計測部２４１では、例えば、測距センサ２４の検出値に基づいて、ＴＯＦ（Time of Flight）方式に則った演算によって視点位置から撮像対象物Ｏｂ０の表面までの距離の分布が算出され得る。ここで、例えば、測距センサ２４が２つの視点を用いた三角測量を行うための情報を得るセンサとされ、距離計測部２４１において三角測量の技術に則った演算によって距離分布情報が取得されてもよい。ここでは、例えば、取得部２ａｃに、距離計測部２４１が含まれていれば、取得部２ａｃでは、複数の撮像画像のそれぞれの撮像時に係る距離分布情報も取得され得る。
【００５６】
解像度算出部２１１は、例えば、撮像部２１で得られた各撮像画像について、撮像時に距離計測部２４１で得られた距離分布情報と、撮像部２１の特性情報とに基づき、撮像対象物Ｏｂ０を捉えた画像部分の解像度（撮像解像度ともいう）を算出することができる。ここで、特性情報には、例えば、撮像部２１における有効画素数の情報（画素数情報ともいう）および撮像部２１の画角（視野角ともいう）を示す情報（画角情報ともいう）などが含まれる。画素数情報は、例えば、撮像画像の画素数を示す情報であってもよい。撮像部２１の有効画素数および撮像画像の画素数には、例えば、横方向の画素数および縦方向の画素数が含まれる。撮像解像度としては、例えば、撮像画像において撮像対象物Ｏｂ０の表面の単位長さに対応する画素数などが採用される。ここでは、例えば、撮像画像の各画素について、視点位置から捉えられている撮像対象物Ｏｂ０の表面までの距離と、画角とに基づいて、撮像対象物Ｏｂ０の表面の単位長さの部分を表現している画素数が算出され得る。ここで、例えば、取得部２ａｃに解像度算出部２１１が含まれていれば、取得部２ａｃでは、複数の撮像画像のそれぞれについて撮像解像度を示す情報（撮像解像度情報ともいう）も取得され得る。
【００５７】
通信部２７は、例えば、撮像部２１によって取得された複数の撮像画像と、これらの複数の撮像画像のそれぞれについての視点位置情報および視線方向情報とを、通信回線４を介して第２装置３に向けて送信することができる。これらの情報は、例えば、撮像部２１によって撮像画像が取得される毎のタイミング、あるいは予め設定されたタイミングにおいて、通信部２７によって通信回線４を介して第２装置３に向けて送信され得る。予め設定されたタイミングは、例えば、一定の時間間隔のタイミングであってもよいし、所定数の撮像画像の取得ごとのタイミングであってもよいし、第１ユーザＵ１などの動作に応答して入力部２ｉｎで入力される信号に応答するタイミングでもよい。ここで、通信部２７では、例えば、撮像画像とともに、この撮像画像に対応する視線位置情報および視線方向情報と、この撮像画像に対応する距離分布情報および撮像解像度情報の少なくとも一方を含む他の情報とが、通信回線４を介して第２装置３に向けて送信されてもよい。また、他の情報には、例えば、撮像部２１の特性情報が含まれてもよい。
【００５８】
指示生成部２１２は、例えば、通信部２７によって受信した各種の要求を示す情報（要求情報ともいう）などに基づいて、要求に応じた指示を示す情報（指示情報ともいう）を生成する。指示情報には、例えば、撮像対象物Ｏｂ０に対する特定の視点位置および視線方向における撮像を指示する情報（撮像指示情報ともいう）が含まれる。撮像指示情報には、例えば、ある視点位置およびある視線方向まで第１ユーザＵ１をガイドする地図などを含む情報（ガイド情報ともいう）が含まれ得る。
【００５９】
出力部２ｏｕは、例えば、撮像部２１によって取得された撮像画像、および指示生成部２１２によって生成された撮像指示情報などの各種情報を、可視的に出力することができる。例えば、第１ユーザＵ１は、第１装置２を携帯し、出力部２ｏｕを構成する表示部２５に示される撮像指示情報を確認したうえで、撮像指示情報に応じた撮像対象物Ｏｂ０の撮像を実施することができる。
【００６０】
入力部２ｉｎは、例えば、第１ユーザＵ１の動作に応じて、第１画像処理装置２０において各種信号を入力することができる。このとき、第１画像処理装置２０では、例えば、入力された各種信号に応じた撮像などの動作が行われ得る。
【００６１】
＜１−３．第２装置の構成＞
＜１−３−１．第２装置の電気的な構成＞
図５で示されるように、第２装置３は、例えば、制御部３００、表示部３５、スピーカ３６、通信部３７、タッチパネル３８および操作部３９を備えている。
【００６２】
制御部３００は、例えば、一種の演算処理装置であって、例えば、電気回路であるＣＰＵ（Central Processing Unit）３１０および記憶媒体３３０などを備えている。制御部３００は、例えば、第２装置３の他の構成要素を制御することで、第２装置３の動作を統括的に管理することが可能である。第２装置３は、例えば、上記第１装置２と同様に、ＳｏＣ（System-on-a-Chip）、ＭＣＵ（Micro Control Unit）およびＦＰＧＡ（Field-Programmable Gate Array）などの副処理装置（co-processor）をさらに含んでいてもよい。また、第２装置３は、例えば、上記第１装置２と同様に、ＣＰＵ（Central Processing Unit）および副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて、各種の制御をおこなってもよい。
【００６３】
制御部３００は、例えば、上記第１装置２の制御部２００と同様に、以下にさらに詳細に述べられるように、種々の機能を実行するための制御および処理能力を提供するために、少なくとも１つのプロセッサを含む。
【００６４】
記憶媒体３３０は、例えば、ＲＯＭ（Read Only Memory）などの不揮発性メモリ３３０ｂ、およびＲＡＭ（Random Access Memory）などの揮発性メモリ３３０ａを有している。ＲＯＭには、例えば、フラッシュＲＯＭ（フラッシュメモリ）などが含まれ得る。記憶媒体３３０には、第２装置３を制御するためのメインプログラムおよび複数のアプリケーションプログラム（アプリケーションともいう）などが記憶されている。制御部３００の各種機能は、ＣＰＵ３１０が記憶媒体３３０内の各種プログラムを実行することによって実現される。記憶媒体３３０には、例えば、第１装置２から送信されてきた複数の撮像画像を表示するための画像表示アプリケーションが記憶されている。記憶媒体３３０に記憶されるアプリケーションには、例えば、第２装置３を制御するための制御プログラム３Ｐｒが含まれている。ここで、第２装置３では、制御プログラム３ＰｒをＣＰＵ３１０などで実行することで、第２画像処理装置３０としての機能を実現することができる。換言すれば、制御プログラム３Ｐｒによって、第２画像処理装置３０が制御され得る。
【００６５】
記憶媒体３３０は、ＲＯＭおよびＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶媒体３３０は、例えば、ハードディスクドライブおよびＳＳＤ（Solid State Drive）などを備えていてもよい。記憶媒体３３０とは別の記憶媒体が存在していてもよい。この記憶媒体は制御部３００の外部に位置していてもよい。後述する情報の記憶先は、記憶媒体３３０であってもよく、他の記憶媒体であってもよい。制御部３００の全ての機能あるいは制御部３００の一部の機能は、その機能の実現にソフトウェアが不要なハードウェアによって実現されても構わない。制御部３００は回路によって形成されていればよい。
【００６６】
表示部３５は、例えば、上記第１装置２の表示部２５と同様に、表示パネルおよび表示画面を有している。この表示パネルは、制御部３００に制御されることで、画像、文字、記号および図形などの各種情報を表示することが可能である。表示パネルが可視的に出力する各種情報は、表示画面に表示される。これにより、表示部３５は、例えば、各種の情報を第２ユーザＵ２が認識可能な態様で可視的に出力することができる。ここで各種の情報には、例えば、通信部３７で受信される撮像画像などが含まれ得る。
【００６７】
スピーカ３６は、例えば、上記第１装置２のスピーカ２６と同様に、音声を出力することができる。例えば、スピーカ３６では、制御部３００からの電気的な音信号が音に変換されて出力され得る。これにより、スピーカ３６は、例えば、音声情報を第２ユーザＵ２が可聴的に認識可能な態様で出力することができる。
【００６８】
通信部３７は、例えば、上記第１装置２の通信部３７と同様に、通信用のインターフェースであって、通信回線４とデータの送受信が可能な態様で接続されている。このため、通信部３７は、例えば、通信回線４を介して、第１装置２と通信可能に接続されている。この通信部３７は、例えば、制御部３００で生成された信号に対して適宜所定の信号処理を行ったうえで、処理後の送信信号を通信回線４に向けて送信することが可能である。通信部３７から通信回線４への送信信号は、例えば、通信回線４に接続された第１装置２などで受信される。
【００６９】
上記のように、例えば、表示部３５は、情報を可視的に出力することが可能であり、スピーカ３６は、情報を可聴的に出力することが可能であり、通信部３７は、情報をデータの形式で出力することが可能である。このため、例えば、表示部３５、スピーカ３６および通信部３７は、情報を出力する出力部３ｏｕを構成し得る。
【００７０】
また、通信部３７は、例えば、第２装置３とは別の装置からの信号、あるいは通信回線４に接続された第１装置２などからの信号を受信することが可能である。ここで、通信部３７は、例えば、通信回線４を介して、第１装置２から送信された、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視点位置情報および視線方向情報と、を受信可能な受信部３ｒｅとしての機能を有する。この受信部３ｒｅでは、例えば、複数の撮像画像のそれぞれの撮像時に係る距離分布情報が受信されてもよいし、複数の撮像画像のそれぞれについて撮像解像度を示す情報（撮像解像度情報）が受信されてもよい。
【００７１】
換言すれば、ここで、通信部３７は、例えば、通信回線４を介して、第１装置２から送信された、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視点位置情報および視線方向情報と、を取得可能な取得部３ａｃとしての機能を有する。この取得部３ａｃでは、例えば、複数の撮像画像のそれぞれの撮像時に係る距離分布情報が取得されてもよいし、複数の撮像画像のそれぞれについて撮像解像度を示す情報（撮像解像度情報）が取得されてもよい。
【００７２】
また、通信部３７では、例えば、受信した信号に対して適宜所定の信号処理を行って制御部３００に処理後の受信信号を出力することが可能である。例えば、通信部３７では、例えば、受信した撮像画像を制御部３００に出力することが可能である。このとき、制御部３００では、通信部３７によって順次に取得される複数の撮像画像が記憶媒体３３０に蓄積される。これにより、例えば、複数の撮像画像が蓄積されたデータベース（画像ＤＢともいう）３Ｉｄが不揮発性メモリ３３０ｂなどに構築される。
【００７３】
タッチパネル３８は、例えば、上記第１装置２のタッチパネル２８と同様に、表示画面に対する指などの操作子による操作を検出することが可能である。タッチパネル３８は、第２ユーザＵ２が指などの操作子によって表示画面に対して操作を行うと、その操作に応じた電気信号がタッチパネル３８から制御部３００に入力される。これにより、制御部３００は、タッチパネル３８からの電気信号に基づいて、表示画面に対して行われた操作の内容を特定して、その内容に応じた処理を行うことが可能である。第２ユーザＵ２は、指以外の操作子、例えば、スタイラスペンなどの静電式タッチパネル用ペンで表示画面を操作することによっても、第２装置３に対して各種指示を与えることができる。このタッチパネル３８は、例えば、表示画面に対するスワイプ操作に応じて、表示部３５の表示画面上に表示されている画像の範囲をスクロールさせることができる。また、このタッチパネル３８は、例えば、表示画面に対するピンチインの操作に応じて、表示部３５の表示画面上に表示されている画像を拡大させることができる。また、このタッチパネル３８は、例えば、表示画面に対するピンチアウトの操作に応じて、表示部３５の表示画面上に表示されている画像を縮小させることができる。
【００７４】
操作部３９は、例えば、キーボードおよびマウスなどの構成を含み、第２ユーザＵ２による操作に応じた操作信号を制御部３００に出力することができる。これにより、制御部３００は、操作部３９からの操作信号に基づいて、操作部３９が操作されたか否かを判断することができる。制御部３００は、例えば、操作部３９に対する第２ユーザＵ２の操作に応じた処理を行うことが可能である。操作部３９には、例えば、表示画面に表示されるソフトウェアボタンが含まれてもよい。この場合には、例えば、第２ユーザＵ２によるソフトウェアボタンへの操作がタッチパネル３８によって検出され、制御部３００では、第２ユーザＵ２によって操作されたソフトウェアボタンに応じた処理が行われ得る。
【００７５】
このように、例えば、タッチパネル３８および操作部３９は、第２ユーザＵ２の動作に応答して操作信号を入力する入力部３ｉｎとなり得る。
【００７６】
＜１−３−２．第２画像処理装置の機能的な構成＞
図６は、第２装置３が第２画像処理装置３０として機能する場合における、第２画像処理装置３０の機能的な構成の一例を示す機能ブロック図である。図６で示されるように、第２画像処理装置３０は、例えば、取得部３ａｃ、出力部３ｏｕ、入力部３ｉｎ、記憶媒体３３０、推定部３１１、検出部３１２、画像生成部３１３、解像度設定部３１４、領域設定部３１５、情報生成部３１６および切換部３１７を備えている。ここで、推定部３１１、検出部３１２、画像生成部３１３、解像度設定部３１４、領域設定部３１５、情報生成部３１６および切換部３１７は、例えば、記憶媒体３３０に格納された制御プログラム３Ｐｒを制御部３００で実行することで実現され得る機能的な構成である。
【００７７】
取得部３ａｃは、例えば、第１画像処理装置２０から送信された、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視点位置情報および視線方向情報と、を受信部３ｒｅとしての通信部３７による受信によって取得することができる。ここで、例えば、第１画像処理装置２０から複数の撮像画像のそれぞれの撮像時に係る距離分布情報も送信されていれば、取得部３ａｃは、受信部３ｒｅとしての通信部３７による受信によって距離分布情報を取得することができる。ここで、例えば、第１画像処理装置２０から複数の撮像画像のそれぞれについて撮像解像度を示す撮像解像度情報が送信されていれば、取得部３ａｃは、受信部３ｒｅとしての通信部３７による受信によって撮像解像度情報を取得することができる。
【００７８】
出力部３ｏｕは、例えば、取得部３ａｃによって取得された撮像画像、および後述する画像生成部３１３によって生成される合成画像などを可視的に出力することができる。合成画像は、例えば、撮像対象物Ｏｂ０の角部を挟む第１面と第２面とがそれぞれ捉えられた第１画像部分と第２画像部分とが合成されることで生成され得る。
【００７９】
入力部３ｉｎは、例えば、第２ユーザＵ２の動作に応じて、第２画像処理装置３０において各種信号を入力することができる。入力部３ｉｎでは、例えば、第２ユーザＵ２の動作に応じて、表示部３５に表示されている各種画像の拡大または縮小を指示する信号が入力され得る。また、入力部３ｉｎでは、例えば、第２ユーザＵ２の動作に応じて、表示部３５に表示されている各種画像のスクロールを指示する信号が入力され得る。
【００８０】
記憶媒体３３０は、例えば、取得部３ａｃによって取得された複数の撮像画像を記憶する。これにより、記憶媒体３３０において、例えば、複数の撮像画像が格納された画像ＤＢ３Ｉｄが構築され得る。画像ＤＢ３Ｉｄでは、例えば、各撮像画像が、対応する情報が関連付けられた状態で記憶され得る。ここで、対応する情報には、例えば、視点位置情報および視線方向情報が含まれる。対応する情報には、例えば、距離分布情報が含まれてもよいし、撮像解像度情報が含まれてもよい。
【００８１】
推定部３１１は、例えば、取得部３ａｃで取得された、複数の撮像画像のそれぞれに係る視点位置情報と視線方向情報とに基づいて、撮像対象物Ｏｂ０の存在位置を推定することができる。これにより、推定部３１１では、例えば、撮像対象物Ｏｂ０の存在位置を示す情報（存在位置情報ともいう）が取得され得る。
【００８２】
ここで、図７および図８を参照しつつ、推定部３１１における撮像対象物Ｏｂ０の存在位置の推定方法について説明する。
【００８３】
ここでは、まず、例えば、演算量を低減する目的で、図４で示されたような複数回の撮像時における視線方向から、近似的に代表的な視線方向（代表視線方向ともいう）が求められる。図７の例では、水平方向の３６０度の視線方向が採り得る範囲が、特定角度としての４５度ずつの角度範囲Ｒａｊ（ｊは０以上の整数、ここではｊは０から８の整数）に８分割されている。ここで、各角度範囲Ｒａｊに対して、代表視線方向Ｖｊが設定されている。具体的には、角度範囲Ｒａ０に代表視線方向Ｖ０が設定されている。角度範囲Ｒａ１に代表視線方向Ｖ１が設定されている。角度範囲Ｒａ２に代表視線方向Ｖ２が設定されている。角度範囲Ｒａ３に代表視線方向Ｖ３が設定されている。角度範囲Ｒａ４に代表視線方向Ｖ４が設定されている。角度範囲Ｒａ５に代表視線方向Ｖ５が設定されている。角度範囲Ｒａ６に代表視線方向Ｖ６が設定されている。角度範囲Ｒａ７に代表視線方向Ｖ７が設定されている。そして、推定部３１１では、視線方向情報で示される視線方向について、その視線方向が属する角度範囲Ｒａｊの代表視線方向が求められる。これにより、各撮像画像について、代表視線方向が求められ得る。ここでは、各角度範囲Ｒａｊは、例えば、４５度以外のその他の角度であって、ｊがとり得る整数が任意に設定されてもよい。
【００８４】
次に、図８で示されるように、撮像対象物Ｏｂ０を含むようにある程度の大きさの仮想的な空間（対象空間ともいう）Ｓｐ０を設定する。この対象空間Ｓｐ０を多数のボクセルＢｘ０に分割する。図８には、対象空間Ｓｐ０が、Ｘ方向において座標ｘ１から座標ｘ１１の１１区間に分割され、Ｙ方向において座標ｙ１から座標ｙ７の７区間に分割されている簡単な例が示されている。つまり、対象空間Ｓｐ０が、７７個（＝１１×７個）のボクセルＢｘ０に分割されている例が示されている。このとき、各ボクセルＢｘ０は、Ｘ方向における座標ｘｍ（ｍは自然数、図８の例ではｍは１から１１の自然数）とＹ方向における座標ｙｎ（ｎは自然数、図８の例ではｎは１から７の自然数）とを組み合わせた座標（ｘｍ，ｙｎ）で特定される。ここで、例えば、Ｘ方向およびＹ方向における対象空間Ｓｐ０の分割数が多い程、撮像対象物Ｏｂ０の存在位置が詳細に推定され得る。
【００８５】
ここでは、例えば、各ボクセルＢｘ０について、第１ユーザＵ１によって撮像されている方向がカウントされることで、撮像対象物Ｏｂ０の存在位置が推定され得る。具体的には、例えば、各撮像画像について、対象空間Ｓｐ０のうちの撮像時に視線が通っている各ボクセルＢｘ０に対して、撮像時の視線方向が有効とされる。ここで、対象空間Ｓｐ０のうちの撮像時に視線が通っているボクセルＢｘ０は、例えば、各撮像画像についての撮像時の視点位置と視線方向とに基づいて特定され得る。各ボクセルＢｘ０で有効化されている撮像時の視線方向は、例えば、演算量を低減する目的で、上記で求められた代表視線方向とする。
【００８６】
図８の例では、複数の撮像画像のすべてについて有効化されている代表視線方向が、各ボクセルＢｘ０に太い矢印で示されている。図８の例では、例えば、座標（ｘ４，ｙ１）のボクセルＢｘ０では、代表視線方向Ｖ４が有効とされている。例えば、座標（ｘ６，ｙ４）のボクセルＢｘ０では、最も多い４つの代表視線方向Ｖ０，Ｖ３，Ｖ４，Ｖ６が有効とされている。このため、例えば、座標（ｘ６，ｙ４）のボクセルＢｘ０は、撮像対象物Ｏｂ０の存在位置であることが推定され得る。ここで、例えば、閾値以上の数の代表視線方向が有効とされている１以上のボクセルＢｘ０が、撮像対象物Ｏｂ０の存在位置と推定されてもよい。また、例えば、第１ユーザＵ１が移動した軌跡で囲まれた１以上のボクセルＢｘ０が、撮像対象物Ｏｂ０の存在位置と推定されてもよい。
【００８７】
このようにして、撮像対象物Ｏｂ０の存在位置が推定される場合には、第１ユーザＵ１は、撮像画像に撮像対象物Ｏｂ０が捉えられているのか、移動時に足下または撮像対象物Ｏｂ０の周囲が捉えられているのかなどを意識せずに、複数回の撮像を行うことができる。これにより、第１装置２において一定の時間間隔で撮像画像が取得される態様が容易に採用され得る。
【００８８】
また、ここで、対象空間Ｓｐ０が水平方向だけでなく垂直方向にも分割されてもよい。この場合には、例えば、撮像時の視線方向には、傾斜センサを用いて算出される傾斜角度が含まれていてもよい。この場合には、例えば、制御部３００において、傾斜センサで検出された重力加速度の値から第１装置２の傾斜角度の値が算出され得る。
【００８９】
解像度設定部３１４は、例えば、第２ユーザＵ２の動作に応答して入力される信号に応じて、表示部３５で表示される画像における、撮像対象物を捉えた画像部分についての解像度（表示解像度ともいう）を設定することができる。例えば、表示部３５に合成画像が表示されている場合には、解像度設定部３１４は、第２ユーザＵ２の動作に応答して入力される信号に応じて、合成画像のうち、拡大表示画像部分の範囲を設定するとともに、この拡大表示画像部分における表示解像度を設定することができる。拡大表示画像部分は、例えば、表示部３５に表示されている合成画像のうち、表示部３５に拡大表示する部分の範囲であればよい。
【００９０】
ここで、第２ユーザＵ２の動作としては、例えば、マウスホイールの回転あるいは表示画面に対するピンチインおよびピンチアウトの操作などが挙げられる。例えば、図９（ａ）で示されるように、表示画面Ｓｃ０に撮像対象物の領域Ａｒ０が捉えられた画像部分Ｉｐ０が表示されている状態を想定する。この状態で、表示画面Ｓｃ０に対してピンチインの操作が行われると、撮像対象物の領域Ａｒ０に包含されている領域Ａｒ１が捉えられた画像部分Ｉｐ１が、図９（ｂ）で示されるように、表示画面Ｓｃ０全体に拡大表示され得る。ここで、表示解像度には、例えば、上記撮像解像度と同様に、画像において撮像対象物Ｏｂ０の表面の単位長さに対応する画素数などが採用される。この表示解像度は、例えば、表示画面Ｓｃ０で設定された撮像対象物Ｏｂ０を捉えた画像部分の表示範囲と、この画像部分における撮像対象物Ｏｂ０の表面の単位長さの部分と、表示画面Ｓｃ０の縦方向および横方向における画素数と、に基づいて算出され得る。単位長さの部分は、例えば、撮像画像の各画素についての、視点位置から捉えられている撮像対象物Ｏｂ０の表面までの距離と、画角と、撮像画像を表示するための拡大率と、に基づいて算出され得る。拡大率は、例えば、第２ユーザＵ２の動作に応じて決定され得る。
【００９１】
領域設定部３１５は、例えば、第２ユーザＵ２の動作に応答して入力される信号に応じて、撮像対象物Ｏｂ０のうちの表示部３５で可視的に出力される画像で捉えられた表示対象領域を設定することができる。ここで、表示対象領域は、例えば、撮像対象物Ｏｂ０のうちの表示部３５で可視的に出力される領域であればよい。表示対象領域は、例えば、視点位置情報、視線方向情報、撮像部２１の画角を含む特性情報および撮像対象物Ｏｂ０の存在位置などに基づいて、対象空間Ｓｐ０における表示対象領域の空間的な位置を示す座標で管理され得る。ここで、例えば、撮像画像に係る距離分布情報が加味されれば、撮影画像で捉えられた撮像対象物Ｏｂ０の部分の形状が認識可能であり、対象空間Ｓｐ０における表示対象領域の空間的な位置を示す座標の精度が高まり得る。
【００９２】
また、領域設定部３１５は、例えば、第２ユーザＵ２の動作に応答して入力される信号に応じて、表示部３５で可視的に出力される画像で捉えられた表示対象領域を変更することができる。さらに、例えば、表示部３５に合成画像が表示されている場合には、領域設定部３１５は、第２ユーザＵ２の動作に応答して入力される信号に応じて、撮像対象物のうちの表示部３５で可視的に出力される合成画像で捉えられた表示対象領域を変更することができる。
【００９３】
ここで、第２ユーザＵ２の動作としては、例えば、操作子による表示画面Ｓｃ０に対するスワイプ操作などが挙げられる。例えば、図１０（ａ）で示されるように、表示画面Ｓｃ０に撮像対象物の表示対象領域（既表示領域ともいう）Ａｒ２が捉えられた画像部分Ｉｐ２が表示されている状態を想定する。この状態で、例えば、操作子である指Ｆｇ０による表示画面Ｓｃ０に対するスワイプ操作が行われると、図１０（ｂ）で示されるように、既表示領域Ａｒ２が捉えられた画像部分Ｉｐ２が移動する。このとき、表示画面Ｓｃ０では、例えば、既表示領域Ａｒ２を捉えた画像部分Ｉｐ２の一部が表示画面Ｓｃ０の外に消え、既表示領域Ａｒ２の残部Ａｒ２１を捉えた画像部分Ｉｐ２１が表示される。また、例えば、表示画面Ｓｃ０のうちの画像部分Ｉｐ２がずれて存在しなくなった部分には、撮像対象物の既表示領域Ａｒ２と隣接する領域（非表示領域）Ａｒ２２が捉えられた画像部分Ｉｐ２２が新たに表示され得る。このようにして、例えば、第２ユーザＵ２は、表示画面Ｓｃ０に対するスワイプ操作によって、表示部２５の表示画面Ｓｃ０上に表示されている画像をスクロールさせることができる。
【００９４】
検出部３１２は、例えば、記憶媒体３３０の画像ＤＢ３Ｉｄに蓄積された複数の撮像画像のうち、解像度設定部３１４によって設定された表示解像度に対応する画像部分を検出することができる。
【００９５】
ここで、例えば、図１１で示されるように、第１ユーザＵ１が、壁６００ｗｌと窓６００ｗｄとを含む背景６００の前に位置する撮像対象物Ｏｂ０の周囲を移動しながら、視点位置ｐ１１，ｐ１２，ｐ１３，ｐ１４で、第１装置２を用いて順に撮像を行った場合を想定する。図１１の例では、各視点位置ｐ１１，ｐ１２，ｐ１３，ｐ１４からの視線方向が矢印で描かれている。撮像間において、視点位置ｐ１１，ｐ１２，ｐ１３，ｐ１４と視線方向との組が相互に異なる。図１１の例では、撮像対象物Ｏｂ０は、角部Ｃｎ１を挟むように位置している第１面ＳｆＡと第２面ＳｆＢとを有している。
【００９６】
図１１で示された条件での撮像が行われた場合に、例えば、図１２（ａ）は、視点位置ｐ１１での撮像で取得された撮像画像Ｉｍ１１を示している。例えば、図１２（ｂ）は、視点位置ｐ１２での撮像で取得された撮像画像Ｉｍ１２を示している。例えば、図１２（ｃ）は、視点位置ｐ１３での撮像で取得された撮像画像Ｉｍ１３を示している。例えば、図１２（ｄ）は、視点位置ｐ１４での撮像で取得された撮像画像Ｉｍ１４を示している。
【００９７】
ここで、図１２（ａ）で示されるように、例えば、撮像画像Ｉｍ１１は、第１面ＳｆＡを捉えた画像部分Ｉｐａによって構成されている。図１２（ｂ）で示されるように、例えば、撮像画像Ｉｍ１２は、第１面ＳｆＡを捉えた画像部分Ｉｐａ、壁６００ｗｌを捉えた画像部分Ｉｐｗｌおよび窓６００ｗｄを捉えた画像部分Ｉｐｗｄによって構成されている。具体的には、撮像画像Ｉｍ１２では、例えば、左部で第１面ＳｆＡが捉えられ、中央部から右端にかけた部分で、背景６００に含まれる壁６００ｗｌおよび窓６００ｗｄが捉えられている。図１２（ｃ）で示されるように、例えば、撮像画像Ｉｍ１３は、第１面ＳｆＡを捉えた画像部分Ｉｐａ、第２面ＳｆＢを捉えた画像部分Ｉｐｂ、壁６００ｗｌを捉えた画像部分Ｉｐｗｌおよび窓６００ｗｄを捉えた画像部分Ｉｐｗｄによって構成されている。具体的には、撮像画像Ｉｍ１３では、例えば、左端部近傍の部分で第１面ＳｆＡと第２面ＳｆＢとが捉えられ、その残部で、背景６００に含まれる壁６００ｗｌおよび窓６００ｗｄが捉えられている。図１２（ｄ）で示されるように、例えば、撮像画像Ｉｍ１４は、第１面ＳｆＡを捉えた画像部分Ｉｐａ、第２面ＳｆＢを捉えた画像部分Ｉｐｂおよび壁６００ｗｌを捉えた画像部分Ｉｐｗｌによって構成されている。具体的には、撮像画像Ｉｍ１４では、例えば、左端部近傍の部分で第１面ＳｆＡが捉えられ、中央部を含む広い部分で第２面ＳｆＢが捉えられ、残りの左側の部分で背景６００に含まれる壁６００ｗｌが捉えられている。
【００９８】
ここで、例えば、表示対象領域が撮像対象物Ｏｂ０の第１面ＳｆＡに含まれている場合を想定する。この場合には、例えば、検出部３１２では、その時点において表示部３５で表示の対象とされている画像部分について、撮像解像度が、解像度設定部３１４による変更後の表示解像度以上であるか否かが検出され得る。
【００９９】
また、ここで、例えば、表示対象領域が撮像対象物Ｏｂ０の角部Ｃｎ１を挟む第１面ＳｆＡと第２面ＳｆＢとを含む場合を想定する。この場合には、例えば、検出部３１２では、画像ＤＢ３Ｉｄから、撮像対象物Ｏｂ０の第１面ＳｆＡが捉えられ、表示解像度に対応する第１画像部分が検出され、撮像対象物Ｏｂ０の第２面ＳｆＢが捉えられ、表示解像度に対応する第２画像部分が検出され得る。
【０１００】
このように、検出部３１２では、例えば、画像ＤＢ３Ｉｄから、撮像対象物Ｏｂ０の第１面ＳｆＡが捉えられた、撮像解像度が表示解像度以上である第１画像部分が検出され得る。検出部３１２では、例えば、画像ＤＢ３Ｉｄから、撮像対象物Ｏｂ０の第２面ＳｆＢが捉えられた、撮像解像度が表示解像度以上である第２画像部分が検出され得る。これにより、合成用の第１画像部分と第２画像部分とが検出され得る。その結果、例えば、後述する画像生成部３１３において、第２ユーザＵ２が撮像対象物Ｏｂ０を視認しやすい合成画像が容易に生成され得る。
【０１０１】
また、検出部３１２は、例えば、記憶媒体３３０の画像ＤＢ３Ｉｄに蓄積された複数の撮像画像のうち、領域設定部３１５によって設定された表示対象領域に対応する画像部分を検出することができる。表示対象領域に対応する画像部分が、例えば、撮像解像度が表示解像度以上である画像部分であれば、視認性に優れた表示用の画像が生成され得る。
【０１０２】
ここで、例えば、表示対象領域が撮像対象物Ｏｂ０の第１面ＳｆＡに含まれる場合を想定する。この場合には、検出部３１２では、例えば、第１面ＳｆＡが捉えられた撮像画像から、表示対象領域に対応する画像部分が検出され得る。
【０１０３】
また、ここで、例えば、設定後あるいは変更後の表示対象領域が撮像対象物Ｏｂ０の角部Ｃｎ１を挟む第１面ＳｆＡと第２面ＳｆＢとを含む場合を想定する。この場合には、検出部３１２では、例えば、画像ＤＢ３Ｉｄから、撮像対象物Ｏｂ０の第１面ＳｆＡのうちの設定後あるいは変更後の表示対象領域に含まれる領域（第１領域ともいう）が捉えられた第１画像部分が検出され得る。また、検出部３１２では、例えば、撮像対象物Ｏｂ０の第２面ＳｆＢのうちの設定後あるいは変更後の表示対象領域に含まれる領域（第２領域ともいう）が捉えられた第２画像部分が検出され得る。
【０１０４】
ここでは、検出部３１２によって、例えば、画像ＤＢ３Ｉｄ内の複数の撮像画像について、視点位置情報と、視線方向情報と、存在位置情報と、撮像部２１の特性情報と、に基づいて、撮像対象物Ｏｂ０が捉えられた画像部分がそれぞれ認識され得る。このとき、例えば、視線上から撮像対象物Ｏｂ０がずれている状態で撮像が行われていても、撮像画像から撮像対象物Ｏｂ０が捉えられた画像部分が認識され得る。
【０１０５】
そして、検出部３１２では、例えば、撮像画像について、視点位置情報と、視線方向情報と、存在位置情報と、撮像部２１の特性情報と、に基づいて、撮像対象物Ｏｂ０における第１領域を第１視点位置から第１視線方向で捉えた第１画像部分が検出され得る。ここでは、例えば、第１領域が、撮像対象物Ｏｂ０の第１面ＳｆＡのうちの表示対象領域に含まれる領域であり、対象空間Ｓｐ０における座標で表示対象領域が管理されていれば、第１領域の位置が容易に認識され得る。そして、例えば、第１領域の位置と、撮像時における視点位置、視線方向および画角と、に基づいて、第１領域を第１視点位置から第１視線方向で捉えた第１画像部分が検出され得る。
【０１０６】
また、検出部３１２では、例えば、撮像画像について、視点位置情報と、視線方向情報と、存在位置情報と、撮像部２１の特性情報と、に基づいて、撮像対象物Ｏｂ０における第２領域を第２視点位置から第２視線方向で捉えた第２画像部分が検出され得る。ここでは、例えば、第２領域が、撮像対象物Ｏｂ０の第２面ＳｆＢのうちの表示対象領域に含まれる領域であり、対象空間Ｓｐ０における座標で表示対象領域が管理されていれば、第２領域の位置が容易に認識され得る。そして、例えば、第２領域の位置と、撮像時における視点位置、視線方向および画角と、に基づいて、第２領域を第２視点位置から第２視線方向で捉えた第２画像部分が検出され得る。ここでは、例えば、第１視点位置と第１視線方向との組合せと、第２視点位置と第２視線方向との組合せと、は異なるものであればよい。
【０１０７】
ここで、例えば、撮像対象物Ｏｂ０において、第１領域と第２領域とが隣接する領域であれば、撮像対象物Ｏｂ０の異なる方向から見ることができる隣接している部分を合成した合成画像が生成され得る。これにより、例えば、第２ユーザＵ２にとって撮像対象物Ｏｂ０を周囲の様々な方向から見た一覧性の良い画像が生成され得る。第１領域と第２領域とが隣接する領域であることは、例えば、第１領域と第２領域とが隣接して捉えられている撮像画像の存在によって認識され得る。このとき、第１領域と第２領域との境界部分には、例えば、角部が存在しており、存在位置情報および距離分布情報のうちの少なくとも一方に基づいて、第１領域と第２領域とが角部において隣接していることが認識され得る。
【０１０８】
ところで、例えば、第１領域の第１面ＳｆＡに対して第１視線方向が垂直であれば、第１画像部分は、第１領域を正面から捉えた歪みのない画像部分となる。このため、検出部３１２では、例えば、第１領域の位置情報、視点位置情報および視線方向情報に基づいて、第１領域を正面から捉えた第１画像部分が検出されてもよい。また、検出部３１２では、例えば、複数の撮像画像について、視点位置情報と、視線方向情報と、距離分布情報と、存在位置情報と、に基づき、第１画像部分が検出されてもよい。このとき、例えば、視点位置から撮像画像において捉えられた第１領域までの距離の分布が略一定であれば、第１領域を正面から捉えた第１画像部分が容易かつ精度良く検出され得る。ここで、例えば、撮像対象物Ｏｂ０の表面に凹凸などがある場合には、視点位置から撮像画像において捉えられた第１領域までの距離のばらつきが小さくなる条件を満たせば、第１領域を正面から捉えた第１画像部分が検出され得る。ばらつきは、例えば、分散または標準偏差などの統計値で表すことが可能である。
【０１０９】
また、例えば、第２領域の第２面ＳｆＢに対して第２視線方向が垂直であれば、第２画像部分は、第２領域を正面から捉えた歪みのない画像部分となる。このため、検出部３１２では、例えば、第２領域の位置情報、視点位置情報および視線方向情報に基づいて、第２領域を正面から捉えた第２画像部分が検出されてもよい。また、検出部３１２では、例えば、複数の撮像画像について、視点位置情報と、視線方向情報と、距離分布情報と、存在位置情報と、に基づき、第２画像部分が検出されてもよい。このとき、例えば、視点位置から撮像画像において捉えられた第２領域までの距離の分布が略一定であれば、第２領域を正面から捉えた第２画像部分が容易かつ精度良く検出され得る。ここで、例えば、撮像対象物Ｏｂ０の表面に凹凸などがある場合には、視点位置から撮像画像において捉えられた第２領域までの距離のばらつきが小さくなる条件を満たせば、第２領域を正面から捉えた第１画像部分が検出され得る。ばらつきは、例えば、分散または標準偏差などの統計値で表すことが可能である。
【０１１０】
ところで、上述したように、例えば、図１０（ａ）および図１０（ｂ）で示されるように、表示部２５の表示画面Ｓｃ０上に表示されている画像の範囲をスクロールさせる際には、領域設定部３１５によって表示対象領域が変更される。また、例えば、表示部３５に合成画像が表示されていれば、領域設定部３１５によって、撮像対象物のうちの表示部３５で可視的に出力される合成画像で捉えられた表示対象領域が変更され得る。
【０１１１】
ここで、変更後の表示対象領域は、例えば、撮像対象物Ｏｂ０のうち、表示部３５で既に可視的に出力されている合成画像（第１合成画像ともいう）で捉えられている既表示領域Ａｒ２の残部Ａｒ２１と、第１合成画像で捉えられていない非表示領域Ａｒ２２と、を含む。
【０１１２】
検出部３１２では、例えば、非表示領域Ａｒ２２の設定に応答して、画像ＤＢ３Ｉｄの複数の撮像画像について、視点位置情報と、視線方向情報と、存在位置情報と、に基づき、非表示領域Ａｒ２２を捉えた画像部分（第３画像部分ともいう）Ｉｐ２２が検出される。ここでは、第３画像部分Ｉｐ２２は、例えば、上述した検出部３１２による第１画像部分および第２画像部分の検出と同様な手法によって検出され得る。
【０１１３】
画像生成部３１３は、例えば、検出部３１２で検出された第１画像部分と第２画像部分とを合成することで、合成画像を生成することができる。ここでは、例えば、撮像対象物Ｏｂ０を相互に異なる方向から撮像して得られた第１画像部分と第２画像部分とが並べられるように合成される。これにより、例えば、撮像対象物Ｏｂ０を周囲の複数の角度から捉えた擬似的な３次元画像である合成画像が比較的少ない演算量で容易に取得され得る。
【０１１４】
画像生成部３１３で生成される合成画像は、例えば、出力部３ｏｕで出力されてもよいし、記憶媒体３３０に記憶されてもよい。このとき、出力部３ｏｕにおける合成画像の出力には、例えば、表示部３５における合成画像の可視的な出力、および通信部３７による合成画像のデータの送信などが含まれ得る。これにより、例えば、第２画像処理装置３０における合成画像の視認もしくは蓄積、あるいは他の装置における合成画像の視認もしくは蓄積、などが可能となる。ここで、表示部３５において合成画像が可視的に出力されれば、例えば、第２画像処理装置３０において、第２ユーザＵ２が合成画像を視認することができる。
【０１１５】
また、表示画面Ｓｃ０上に合成画像（第１合成画像）が表示されている際にも、表示画面Ｓｃ０上で画像の範囲をスクロールさせる場合がある。この場合には、画像生成部３１３は、例えば、既表示領域Ａｒ２の一部を除く残部Ａｒ２１を捉えた画像部分（第４画像部分ともいう）Ｉｐ２１と、検出部３１２で検出された第３画像部分Ｉｐ２２と、を合成することで、第２合成画像を生成することができる。ここで、表示部３５において第２合成画像が可視的に出力されれば、例えば、第２画像処理装置３０において、第２ユーザＵ２は合成画像をスクロールさせることができる。
【０１１６】
例えば、図１３（ａ）から図１３（ｃ）で示されるように、第２ユーザＵ２は、表示部３５に表示される画像をスクロールさせることができる。具体的には、まず、図１３（ａ）で示されるように、表示部３５の表示画面Ｓｃ０全体に、撮像対象物Ｏｂ０の第１面ＳｆＡを捉えた画像部分Ｉｐａが表示される。次に、図１３（ａ）から図１３（ｂ）で示されるように、表示画面Ｓｃ０の右側の部分から中央の部分に向けて操作子である指Ｆｇ０を滑らせるスワイプ操作に応じて、表示画面Ｓｃ０上の画像が右から左へスクロールされる。このとき、表示画面Ｓｃ０では、撮像対象物Ｏｂ０の第１面ＳｆＡを捉えた画像部分Ｉｐａが左方にずれ、その画像部分Ｉｐａの右側に続くように、撮像対象物Ｏｂ０の第２面ＳｆＢを捉えた画像部分Ｉｐｂが出現する。さらに、図１３（ｂ）から図１３（ｃ）で示されるように、表示画面Ｓｃ０の中央の部分から左側の部分に向けて操作子である指Ｆｇ０を滑らせるスワイプ操作に応じて、表示画面Ｓｃ０上の画像が右から左へスクロールされる。このとき、表示画面Ｓｃ０では、撮像対象物Ｏｂ０の第１面ＳｆＡを捉えた画像部分Ｉｐａがさらに左方にずれ、画像部分Ｉｐａの右側に続くように、撮像対象物Ｏｂ０の第２面ＳｆＢを捉えた画像部分Ｉｐｂがさらに左側にずれて大きく表示される。
【０１１７】
このように、例えば、第１ユーザＵ１が、第１画像処理装置２０を用いて撮像対象物Ｏｂ０について複数回の一連の撮像を行って、複数の撮像画像を蓄積しておけば、第２ユーザＵ２は、表示部３５に表示される画像を任意にスクロールさせることができる。このため、例えば、第１ユーザＵ１に多大な作業を強いることなく、第２ユーザＵ２は自分のペースで撮像対象物Ｏｂ０を周囲の様々な角度から確認することができる。このため、例えば、第１ユーザＵ１および第２ユーザＵ２にとって、作業効率が向上し得る。さらに、ここでは、擬似的な３次元画像である合成画像の生成によって、比較的少ない演算量で、撮像対象物Ｏｂ０を周囲の様々な角度から見た画像を容易に得ることができる。
【０１１８】
情報生成部３１６は、例えば、不足している撮像画像（不足撮像画像ともいう）の撮像を要求する情報を生成ことができる。
【０１１９】
ここでは、例えば、表示部３５において画像をスクロールさせる際に、検出部３１２によって、画像ＤＢ３Ｉｄに蓄積された複数の撮像画像において、非表示領域Ａｒ２２を捉えた画像部分が検出されない場合がある。この場合、検出部３１２によって非表示領域Ａｒ２２を捉えた画像部分の不足が検出されたことになる。この不足の検出に応答して、例えば、情報生成部３１６では、非表示領域Ａｒ２２を捉えた画像部分の不足に係る情報が生成され得る。ここで生成される情報は、例えば、出力部３ｏｕによって出力され得る。ここでは、情報生成部３１６で生成される情報には、例えば、非表示領域Ａｒ２２を捉えた不足撮像画像の撮像を要求する情報（撮像要求情報ともいう）、あるいは非表示領域Ａｒ２２を捉えた撮像画像が不足していることを示す情報などが含まれ得る。
【０１２０】
また、ここでは、例えば、表示部３５において画像を拡大させる際に、検出部３１２によって、画像ＤＢ３Ｉｄに蓄積された複数の撮像画像において、撮像解像度が表示解像度以上である１以上の拡大表示用の画像部分が検出されない場合がある。ここで、撮像解像度は、例えば、解像度設定部３１４で設定された拡大表示画像部分の範囲に係る撮像解像度であればよい。この場合、検出部３１２によって拡大表示用の撮像画像の不足が検出されたことになる。この不足の検出に応答して、例えば、情報生成部３１６では、拡大表示用の撮像画像の不足を示す情報が生成され得る。ここで生成される情報は、例えば、出力部３ｏｕによって出力され得る。ここでは、情報生成部３１６で生成される情報には、例えば、拡大表示用の不足撮像画像の撮像を要求する情報（撮像要求情報）、あるいは拡大表示用の撮像画像が不足していることを示す情報が含まれ得る。
【０１２１】
撮像要求情報には、例えば、不足撮像画像の撮像条件を示す情報が含まれ得る。この撮像条件には、例えば、視点位置、視線方向および撮像解像度などの情報が含まれ得る。そして、情報生成部３１６で生成される情報は、例えば、出力部３ｏｕを構成する通信部３７によって、第１画像処理装置２０に向けて送信され得る。このとき、第１画像処理装置２０では、例えば、指示生成部２１２によって、例えば、撮像要求情報に基づき、撮像の要求に応じた指示を示す指示情報が生成され、出力部２ｏｕで、撮像指示情報などの各種情報が、可視的に出力され得る。ここで、撮像指示情報には、例えば、撮像対象物Ｏｂ０に対する特定の視点位置および視線方向における撮像を指示する指示情報が含まれる。この指示情報には、例えば、特定の視点位置および視線方向まで第１ユーザＵ１をガイドする地図などのガイド情報が含まれ得る。これにより、例えば、撮像画像の不足が生じた場合に、第１ユーザＵ１に追加の撮像が要求され得る。
【０１２２】
また、情報生成部３１６で生成される情報は、例えば、出力部３ｏｕを構成する表示部３５などによって可視的に出力されてもよいし、出力部３ｏｕを構成するスピーカ３６などによって可聴的に出力されてもよい。これにより、例えば、第２ユーザＵ２は、スクロール先の合成用の画像部分の不足、あるいは拡大表示に必要な画像部分の不足を認識することができる。このとき、画像生成部３１３は、例えば、不足撮像画像が取得部３ａｃによって取得されるまで、不足している画像部分については、補間処理などで仮の画像部分を生成し、合成画像の生成などに用いてもよい。このとき、例えば、表示部３５には、仮の画像部分には、撮像を要求している旨あるいは不足撮像画像の補充を待機している旨のコメントが表示されてもよい。そして、画像生成部３１３では、例えば、不足撮像画像が取得部３ａｃで受信によって取得されれば、仮の画像部分の代わりに、補充された撮像画像から適正な画像部分を検出し、合成画像の生成などに用いてもよい。このとき、例えば、表示部３５では、仮の画像部分が、適正な画像部分に置換され、撮像を要求している旨のコメントが削除されればよい。
【０１２３】
切換部３１７は、例えば、取得部３ａｃで２以上の撮像画像が時間順次に取得されている状態で、第２ユーザＵ２の動作に応答して入力される信号に応じて、画像生成部３１３で出力用の画像を生成するモード（画像生成モードともいう）を切り換えることができる。切換部３１７では、例えば、画像生成モードが、第１画像生成モードと、第２画像生成モードと、第３画像生成モードと、の間で選択的に切り換えられ得る。これにより、例えば、２以上の撮像画像が時間順次に取得されている状態において、第２ユーザＵ２の意図に即した表示用の画像が生成および表示され得る。
【０１２４】
例えば、第１画像生成モードでは、画像生成部３１３は、取得部３ａｃで撮像画像が取得されるたびに、その撮像画像を用いて出力用の画像を準備することができる。
【０１２５】
ここで、例えば、図１４（ａ）で示されるように、太い二点鎖線の矢印で示される経路で撮像対象物Ｏｂ０を捉えた複数の撮像画像が取得されている場合を想定する。図１４（ａ）の例では、撮像対象物Ｏｂ０の領域Ａｉ１を捉えた複数の撮像画像が取得部３ａｃによって既に取得されている様子が示されている。このとき、例えば、時刻ｔ０に、図１４（ｂ）で示される撮像画像Ｉｔ０が取得部３ａｃで取得されれば、図１４（ｃ）で示されるように、撮像画像Ｉｔ０から出力用の画像が生成される。次に、例えば、時刻ｔ１に、図１４（ｄ）で示される撮像画像Ｉｔ１が取得部３ａｃで取得されれば、図１４（ｅ）で示されるように、撮像画像Ｉｔ１から出力用の画像が生成される。次に、例えば、時刻ｔ２に、図１４（ｆ）で示されるように、新たな撮像画像Ｉｔ２が取得部３ａｃで取得されていなければ、図１４（ｇ）で示されるように、撮像画像Ｉｔ１から出力用の画像が生成される。このような第１画像生成モードは、例えば、第２ユーザＵ２が特段、画像生成モードを変えるための操作を行わなかった場合に、選択され得る。
【０１２６】
例えば、第２画像生成モードでは、画像生成部３１３は、取得部３ａｃで既に取得されていた複数の撮像画像について、検出部３１２で検出される第１画像部分と第２画像部分とを合成することで、出力用の画像としての合成画像を生成することができる。
【０１２７】
ここでも、例えば、図１５（ａ）で示されるように、撮像対象物Ｏｂ０の領域Ａｉ１を捉えた複数の撮像画像が取得部３ａｃによって既に取得されている場合を想定する。この場合、例えば、まず、図１５（ａ）で示されるように、操作子である指Ｆｇ０による第２ユーザＵ２の表示画面Ｓｃ０に対するスワイプ操作によって、撮像対象物Ｏｂ０の既に撮像済みの領域Ａｉ１内に、表示対象領域Ａｒ２が設定される。このとき、図１５（ｂ）で示されるように、撮像対象物Ｏｂ０の表示対象領域Ａｒ２が捉えられた画像部分Ｉｐ２が表示画面Ｓｃ０に表示される。
【０１２８】
次に、例えば、図１５（ｂ）から図１５（ｃ）で示されるように、指Ｆｇ０による表示画面Ｓｃ０に対するスワイプ操作で、図１５（ａ）で示されるように、撮像対象物Ｏｂ０の撮像済みの領域Ａｉ１内で、表示対象領域Ａｒ２が表示対象領域Ａｒ３に変更される。このとき、図１５（ｂ）から図１５（ｃ）で示されるように、表示対象領域Ａｒ２が捉えられた画像部分Ｉｐ２が移動する。このとき、表示画面Ｓｃ０では、例えば、表示対象領域Ａｒ２を捉えた画像部分Ｉｐ２の一部が表示画面Ｓｃ０の外に消え、表示対象領域Ａｒ２の残部Ａｒ２１を捉えた画像部分（第４画像部分）Ｉｐ２１が表示される。また、図１５（ｃ）で示されるように、例えば、表示画面Ｓｃ０のうちの画像部分Ｉｐ２がずれて存在しなくなった部分については、撮像対象物の表示対象領域Ａｒ２と隣接する領域Ａｒ２２が捉えられた画像部分（第３画像部分）Ｉｐ２２が用いられて、合成画像が表示され得る。このとき、例えば、上述したように、画像生成部３１３によって第４画像部分Ｉｐ２１と第３画像部分Ｉｐ２２とが合成されて合成画像が生成され、この合成画像が表示部３５で表示される。このようにして、例えば、複数の撮像画像が取得されている途中であっても、第２ユーザＵ２は、表示画面Ｓｃ０に対するスワイプ操作によって、表示部２５の表示画面Ｓｃ０上に表示されている画像の範囲をスクロールさせることができる。
【０１２９】
例えば、第３画像生成モードでは、画像生成部３１３は、取得部３ａｃで既に取得されていた複数の撮像画像について検出部３１２で検出される第１画像部分と、直近に取得された撮像画像から検出部３１２で検出される第２画像部分と、を合成することができる。ここでは、第２画像部分は、例えば、取得部３ａｃによる撮像画像の取得に応答して、その撮像画像から検出部３１２によって検出され得る。そして、画像生成部３１３では、例えば、第１画像部分と第２画像部分とが合成されることで、出力用の画像としての合成画像が生成され得る。
【０１３０】
ここでも、例えば、図１６（ａ）で示されるように、撮像対象物Ｏｂ０の領域Ａｉ１を捉えた複数の撮像画像が取得部３ａｃによって既に取得されている場合を想定する。この場合、例えば、図１６（ａ）で示されるように、操作子である指Ｆｇ０による第２ユーザＵ２の表示画面Ｓｃ０に対するスワイプ操作によって、撮像対象物Ｏｂ０の既に撮像済みの領域Ａｉ１内に、表示対象領域Ａｒ２が設定される。このとき、図１６（ｂ）で示されるように、撮像対象物Ｏｂ０の表示対象領域Ａｒ２が捉えられた画像部分Ｉｐ２が表示画面Ｓｃ０に表示される。
【０１３１】
次に、例えば、図１６（ｂ）から図１６（ｃ）で示されるように、指Ｆｇ０による表示画面Ｓｃ０に対するスワイプ操作で、図１６（ａ）で示されるように、表示対象領域Ａｒ３が設定される。図１６（ａ）の例では、表示対象領域Ａｒ３は、撮像対象物Ｏｂ０の撮像済みの領域Ａｉ１と、新たに取得部３ａｃで取得される領域Ａｃｎとの境界部分を跨ぐように位置している。このとき、図１６（ｂ）から図１６（ｃ）で示されるように、表示対象領域Ａｒ２が捉えられた画像部分Ｉｐ２が移動する。このとき、表示画面Ｓｃ０では、例えば、表示対象領域Ａｒ２を捉えた画像部分Ｉｐ２の一部が表示画面Ｓｃ０の外に消え、表示対象領域Ａｒ２の残部Ａｒ２１を捉えた第４画像部分Ｉｐ２１が表示される。また、図１６（ｃ）で示されるように、例えば、表示画面Ｓｃ０のうちの画像部分Ｉｐ２がずれて存在しなくなった部分には、撮像対象物の表示対象領域Ａｒ２と隣接する領域Ａｒ２２が捉えられた第３画像部分Ｉｐ２２が用いられて、合成画像が表示され得る。
【０１３２】
但し、第３画像部分Ｉｐ２２については、取得部３ａｃで取得された撮像画像でカバーされていない部分がある。このため、例えば、撮像対象物Ｏｂ０の領域Ａｃｎを捉えた直近の撮像画像Ｉｃｎ（図１６（ｅ））が取得部３ａｃで取得されれば、その直近の撮像画像Ｉｃｎの一部分が合成画像の生成に使用され得る。そして、図１６（ｄ）で示されるように、出力用の画像としての合成画像が生成されて表示部３５に表示される。このようにして、例えば、複数の撮像画像が取得されている途中であっても、第２ユーザＵ２は、表示画面Ｓｃ０に対するスワイプ操作によって、表示部２５の表示画面Ｓｃ０上に表示されている画像の範囲をスクロールさせることができる。
【０１３３】
＜１−４．画像処理システムの動作フロー＞
＜１−４−１．複数回の撮像動作＞
図１７は、画像処理システム１において撮像対象物Ｏｂ０についての複数回の撮像の動作（撮像動作ともいう）を行う際における動作フローの一例を示す流れ図である。この動作フローは、例えば、第１ユーザＵ１による第１画像処理装置２０の入力部２ｉｎを介した信号の入力に応じて開始される。図１７の例では、複数回の撮像のうち、便宜的に２回の撮像動作を行う部分に着目した動作フローが示されている。図１８は、第１画像処理装置２０における１回の撮像動作における動作フローの一例を示す流れ図である。
【０１３４】
まず、図１７のステップＳ１では、例えば、第１画像処理装置２０において、第１ユーザＵ１による入力部２ｉｎを介した信号の入力に応答して、第１画像処理装置２０において撮像動作が行われる。撮像動作では、図１８のステップＳ１０１からステップＳ１０５の処理が順に行われる。ステップＳ１０１では、撮像部２１による撮像画像の取得および距離計測部２４１による距離画像（距離分布情報）の取得が行われる。ステップＳ１０２では、解像度算出部２１１によって、距離分布情報と撮像部２１の特性情報とに基づき、撮像対象物Ｏｂ０を捉えた画像部分の撮像解像度が算出される。ステップＳ１０３では、位置計測部２２１によって、撮像時の視点位置が計測され、視点位置情報が取得される。ステップＳ１０４では、方向計測部２３１によって、撮像時の視線方向が計測されて、視線方向情報が取得される。ステップＳ１０１の処理とステップＳ１０２の処理との組、ステップＳ１０３の処理およびステップＳ１０４の処理は、任意の順で実行されてもよいし、並行して実行されてもよい。ステップＳ１０５では、通信部２７によって、ステップＳ１０１で取得された撮像画像と、ステップＳ１０２からステップＳ１０４で取得された距離画像情報、視点位置情報および視線方向情報などの付属の情報（撮像付属情報ともいう）とが、第２装置３に送信される。
【０１３５】
次に、図１７のステップＳ２では、第１画像処理装置２０から通信回線４などを介して第２画像処理装置３０に、撮像画像および撮像付属情報が送信される。
【０１３６】
ステップＳ３では、第２画像処理装置３０において、取得部３ａｃの通信部３７によって、第１画像処理装置２０からの撮像画像と撮像付属情報とが受信され、撮像画像と撮像付属情報とが関連付けられた状態で記憶媒体３３０に記憶される。
【０１３７】
ステップＳ４では、第２画像処理装置３０において、ステップＳ３で受信および記憶された撮像画像が、表示部３５で可視的に出力される。
【０１３８】
続いて、ステップＳ５からステップＳ８では、上記ステップＳ１からステップＳ４と同様な処理が行われる。これにより、例えば、第２画像処理装置３０では、取得部３ａｃにより、視点位置および視線方向の組合せが相互に異なる条件で撮像対象物を撮像して得た複数の撮像画像と、各撮像画像の撮像時に係る視点位置情報および視線方向情報と、が取得される。
【０１３９】
＜１−４−２．撮像対象物の存在位置の推定＞
図１９は、第２画像処理装置３０の推定部３１１において、Ｍ枚（Ｍは２以上の自然数）の撮像画像で捉えられた撮像対象物Ｏｂ０の存在位置を推定する際における動作フローの一例を示す流れ図である。この動作フローは、例えば、図１７および図１８で示された複数回の撮像動作に係る動作フローが終了した後に開始されてもよいし、複数回の撮像動作に係る動作フローと並行して実行されてもよい。ここでは、例えば、ステップＳ１１からステップＳ１９の処理が行われることで、複数の撮像画像のそれぞれに係る視点位置情報と視線方向情報とに基づいて、撮像対象物の存在位置が推定される。
【０１４０】
ステップＳ１１では、撮像対象物Ｏｂ０を含む仮想的な対象空間Ｓｐ０が格子状に多数のボクセルＢｘ０に分割される。
【０１４１】
ステップＳ１２では、撮像画像の順番を規定する数値ｉが１に設定される。この数値ｉは、ｉ番目の撮像画像が処理の対象となっていることを意味している。
【０１４２】
ステップＳ１３では、ｉ番目の撮像画像について、記憶媒体３３０から視点位置ｐｉと視線方向ｖｉとが読み出される。例えば、ｉ＝１である場合には、ｉ番目の撮像画像について、記憶媒体３３０から視点位置ｐ１と視線方向ｖ１とが読み出される。
【０１４３】
ステップＳ１４では、ｉ番目の撮像画像に対し、視線方向ｖｉについて代表視線方向Ｖｊが求められる。
【０１４４】
ステップＳ１５では、ｉ番目の撮像画像について、対象空間Ｓｐ０で撮像時に視線が通っていた各ボクセルＢｘ０について、ステップＳ１４で求められた代表視線方向Ｖｊが有効とされる。撮影時の視線は、例えば、視点位置ｐｉと視線方向ｖｉとから求められる。
【０１４５】
ステップＳ１６では、数値ｉが数値Ｍに到達したか否か判定される。換言すれば、処理の対象となっているｉ番目の撮像画像が、Ｍ番目の撮像画像まで達したか否かが判定される。ここで、数値ｉが数値Ｍに到達していなければ、ステップＳ１７において、数値ｉが１つ増加されて、ステップＳ１３に戻る。また、数値ｉが数値Ｍに到達していれば、ステップＳ１８に進む。
【０１４６】
ステップＳ１８では、対象空間Ｓｐ０の各ボクセルＢｘ０について、有効な代表視線方向の数が認識される。
【０１４７】
ステップＳ１９では、閾値以上の数の代表視線方向が有効とされている１以上のボクセルＢｘ０が、撮像対象物Ｏｂ０の存在位置と推定される。
【０１４８】
＜１−４−３．表示画像の拡大および縮小＞
図２０は、第２画像処理装置３０において、記憶媒体３３０に記憶されている複数の撮像画像に基づいて表示部３５に表示されている画像の拡大および縮小を行う際における動作フローの一例を示す流れ図である。この動作フローは、例えば、図１９で示されたＭ枚の撮像画像で捉えられた撮像対象物Ｏｂ０の存在位置を推定する動作フローが終了した後に、実行され得る。
【０１４９】
ステップＳ２１では、第２ユーザＵ２の動作に応じた入力部３ｉｎによる信号の入力に応答して、領域設定部３１５によって、撮像対象物Ｏｂ０に対して表示対象領域が設定される。表示対象領域は、表示部３５に画像を可視的に出力したい領域である。
【０１５０】
ステップＳ２２では、マウスホイールの回転、ピンチアウトあるいはピンチインなどの画像の拡大または縮小に係る第２ユーザＵ２の動作に応じた入力部３ｉｎによる信号の入力に応答して、解像度設定部３１４によって、表示解像度（Ｒａ）が設定される。このとき、表示対象領域の大小が調整される。
【０１５１】
ステップＳ２３では、検出部３１２によって、表示対象領域を捉えた撮像画像について、ステップＳ２２で設定された表示解像度（Ｒａ）と、撮像解像度（Ｒｂ）とが比較される。
【０１５２】
ステップＳ２４では、検出部３１２によって、表示解像度（Ｒａ）が撮像解像度（Ｒｂ）よりも高いか否か判定される。ここで、表示解像度（Ｒａ）が撮像解像度（Ｒｂ）よりも高ければ、ステップＳ２５に進み、表示解像度（Ｒａ）が撮像解像度（Ｒｂ）よりも高くなければ、ステップＳ３０に進む。ここで、表示解像度（Ｒａ）が撮像解像度（Ｒｂ）よりも高ければ、表示解像度に対応する撮像画像が不足していることを意味している。
【０１５３】
ステップＳ２５では、情報生成部３１６によって、不足撮像画像の撮像を要求する撮像要求情報が生成され、この撮像要求情報が、出力部３ｏｕによって出力される。例えば、通信部３７によって、撮像要求情報が、通信回線４などを介して、第１画像処理装置２０に送信される。
【０１５４】
ステップＳ２６では、画像生成部３１３によって、表示解像度（Ｒａ）の画像の代わりに、画像ＤＢ３Ｉｄから撮像解像度（Ｒｂ）の撮像画像が取得され、ステップＳ２２で設定された表示解像度に対応する拡大画像が強制的に生成される。そして、この拡大画像が、表示部３５に仮に表示される。このとき、拡大画像を生成する際に、不足撮像画像の部分について、補間処理などで仮の拡大画像が生成されてもよい。
【０１５５】
ステップＳ２７では、表示部３５に、仮の拡大画像の部分について、画像の補充を待っている旨の表示が示される。
【０１５６】
ステップＳ２８では、取得部３ａｃによって、第１画像処理装置２０から送信される、撮像画像と撮像付属情報とが取得される。この撮像画像は、撮像要求に応じた画像である。
【０１５７】
ステップＳ２９では、制御部３００によって、表示解像度（Ｒａ）よりも低い撮像解像度（Ｒｂ）の撮像画像の代わりに、ステップＳ２８で取得された撮像画像が記憶媒体３３０の画像ＤＢ３Ｉｄに記憶される。ステップＳ２９の処理が終了すれば、ステップＳ２３に戻る。
【０１５８】
ステップＳ３０では、画像生成部３１３によって、ステップＳ２４で表示解像度（Ｒａ）よりも高いと判定された撮像解像度（Ｒｂ）を有する撮像画像から、ステップＳ２１およびステップＳ２２で設定された表示対象領域および表示解像度に対応する画像が生成され、表示部３５に表示される。
【０１５９】
＜１−４−４．不足撮像画像を補充する撮像＞
図２１は、画像処理システム１において撮像対象物Ｏｂ０に係る不足撮像画像の撮像を行う際における動作フローの一例を示す流れ図である。この動作フローは、例えば、第２画像処理装置３０における表示用の画像の生成に対する撮像画像の不足の検出に応答して開始される。図２１の例では、１枚の不足撮像画像の撮像が行われる動作フローが示されている。
【０１６０】
図２１のステップＳ３１では、第２画像処理装置３０において、上記図２０のステップＳ２５と同様に、情報生成部３１６によって、不足撮像画像の撮像を要求する撮像要求情報が生成される。
【０１６１】
ステップＳ３２では、第２画像処理装置３０において、通信部３７によって、ステップＳ３１で生成された撮像要求情報が、通信回線４などを介して送信されて、第１画像処理装置２０に受信される。
【０１６２】
ステップＳ３３では、第２画像処理装置３０において、画像生成部３１３によって、不足している撮像画像の代わりに、強制的な拡大画像、空白の部分または黒塗りの部分を含む仮の画像が生成されて、表示部３５によって仮の画像が表示される。
【０１６３】
ステップＳ３４では、第２画像処理装置３０において、上記図２０のステップＳ２７と同様に、第２画像処理装置３０において、表示部３５に、仮の画像の部分について、画像の補充を待っている旨の表示（撮像補充待機表示ともいう）が示される。
【０１６４】
ステップＳ３５では、第１画像処理装置２０において、指示生成部２１２によって、通信部２７で受信された撮像要求情報に基づいて、撮像指示を示す撮像指示情報を生成する。撮像指示情報には、例えば、撮像対象物Ｏｂ０に対する特定の視点位置および視線方向などが含まれる。撮像指示情報には、例えば、不足している撮像画像を撮像するための特定の視点位置および視線方向まで第１ユーザＵ１をガイドする地図などを含むガイド情報が含まれていてもよい。
【０１６５】
ここで、仮に、撮像要求情報が、撮像対象物Ｏｂ０上の領域（撮像対象領域ともいう）と希望の表示解像度とを示すものであれば、例えば、指示生成部２１２によって、撮像対象領域の撮像に適した視点位置が採り得る領域（撮像可能領域ともいう）Ｓａが算出される。また、例えば、指示生成部２１２によって、希望の表示解像度以上の撮像対象物Ｏｂ０についての撮像解像度の撮像に適した視点位置が採り得る領域（撮像可能領域）Ｓｂが算出される。そして、例えば、指示生成部２１２によって、撮像可能領域Ｓａと撮像可能領域Ｓｂとが重なる領域（撮像可能領域）Ｓｃが設定される。このとき、撮像指示情報には、例えば、撮像可能領域Ｓｃへ第１ユーザＵ１を移動させるようにガイドする情報が含まれ得る。
【０１６６】
ステップＳ３６では、第１画像処理装置２０において、出力部２ｏｕの表示部２５によって、ステップＳ３５で生成された撮像指示情報が可視的に出力される。ここでは、例えば、不足している撮影画像を撮像するための特定の視点位置および視線方向まで第１ユーザＵ１をガイドする情報が表示される。
【０１６７】
ステップＳ３７では、第１画像処理装置２０において、上記図１７のステップＳ１，Ｓ５と同様に、第１ユーザＵ１による入力部２ｉｎを介した信号の入力に応答して、第１画像処理装置２０において撮像動作が行われる。
【０１６８】
ステップＳ３８では、上記図１７のステップＳ２と同様に、第１画像処理装置２０から通信回線４などを介して第２画像処理装置３０に、撮像画像および撮像付属情報が送信される。
【０１６９】
ステップＳ３９では、上記図１７のステップＳ３と同様に、第２画像処理装置３０において、取得部３ａｃの通信部３７によって、第１画像処理装置２０からの撮像画像と撮像付属情報とが受信され、撮像画像と撮像付属情報とが関連付けられた状態で記憶媒体３３０に記憶される。
【０１７０】
ステップＳ４０では、上記図１７のステップＳ４と同様に、第２画像処理装置３０において、ステップＳ３９で受信および記憶された撮像画像に基づく画像部分が、ステップＳ３３で表示された仮の画像の部分と置換されるように、表示部３５で可視的に出力される。このとき、ステップＳ３４で表示された撮像補充待機表示も削除される。
【０１７１】
＜１−４−５．表示画像のスクロール＞
図２２から図２４は、第２画像処理装置３０において、記憶媒体３３０に記憶されている複数の撮像画像に基づいて表示部３５に表示されている画像のスクロールを行う際における動作フローの一例を示す流れ図である。ここでは、図１１で示されたような撮像対象物Ｏｂ０を撮像して、図１２（ａ）から図１２（ｄ）で示されたような撮像画像が取得され、図１３（ａ）から図１３（ｃ）で示されたような表示画面Ｓｃ０上で画像のスクロールを行うような例について説明する。この動作フローは、例えば、表示画面Ｓｃ０上でのスワイプ操作などによる表示対象領域の変更に応答して開始される。
【０１７２】
図２２のステップＳ４１では、検出部３１２によって、表示対象領域の変更前に表示画面Ｓｃ０で表示されていた画像で捉えられていた、撮像対象物Ｏｂ０の要素（要素Ａともいう）が認識される。ここでは、表示対象領域の変更前に表示画面Ｓｃ０に表示されていた画像では、要素Ａのみが捉えられていたものとする。ここで、要素Ａとしては、例えば、図１１の第１面ＳｆＡが採用される。
【０１７３】
ステップＳ４２では、検出部３１２によって、画像ＤＢ３Ｉｄ内の複数の撮像画像について、スワイプ操作などによる平行移動による変更後の表示対象領域に対応する、撮像対象物Ｏｂ０の部分が捉えられた画像部分が検索される。上述したように、表示対象領域は、例えば、視点位置情報、視線方向情報、撮像部２１の特性情報および撮像対象物Ｏｂ０の存在位置などに基づいて、対象空間Ｓｐ０における空間的な位置を示す座標で管理され得る。このため、例えば、複数の撮像画像について、視点位置情報および視線方向情報と、存在位置情報と、撮像部２１の特性情報と、に基づいて、表示対象領域に対応する撮像対象物Ｏｂ０が捉えられた画像部分が検索され得る。ここで、例えば、撮像画像に係る距離分布情報が加味されれば、撮影画像で捉えられた撮像対象物Ｏｂ０の部分の形状が認識可能であり、対象空間Ｓｐ０における表示対象領域の空間的な位置を示す座標の精度が高まり得る。これにより、表示対象領域に対応する撮像対象物Ｏｂ０が捉えられた画像部分が精度良く検索され得る。
【０１７４】
ステップＳ４３では、検出部３１２によって、ステップＳ４２において、平行移動による変更後の表示対象領域に対応する、画像部分が検出されたか否か判定される。ここで、画像部分が検出されていなければ、ステップＳ４４に進み、画像部分が検出されていれば、ステップＳ４５に進む。
【０１７５】
ステップＳ４４では、上記図２０のステップＳ２５と同様に、情報生成部３１６によって、不足撮像画像の撮像を要求する撮像要求情報が生成され、この撮像要求情報が、出力部３ｏｕによって出力される。具体的には、例えば、通信部３７によって、撮像要求情報が、通信回線４などを介して、第１画像処理装置２０に送信される。ここで、例えば、ステップＳ４３から進んできた場合には、不足撮像画像は、平行移動による変更後の表示対象領域に対応する撮像画像であればよい。例えば、後述する図２３のステップＳ５５から進んできた場合には、不足撮像画像は、要素Ｅが正面から捉えられた画像部分を含む撮像画像であればよい。例えば、後述する図２４のステップＳ６３から進んできた場合には、不足撮像画像は、後述する境界含有画像であればよい。例えば、後述する図２４のステップＳ６５から進んできた場合には、不足撮像画像は、要素Ｄが正面から捉えられた画像部分を含む撮像画像であればよい。ここで、ステップＳ４４の処理が行われた後、ステップＳ４２に戻る。このとき、画像処理システム１では、例えば、図２１で示されるような、撮像対象物Ｏｂ０に係る不足撮像画像の撮像を行う際における動作フローが実行される。
【０１７６】
ステップＳ４５では、検出部３１２によって、ステップＳ４２で検出された画像部分（検出画像部分ともいう）の解析が行われる。この解析では、例えば、検出画像部分において、撮像対象物Ｏｂ０を捉えた部分（対象部分ともいう）と、撮像対象物Ｏｂ０以外の領域（背景６００など）を捉えた部分（非対象部分ともいう）と、が検出される。ここでは、例えば、解析の対象となっている検出画像部分について、視点位置情報と、視線方向情報と、存在位置情報と、撮像部２１の特性情報と、に基づいて撮像対象物Ｏｂ０が捉えられた画像部分が認識され得る。これにより、検出画像部分が、撮像対象物Ｏｂ０を捉えた部分と背景６００を捉えた部分とに切り分けられる。このとき、例えば、距離分布情報が用いられれば、検出画像部分が、より精度良く、撮像対象物Ｏｂ０を捉えた部分と背景６００を捉えた部分とに切り分けられる。この場合、例えば、視点位置から撮像対象物Ｏｂ０までの距離が、視点位置から背景６００までの距離よりも明らかに短いことが利用される。
【０１７７】
ステップＳ４６では、検出部３１２によって、ステップＳ４５の解析結果に基づいて、検出画像部分に、撮像対象物Ｏｂ０以外の部分（背景６００など）に対応する非対象部分が存在しているか否かが判定される。ここで、検出画像部分に非対象部分が存在していなければ、図２３のステップＳ５１に進み、検出画像部分に非対象部分が存在していれば、図２４のステップＳ６１に進む。
【０１７８】
図２３のステップＳ５１では、検出部３１２によって、さらにステップＳ４２で検出された検出画像部分の解析が行われる。この解析では、例えば、ステップＳ４１で認識された要素Ａを捉えた画像部分と、要素Ａ以外の要素Ｅが捉えられた画像部分と、が検出される。要素Ｅとしては、例えば、図１１において第１面ＳｆＡと隣接している第２面ＳｆＢが採用される。ここでは、例えば、撮像対象物Ｏｂ０に係る存在位置情報と視点位置と視線方向と画角との組合せ、および距離分布情報の少なくとも一方に基づいて、要素Ａと要素Ｅとの境界を成す角部が検出され得る。これにより、要素Ａと要素Ｅとが区別され得る。
【０１７９】
ステップＳ５２では、検出部３１２によって、ステップＳ５１の解析結果に基づいて、検出画像部分に、要素Ａ以外の要素Ｅが捉えられた画像部分が存在するか否かが判定される。ここで、検出画像部分に要素Ｅが捉えられた画像部分が存在していなければ、ステップＳ５３に進み、検出画像部分に要素Ｅが捉えられた画像部分が存在していれば、ステップＳ５４に進む。
【０１８０】
ステップＳ５３では、表示部３５によって、表示画面Ｓｃ０に表示されている画像（表示画像ともいう）が、ステップＳ４２で検出された検出画像部分に更新される。これにより、例えば、第１面ＳｆＡのうちの平行移動後の表示対象領域に係る画像部分が、表示画面Ｓｃ０に表示され得る。
【０１８１】
ステップＳ５４では、検出部３１２によって、画像ＤＢ３Ｉｄ内の複数の撮像画像について、撮像対象物Ｏｂ０のうちの要素Ｅが正面から捉えられた画像部分が検索される。ここでは、要素Ｅが正面から捉えられているか否かは、例えば、要素Ｅに対して視線方向が略垂直であるか否かによって判別され得る。このとき、例えば、要素Ａとの境界である角部と接しており、検出画像部分において要素Ａを捉えた画像部分における撮像解像度以上の撮像解像度を有する、要素Ｅに係る画像部分が検索され得る。
【０１８２】
ステップＳ５５では、検出部３１２によって、ステップＳ５４の検索結果に基づいて、撮像対象物Ｏｂ０のうちの要素Ｅが正面から捉えられた画像部分が検出されたか否かが判定される。ここで、要素Ｅが正面から捉えられた画像部分が検出されていなければ、図２２のステップＳ４４に進む。要素Ｅが正面から捉えられた画像部分が検出されていれば、ステップＳ５６に進む。
【０１８３】
ステップＳ５６では、画像生成部３１３によって、ステップＳ４２で検出された検出画像部分についてステップＳ５１で検出された要素Ａに係る画像部分（第１画像部分に相当）と、ステップＳ５４で検出された要素Ｅに係る画像部分（第２画像部分に相当）と、が合成される。これにより、合成画像が生成される。このとき、例えば、第１画像部分と第２画像部分とが、要素Ａと要素Ｅとの境界に対応する部分を挟んで並べられるように合成されることで、合成画像が比較的少ない演算で生成され得る。ここでは、例えば、合成画像の外形が表示画面Ｓｃ０に適合するように第２画像部分の第１画像部分から離れた部分の外形が適宜調整されてもよい。
【０１８４】
ステップＳ５７では、表示部３５によって、表示画面Ｓｃ０に表示されている画像（表示画像ともいう）が、ステップＳ５６で生成された合成画像に更新される。
【０１８５】
ステップＳ６１では、検出部３１２によって、ステップＳ４２で検出された検出画像部分が、撮像対象物Ｏｂ０を捉えた画像部分Ｂと、撮像対象物Ｏｂ０以外を捉えた画像部分Ｃと、に分割される。これにより、第１画像部分としての画像部分Ｂが検出され得る。画像部分Ｃとしては、例えば、図１１の背景６００を捉えた画像部分が採用される。
【０１８６】
ステップＳ６２では、検出部３１２によって、画像ＤＢ３Ｉｄ内の複数の撮像画像について、画像部分Ｂに対応する撮像対象物Ｏｂ０の要素Ｂを捉えた画像部分を有し、残余の部分が撮像対象物Ｏｂ０の要素Ｄを捉えた境界含有画像が検索される。境界含有画像は、要素Ｂと要素Ｄとの境界を含む画像である。ここで、要素Ｂとしては、例えば、図１１の第１面ＳｆＡが採用される。要素Ｄとしては、例えば、図１１の第１面ＳｆＡと隣接している第２面ＳｆＢが採用される。ここでは、例えば、撮像対象物Ｏｂ０に係る存在位置情報と視点位置と視線方向と画角との組合せ、および距離分布情報の少なくとも一方に基づいて、要素Ｂと要素Ｄとの境界が検出され得る。これにより、各撮像画像が境界含有画像であるか否かが認識され得る。
【０１８７】
ステップＳ６３では、検出部３１２によって、境界含有画像が検出されたか否かが判定される。ここで、境界含有画像が検出されていれば、ステップＳ６４に進み、境界含有画像が検出されていなければ、図２２のステップＳ４４に進む。
【０１８８】
ステップＳ６４では、検出部３１２によって、画像ＤＢ３Ｉｄ内の複数の撮像画像について、撮像対象物Ｏｂ０のうちの要素Ｄが正面から捉えられた画像部分が検索される。ここでは、要素Ｄが正面から捉えられているか否かは、例えば、要素Ｄに対して視線方向が略垂直であるか否かによって判別され得る。このとき、例えば、要素Ｂとの境界である角部と接しており、検出画像部分において要素Ｂを捉えた画像部分における撮像解像度以上の撮像解像度を有する、要素Ｄに係る画像部分が検索され得る。
【０１８９】
ステップＳ６５では、検出部３１２によって、ステップＳ６４の検索結果に基づいて、撮像対象物Ｏｂ０の要素Ｄが正面から捉えられた画像部分が検出されたか否かが判定される。ここで、要素Ｄが正面から捉えられた画像部分が検出されていなければ、図２２のステップＳ４４に進む。要素Ｄが正面から捉えられた画像部分が検出されていれば、ステップＳ６６に進む。
【０１９０】
ステップＳ６６では、画像生成部３１３によって、ステップＳ６１の分割で認識された画像部分Ｂ（第１画像部分に相当）と、ステップＳ６４で検出された要素Ｄに係る画像部分（第２画像部分に相当）と、が合成される。これにより、合成画像が生成される。このとき、例えば、第１画像部分と第２画像部分とが要素Ｂと要素Ｄとの境界に対応する部分を挟んで並べられるように合成されることで、合成画像が比較的少ない演算で生成され得る。ここでは、例えば、合成画像の外形が表示画面Ｓｃ０に適合するように第２画像部分の第１画像部分から離れた部分の外形が適宜調整されてもよい。
【０１９１】
ステップＳ６７では、表示部３５によって、表示画面Ｓｃ０に表示されている画像（表示画像）が、ステップＳ６６で生成された合成画像に更新される。
【０１９２】
＜１−４−６．画像生成モードの切り換え＞
図２５は、第２画像処理装置３０において、取得部３ａｃで複数の撮像画像が時間順次に取得されている状態で、画像生成モードが切り換えられる動作フローの一例を示す流れ図である。
【０１９３】
ステップＳ７１では、領域設定部３１５によって、第２ユーザＵ２の動作に応答して入力される信号に応じた表示対象領域の変更が受け付けられる。
【０１９４】
ステップＳ７２では、領域設定部３１５によって、表示対象領域が変更されたか否かが判定される。ここで、表示対象領域の変更があれば、ステップＳ７３に進む。一方、表示対象領域の変更がなければ、切換部３１７によって、画像生成モードが、上述した第１画像生成モードに設定され、ステップＳ７７に進む。
【０１９５】
ステップＳ７３では、領域設定部３１５によって、表示用の画像を生成するために、追加の撮像の要否が確認される。ここでは、例えば、図１５で示されたように、変更後の表示対象領域が、撮像対象物Ｏｂ０のうちの既に撮像された領域Ａｉ１に含まれていれば、追加の撮像の必要はない。一方、例えば、図１６で示されたように、変更後の表示対象領域が、撮像対象物Ｏｂ０の領域Ａｉ１から外れた部分を有していれば、追加の撮像が必要である。
【０１９６】
ステップＳ７４では、領域設定部３１５によって、ステップＳ７３の確認結果に応じて、追加の撮像が必要でなければ、ステップＳ７５に進む。このとき、切換部３１７によって、画像生成モードが、上述した第２画像生成モードに設定される。追加の撮像が必要であれば、ステップＳ７６に進む。このとき、切換部３１７によって、画像生成モードが、上述した第３画像生成モードに設定される。
【０１９７】
ステップＳ７５では、画像生成部３１３によって、図１５で示されたように、取得部３ａｃで既に取得されていた複数の撮像画像について、検出部３１２で検出される第１画像部分と第２画像部分とが合成される。これにより、出力用の画像としての合成画像が生成される。
【０１９８】
ステップＳ７６では、画像生成部３１３によって、図１６で示されたように、取得部３ａｃで既に取得されていた複数の撮像画像について検出部３１２で検出される第１画像部分と、直近に取得された撮像画像から検出部３１２で検出される第２画像部分と、が合成される。これにより、出力用の画像としての合成画像が生成される。
【０１９９】
ステップＳ７７では、取得部３ａｃによって、第１装置２からの撮像画像の受信が確認される。
【０２００】
ステップＳ７８では、取得部３ａｃによって、第１装置２からの撮像画像の受信があったか否か判定される。ここで、第１装置２からの撮像画像が受信されなければ、本動作フローが終了する。一方、第１装置２からの撮像画像が受信されれば、ステップＳ７９に進む。
【０２０１】
ステップＳ７９では、画像生成部３１３によって、取得部３ａｃによって直近に受信された撮像画像から出力用の画像が生成される。
【０２０２】
このように、第１画像生成モードでは、例えば、画像生成部３１３によって、取得部３ａｃで撮像画像が取得されるたびに、その撮像画像が用いられて出力用の画像が準備される。これにより、撮像画像が得られる度に表示される、リアルタイム表示が実現され得る。
【０２０３】
＜１−５．第１実施形態のまとめ＞
以上のように、第１実施形態に係る画像処理システム１および第２画像処理装置３０では、例えば、複数の撮像画像と、各撮像画像についての撮像時の視点位置情報および視線方向情報とが取得される。各撮像画像に係る視点位置情報と視線方向情報とに基づいて、撮像対象物Ｏｂ０の存在位置が推定される。複数の撮像画像について、視点位置情報および視線方向情報と、推定された撮像対象物Ｏｂ０の存在位置の情報と、撮像部２１の特性情報と、に基づいて、撮像対象物Ｏｂ０における第１領域を第１視点位置から第１視線方向で捉えた第１画像部分と、撮像対象物Ｏｂ０における第１領域とは異なる第２領域を第１視点位置とは異なる第２視点位置から第１視線方向とは異なる第２視線方向で捉えた第２画像部分と、が検出される。そして、検出された第１画像部分と第２画像部分とが合成されることで、合成画像が生成され得る。
【０２０４】
ここでは、例えば、撮像対象物Ｏｂ０を相互に異なる方向から撮像して得られた第１画像部分と第２画像部分とが並べられるように合成される。これにより、例えば、撮像対象物Ｏｂ０を周囲の複数の角度から捉えた擬似的な３次元画像である合成画像が比較的少ない演算量で容易に取得され得る。したがって、例えば、撮像対象物を周囲の様々な角度から見た画像を得る画像処理における演算量が低減され得る。このため、例えば、演算を行うプロセッサなどを有効活用することができる。また、例えば、プロセッサにおいて合成画像の生成に要する時間が短くなり、プロセッサを用いた他の処理を阻害しにくい。その結果、画像処理システム１および第２画像処理装置３０の使い勝手が良くなる。
【０２０５】
また、例えば、第１ユーザＵ１が、第１画像処理装置２０を用いて撮像対象物Ｏｂ０について複数回の一連の撮像を行って、複数の撮像画像を蓄積しておけば、第２ユーザＵ２は、表示部３５に表示される画像を任意にスクロールさせることができる。このため、例えば、第１ユーザＵ１に多大な作業を強いることなく、第２ユーザＵ２は自分のペースで撮像対象物Ｏｂ０を周囲の様々な角度から確認することができる。このため、例えば、第１ユーザＵ１および第２ユーザＵ２にとって、作業効率が向上し得る。さらに、ここでは、擬似的な３次元画像である合成画像の生成によって、比較的少ない演算量で、撮像対象物Ｏｂ０を周囲の様々な角度から見た画像を容易に得ることができる。
【０２０６】
＜２．他の実施形態＞
本開示は上述の第１実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
【０２０７】
＜２−１．第２実施形態＞
上記第１実施形態では、第１画像処理装置２０で撮像対象物Ｏｂ０の撮像が行われ、第２画像処理装置３０で複数の撮像画像を用いた合成画像の生成および表示が行われた。これに対して、例えば、第１画像処理装置２０において、撮像対象物Ｏｂ０の撮像が行われ、さらに、複数の撮像画像を用いた合成画像の生成および表示が行われてもよい。このような構成が採用されれば、例えば、１台の装置において、複数の撮像画像を取得するための撮像から撮像対象物を周囲の様々な角度から見た画像を得る画像処理まで容易に実行することができる。
【０２０８】
具体的には、図２６で示されるように、第２実施形態に係る第１画像処理装置２０Ａは、例えば、上記第１実施形態に係る第１画像処理装置２０の機能に加えて、上記第１実施形態に係る第２画像処理装置３０と同様な機能を有していてもよい。ここでは、上記第１実施形態に係る第２画像処理装置３０と同様な機能には、例えば、推定部３１１、検出部３１２、画像生成部３１３、解像度設定部３１４、領域設定部３１５、情報生成部３１６および切換部３１７などの機能的な構成が含まれる。第２実施形態に係る第１画像処理装置２０Ａでは、例えば、出力部２ｏｕが出力部３ｏｕと同様な役割を果たし、入力部２ｉｎが入力部３ｉｎと同様な役割を果たし、取得部２ａｃが取得部３ａｃと同様な役割を果たす。また、例えば、情報生成部３１６で生成される不足撮像画像の撮像を要求する撮像要求情報に基づいて、指示生成部２１２によって、撮像要求情報などに基づき、要求に応じた指示を示す撮像指示情報が生成される。例えば、この撮像指示情報の可視的な出力は、出力部２ｏｕの表示部２５において実施され得る。
【０２０９】
＜３．その他＞
上記各実施形態では、例えば、合成画像の生成に用いられる第１画像部分および第２画像部分は、撮像対象物Ｏｂ０の相互に隣接する第１領域および第２領域が捉えられたものでなくてもよい。例えば、撮像対象物Ｏｂ０のうち、第１面ＳｆＡと第２面ＳｆＢとの境界にある角部を挟むように、第１領域と第２領域とが位置していてもよい。ここで、角部としては、例えば、曲率を有するＲ面または面取りがなされたＣ面の部分が採用され得る。このような構成が採用されれば、図１３（ａ）から図１３（ｃ）で示された表示画像をスクロールさせる様子は、図２７（ａ）から図２７（ｃ）で示された表示画像をスクロールさせる様子となり得る。図２７（ｂ）および図２７（ｃ）の合成画像では、第１面ＳｆＡに係る第１画像部分Ｉｐａと、第２面ＳｆＢに係る第１画像部分Ｉｐｂと、の間に、角部に相当する空白の部分が存在している。さらに、例えば、この空白の部分を設けることなく、第１面ＳｆＡに係る第１画像部分Ｉｐａと、第２面ＳｆＢに係る第１画像部分Ｉｐｂと、を隙間無く並べるように、合成画像が生成されてもよい。
【０２１０】
上記各実施形態では、例えば、合成画像は、表示に必要であるタイミングで一時的に生成されてもよいし、一旦生成された合成画像は、記憶媒体２３０，３３０などに蓄積されてもよい。
【０２１１】
上記各実施形態では、例えば、撮像対象物Ｏｂ０の各面を正面から捉えた第１画像部分と第２画像部分とを合成することで、合成画像を生成してもよいし、撮像対象物Ｏｂ０の各面を異なる方向から捉えた第１画像部分と第２画像部分とが合成されてもよい。
【０２１２】
上記各実施形態では、例えば、撮像対象物Ｏｂ０の異なる面の２以上の画像部分が合成されることなく、表示画面Ｓｃ０の中心部分の画像部分で捉えられた面の画像が選択的に表示画面Ｓｃ０に表示されてもよい。このとき、例えば、表示画面Ｓｃ０における画像のスクロールにより、表示画面Ｓｃ０の中心部分を、第１面ＳｆＡを捉えた画像部分の端部が通過したタイミングで、表示画面Ｓｃ０に第２面ＳｆＢを捉えた画像部分が表示され始めるような態様が考えられる。
【０２１３】
上記各実施形態では、例えば、第１ユーザＵ１は、現場作業者だけに限られず、例えば、立体的な撮像対象物を撮像する者（撮像者ともいう）一般であってもよい。
【０２１４】
上記各実施形態では、例えば、第２ユーザＵ２は、機器担当者だけに限られず、例えば、立体的な撮像対象物を周囲の様々な角度から見た画像を観察する者（観察者ともいう）一般であってもよい。
【０２１５】
上記各実施形態では、例えば、撮像対象物Ｏｂ０は、例えば、容易に近づくことができない古墳の石棺などであってもよいし、服飾、バッグ、頭髪などのその他の周囲からの観察が可能な立体的な形状を有するもの一般であってもよい。
【０２１６】
上記各実施形態では、例えば、第２画像処理装置３０は、本体部と表示部３５とが分割された形態とされてもよい。この場合には、例えば、本体部と表示部３５とが通信可能に接続される態様が採用され得る。また、例えば、第１画像処理装置２０Ａは、本体部と表示部２５とが分割された形態とされてもよい。この場合には、例えば、本体部と表示部２５とが通信可能に接続される態様が採用され得る。
【０２１７】
上記各実施形態では、例えば、画像ＤＢ２Ｉｄ，３Ｉｄは、第１装置２の記憶媒体２３０および第２装置３の記憶媒体３３０において構築される必要はなく、各種サーバ、あるいはクラウドコンピューティングの概念における各種記憶媒体で構築されてもよい。
【０２１８】
上記各実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
【符号の説明】
【０２１９】
１  画像処理システム
２  第１装置
２Ｐｒ，３Ｐｒ  制御プログラム
２ａｃ，３ａｃ  取得部
２ｉｎ，３ｉｎ  入力部
２ｏｕ，３ｏｕ  出力部
３  第２装置
３ｒｅ  受信部
４  通信回線
２０，２０Ａ  第１画像処理装置
２１  撮像部
２２  位置センサ
２３  方向センサ
２４  測距センサ
２５，３５  表示部
２７，３７  通信部
３０  第２画像処理装置
２００，３００  制御部
２１０，３１０  ＣＰＵ
２１１  解像度算出部
２１２  指示生成部
２２１  位置計測部
２３０，３３０  記憶媒体
２３１  方向計測部
２４１  距離計測部
３１１  推定部
３１２  検出部
３１３  画像生成部
３１４  解像度設定部
３１５  領域設定部
３１６  情報生成部
３１７  切換部
Ａｉ１，Ａｒ０，Ａｒ１  領域
Ａｒ２  表示対象領域（既表示領域）
Ａｒ２１  残部
Ａｒ３  表示対象領域
Ａｒ２２  非表示領域
２Ｉｄ，３Ｉｄ  画像データベース（画像ＤＢ）
Ｉｍ１１，Ｉｍ１２，Ｉｍ１３，Ｉｍ１４，Ｉｔ０，Ｉｔ１，Ｉｔ２  撮像画像
Ｉｐ０，Ｉｐ１，Ｉｐ２，Ｉｐ２１，Ｉｐ２２  画像部分
Ｉｐ２１  画像部分（第４画像部分）
Ｉｐ２２  画像部分（第３画像部分）
Ｏｂ０  撮像対象物
Ｕ１  第１ユーザ
Ｕ２  第２ユーザ
【図１】
2018205863.tif 000003
【図２】
2018205863.tif 000004
【図３】
2018205863.tif 000005
【図４】
2018205863.tif 000006
【図５】
2018205863.tif 000007
【図６】
2018205863.tif 000008
【図７】
2018205863.tif 000009
【図８】
2018205863.tif 000010
【図９】
2018205863.tif 000011
【図１０】
2018205863.tif 000012
【図１１】
2018205863.tif 000013
【図１２】
2018205863.tif 000014
【図１３】
2018205863.tif 000015
【図１４】
2018205863.tif 000016
【図１５】
2018205863.tif 000017
【図１６】
2018205863.tif 000018
【図１７】
2018205863.tif 000019
【図１８】
2018205863.tif 000020
【図１９】
2018205863.tif 000021
【図２０】
2018205863.tif 000022
【図２１】
2018205863.tif 000023
【図２２】
2018205863.tif 000024
【図２３】
2018205863.tif 000025
【図２４】
2018205863.tif 000026
【図２５】
2018205863.tif 000027
【図２６】
2018205863.tif 000028
【図２７】
2018205863.tif 000029