(57)【要約】【課題】状況を記録した画像を、より簡易な方法で管理する画像表示制御装置、画像表示制御方法、及びプログラムを提供する。【解決手段】画像表示制御装置は、第１カメラの撮影に基づいて生成された第１画像と、第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、前記第２画像から生成された背景画像とに基づいて、前記第２画像における前記第１画像の撮影者の位置と前記第１画像の撮影者の注視点の位置との関係を示すオブジェクトを前記背景画像上に配置する制御部を備えるを備える。【選択図】図８
2018157256.tif 000002
【特許請求の範囲】
【請求項１】
第１カメラの撮影に基づいて生成された第１画像と、
第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、
前記第２画像から生成された背景画像とに基づいて、
前記第２画像における前記第１画像の撮影者の位置と前記第１画像の撮影者の注視点の位置との関係を示すオブジェクトを前記背景画像上に配置する制御部
を備える画像表示制御装置。
【請求項２】
前記制御部は、
前記第１画像に対応付けられる前記オブジェクトを、前記第２画像における前記第１画像の撮影者の位置を基準にして、前記背景画像上に配置する、
請求項１に記載の画像表示制御装置。
【請求項３】
前記制御部は、
前記第１画像の位置に対応付けて配置される前記オブジェクトを、前記第２画像における前記第１画像の撮影者の視点の位置を基準にして、前記背景画像上に配置する、
請求項１に記載の画像表示制御装置。
【請求項４】
前記制御部は、
前記第１画像の撮影者の注視点の位置に対応付けられる前記第１画像を、前記背景画像上に配置する、
請求項１から請求項３の何れか１項に記載の画像表示制御装置。
【請求項５】
第１カメラの撮影に基づいて生成された第１画像と、
第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、
前記第２画像から生成された背景画像とに基づいて、
前記第２画像における前記第１画像の撮影者の位置と前記第１画像の撮影者の注視点の位置との関係を示すオブジェクトを前記背景画像上に制御部が配置するステップ
を含む画像表示制御方法。
【請求項６】
第１カメラの撮影に基づいて生成された第１画像と、
第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、
前記第２画像から生成された背景画像とに基づいて、
前記第２画像における前記第１画像の撮影者の位置と前記第１画像の撮影者の注視点の位置との関係を示すオブジェクトを前記背景画像上に制御部が配置するステップ
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示制御装置、画像表示制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、建物等の施設において、その施設の現在の状況をカメラ等で撮影して、その画像を画像管理装置により管理する画像管理方法が知られている。このような画像管理方法では、複数の画像を台帳に収めて管理することがある。この台帳を参照することにより、例えば、工事の施工記録や現地調査の記録等の施設の状況を収めた画像を参照することができる。そのような用途で利用される台帳には、画像の他、その画像の説明資料等が含まれることがある。画像の説明資料には、例えば、撮影者がその画像を撮影した地点等を記録に残すように、その周辺を示す平面図等が含まれており、その平面図中にはその画像の識別番号、その画像を撮影した地点等が記載されることがある。
【０００３】
また、１回の撮影操作で、撮影地点の周囲の状況を１つの全周囲画像に収める技術が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−９５８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮影の現場では、撮影の都度、平面図等に撮影の記録としてのメモを残しながら目的の作業を行い、また、現場を引き上げてから、上記のような台帳を作成することがある。このように撮影中の作業も台帳を作成する作業も、撮影した画像の数量の増加に伴い増大し、煩雑になることがある。
また、全周囲画像では、撮影地点から目的の対象物（被写体）までの距離が遠くなると、その対象物の状況を、必要とされる解像度で記録することができないことがある。これに対し、必要とされる解像度の画像が得られるように目的の対象物に接近して撮影することにすると、全周囲画像としての特徴を有効に利用することができずに画像の数量が増えてしまい、個別の画像を複数撮影する場合と同様に煩雑になることがある。
【０００６】
本発明が解決しようとする課題は、状況を記録した画像を、より簡易な方法で管理する画像表示制御装置、画像表示制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
（１）本発明の一態様の画像表示制御装置は、第１カメラの撮影に基づいて生成された第１画像と、第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、前記第２画像から生成された背景画像とに基づいて、前記第２画像における前記第１画像の撮影者の位置と前記第１画像の撮影者の注視点の位置との関係を示すオブジェクトを前記背景画像上に配置する制御部を備える画像表示制御装置である。
（２）また、上記の画像表示制御装置における前記制御部は、前記第１画像に対応付けられる前記オブジェクトを、前記第２画像における前記第１画像の撮影者の位置を基準にして、前記背景画像上に配置する。
（３）また、上記の画像表示制御装置における前記制御部は、前記第１画像の位置に対応付けて配置される前記オブジェクトを、前記第２画像における前記第１画像の撮影者の視点の位置を基準にして、前記背景画像上に配置する。
（４）また、上記の画像表示制御装置における前記制御部は、前記第１画像の撮影者の注視点の位置に対応付けられる前記第１画像を、前記背景画像上に配置する。
（５）また、本発明の一態様の画像表示制御方法は、第１カメラの撮影に基づいて生成された第１画像と、第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、前記第２画像から生成された背景画像とに基づいて、前記第２画像における前記第１画像の撮影者の位置と前記第１画像の撮影者の注視点の位置との関係を示すオブジェクトを前記背景画像上に制御部が配置するステップを含む画像表示制御方法である。
（６）また、本発明の一態様のプログラムは、第１カメラの撮影に基づいて生成された第１画像と、第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、前記第２画像から生成された背景画像とに基づいて、前記第２画像における前記第１画像の撮影者の位置と前記第１画像の撮影者の注視点の位置との関係を示すオブジェクトを前記背景画像上に制御部が配置するステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【０００８】
本発明によれば、状況を記録した画像を、より簡易な方法で管理する画像表示制御装置、画像表示制御方法、及びプログラムを提供できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る画像管理システムの概要を説明するための図である。
【図２】実施形態に係る第２画像の一例について説明するための図である。
【図３】実施形態に係る画像表示制御装置の構成図である。
【図４】実施形態に係る画像表示制御装置の機能構成を示す図である。
【図５】実施形態の背景画像の一例について説明するための図である。
【図６】実施形態に係る画像形成の手順を示すフローチャートである。
【図７】実施形態に係る画像形成の処理の概要を説明するための図である。
【図８】実施形態の表示画像ＤＢ２１３の一例について説明するための図である。
【図９】実施形態の表示画像ＤＢ２１３の一例について説明するための図である。
【図１０】実施形態に係る背景画像の形成に関する処理の手順を示すフローチャートである。
【図１１】実施形態の撮影方向の推定処理の手順を示すフローチャートである。
【図１２】実施形態の第１画像を撮影者Ｕ１の位置に関連付けて背景画像上に表示する処理により生成される表示の一例を示す図である。
【図１３】実施形態の第１カメラ１１０の代表的な事例を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態の画像表示制御装置、画像表示制御方法、及びプログラムについて、添付図面を参照して説明する。
【００１１】
（第１の実施形態）
図１は、本発明の実施形態に係る画像管理システムの概要を説明するための図である。
図１に示す画像管理システム１は、第１カメラ１１０と、第２カメラ１２０と、画像表示制御装置２００とを含む。例えば、撮影者Ｕ１が施設２内の対象領域１０においてその状況を記録することを例示して、本実施形態について説明する。
【００１２】
第１カメラ１１０は、図１に示していない撮像素子、光学系、信号処理部、記憶部、通信部等を含めて構成される。第１カメラ１１０は、光学系を経て届いた光を撮像素子が検出し、信号処理部の処理を経て第１画像を生成する。その第１画像は、静止画像又は動画像の何れでもよい。例えば、第１カメラ１１０は、比較的高精細な画像を撮影することを可能とするものである。このような第１カメラ１１０は、所謂デジタルカメラ、スマートフォン等の携帯型の装置として構成されていてもよい。第１カメラ１１０は、撮影して得た第１画像を、通信部を介して送信してもよく、それを記憶媒体に書き込み、外部の装置に提供可能にしてもよい。
【００１３】
実施形態の第１カメラ１１０は、例えば撮影者Ｕ１によって携行され、撮影者Ｕ１の操作等により撮影して第１画像を生成する。例えば、カメラで撮影する一般的な要領と同様の方法で、撮影者Ｕ１は、第１カメラ１１０を手で支持して撮影する。つまり、第１カメラ１１０が撮影する方向は、撮影者Ｕ１により決定され、第１画像には、撮影者Ｕ１が決定した方向の撮影可能画角の範囲内に位置する被写体が撮影される。
【００１４】
第２カメラ１２０は、図１に示していない撮像素子、光学系、信号処理部、記憶部、通信部等を含めて構成される。第２カメラ１２０は、光学系を経て届いた光を撮像素子が検出し、信号処理部の処理を経て第２画像を生成する。その第２画像は、静止画像又は動画像の何れでもよい。
【００１５】
第２カメラ１２０は、例えば、第１カメラ１１０を用いて撮影する撮影者Ｕ１の位置の近傍に、当該第２カメラ１２０の位置を固定又は半固定にして配置され、配置された位置の周囲の画像を撮影して第２画像を生成する。例えば、第２カメラ１２０は、少なくとも撮影者Ｕ１又は第１カメラ１１０の移動に伴って移動しないポール、三脚、雲台等により支持された状態で、その所定の期間に渡って撮影する。上記の所定の期間は、撮影者Ｕ１が第１カメラ１１０を用いて、撮影する行為を１又は複数回実施する期間、１又は複数の静止画像を撮影する期間、連続性のある１又は複数の動画像を撮影する期間等の内の少なくとも何れかを含むように決定される。このようにして、第２カメラ１２０は、その位置を固定又は半固定にした状態で撮影することができる。なお、第２カメラ１２０は、その撮影後に移動することが制限されることはなく、例えば、走行等の方法で移動する移動手段を備えるものであれば、第２カメラ１２０が移動手段により移動してもよい。
【００１６】
上記のように第２カメラ１２０の撮影方向、画角、配置される位置等の撮影条件は、第１画像の撮影者Ｕ１又は第１カメラ１１０が映り込むように決定され、第１画像の水平画角が第２画像の水平画角より狭くなるように調整されている。第２カメラ１２０は、少なくとも第１カメラ１１０から第１画像の撮影実施の通知を受けて、その撮影に同期して静止画像を撮影するか、第１カメラ１１０の撮影前に録画開始の通知などに応じて動画像を記録するように、撮影条件が制限される。
【００１７】
例えば、第２カメラ１２０は、比較的広い画角で撮影することを可能とする光学系を有し、所謂パノラマ画像、全周囲画像、正距円筒図法による画像（以下、正距円筒画像という。）等の撮影を可能とするものである。なお、第２カメラ１２０は、複数の撮像素子を有していて、それぞれの撮像素子により撮影された画像を合成して、上記のような画像（第２画像）を生成してもよい。このような第２カメラ１２０は、所謂デジタルカメラ、スマートフォン等の携帯型の装置として構成されていてもよい。第２カメラ１２０は、撮影して得た第２画像等を、通信部を介して送信してもよく、それを記憶媒体に書き込み、外部の装置に提供可能にしてもよい。
【００１８】
図２は、実施形態に係る第２画像の一例について説明するための図である。
この図２に示す画像は、正距円筒画像の一例であり、図２（ａ）と図２（ｂ）にそれぞれ示す第２画像（ＰＩＣ２）は、互いに異なる時刻で撮影されたものの一例である。この図２に示すように、撮影者Ｕ１が、第１カメラ１１０を携帯して、第２カメラ１２０の近傍を移動して、第１カメラ１１０を用いて目的の第１画像を撮影したことが、各第２画像に記録されている。
【００１９】
図３は、実施形態に係る画像表示制御装置の構成図である。画像表示制御装置２００は、例えば、ＣＰＵ２００Ａと、ＲＡＭ（Random Access Memory）２００Ｂと、不揮発性記憶装置２００Ｃと、可搬型記憶媒体収納部２００Ｄと、入出力装置２００Ｅと、通信インターフェース２００Ｆとを備える。画像表示制御装置２００は、ＣＰＵ２００Ａに代えて、任意の形態のプロセッサを備えてもよいし、図２に示した各構成要素のうち一部を省略してもよい。
【００２０】
ＣＰＵ２００Ａは、不揮発性記憶装置２００Ｃに格納されたプログラム、又は可搬型記憶媒体収納部２００Ｄに装着された可搬型記憶媒体に格納されたデータをＲＡＭ２００Ｂに展開して実行することで、以下に説明する種々の処理を行う。ＲＡＭ２００Ｂは、ＣＰＵ２００Ａによってワーキングエリアとして使用される。不揮発性記憶装置２００Ｃは、例えば、ＨＤＤやフラッシュメモリ、ＲＯＭ（Read Only Memory）などである。可搬型記憶媒体収納部２００Ｄには、ＳＤカード又はＳＩＭカードなどの可搬型記憶媒体が装着される。入出力装置２００Ｅは、例えば、タッチパネル、表示装置などを含む。通信インターフェース２００Ｆは、ネットワークＮＷに接続され、画像表示制御装置２００における通信を制御する。
【００２１】
図４を参照して、実施形態に係る画像表示制御装置２００の機能構成について説明する。図４は、実施形態に係る画像表示制御装置２００の機能構成を示す図である。画像表示制御装置２００は、記憶部２１０と、制御部２２０とを備える。
【００２２】
記憶部２１０は、取得した第１画像（ＰＩＣ１）と第２画像（ＰＩＣ２）が関連付けられて格納される撮影画像ＤＢ２１１、第２画像に対応する背景画像（ＰＩＣＢＧ）が格納される背景画像ＤＢ２１２、表示画像に係るデータが格納される表示画像ＤＢ２１３等を格納する。
【００２３】
制御部２２０は、受付処理部２２１と、画像取得部２２２（取得部）と、位置抽出部２２３と、表示制御部２２４と、通信処理部２２５と，撮影方向推定部２２６とを備える。これらの機能部は、例えば、ＣＰＵ２００Ａがプログラムを実行することにより実現される。また、これらの機能部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。
【００２４】
受付処理部２２１は、入出力装置２００Ｅによって検出された撮影者Ｕ１などのユーザの操作を受け付ける。例えば、受付処理部２２１は、入出力装置２００Ｅにより表示された画像上のボタンなどを選択する操作を検出して、ユーザの操作として受け付ける。受付処理部２２１は、検出したユーザの操作に基づいた処理を、制御部２２０における各部に実行させる。
【００２５】
画像取得部２２２は、第１カメラ１１０から第１画像を取得し、第２カメラ１２０から第２画像を取得して撮影画像ＤＢ２１１に格納する。なお、実施形態の画像取得部２２２は、第２カメラ１２０から背景画像を取得して背景画像ＤＢ２１２に格納する。図５は、実施形態の背景画像の一例について説明するための図である。
【００２６】
位置抽出部２２３は、撮影画像ＤＢ２１１に格納された少なくとも１つの第２画像に基づいて、第１画像の撮影者Ｕ１又は第１カメラ１１０の位置を抽出する。
【００２７】
本実施形態の位置抽出部２２３は、第２画像に基づいて、第１画像の撮影者Ｕ１又は第１カメラ１１０の位置を抽出する。
【００２８】
表示制御部２２４は、第１画像等を、位置抽出部２２３によって抽出された位置に関連付けて、背景画像上に表示するように制御する。その詳細については後述する。
【００２９】
通信処理部２２５は、ネットワークに接続され、第１カメラ１１０、第２カメラ１２０、端末装置等と通信を制御する。
【００３０】
撮影方向推定部２２６は、第１カメラ１１０が撮影して第１画像を生成する際の、第１カメラ１１０の光学系１１２の光軸が向けられている方向を推定する。推定方法の詳細については後述する。
【００３１】
図６と図７を参照して、実施形態に係る画像形成の手順について説明する。
図６は、実施形態に係る画像形成の手順を示すフローチャートである。図７は、実施形態に係る画像形成の処理の概要を説明するための図である。
【００３２】
まず、撮影者Ｕ１等により、所望の位置に第２カメラ１２０が配置される（ステップＳＡ１０）。
次に、第１カメラ１１０と第２カメラ１２０とが、第１画像と第２画像とを対応付けるように撮影する（ステップＳＡ２０）。例えば、第１カメラ１１０は、撮影して第１画像を生成する際に、撮影時刻を示す時刻情報を合わせて記録する。第２カメラ１２０は、撮影して第２画像を生成する際に、撮影時刻を示す時刻情報を合わせて記録する。第１画像に関する時刻情報と第２画像に関する時刻情報とに基づいて、それぞれに対応付けることを可能にする。なお、第１カメラ１１０は、撮影時に第２カメラ１２０に対して、静止画像の撮影指示を送り、第２カメラ１２０に撮影させてもよい。
【００３３】
次に、画像取得部２２２は、第１画像、第２画像をそれぞれのカメラから取得して（ステップＳＡ３０）、それぞれを記憶部２１０に格納する。
【００３４】
次に、位置抽出部２２３は、第２画像から撮影者Ｕ１又は前記第１カメラの位置を特定し、前記第１画像の撮影者又は前記第１カメラの位置情報を抽出する（ステップＳＡ４０）。例えば、位置抽出部２２３は、撮影者Ｕ１の頭部の位置又は第１カメラの位置を特定して、撮影者Ｕ１の位置としてもよい。位置抽出部２２３は、撮影者Ｕ１の頭部の位置を、第２画像上の撮影者Ｕ１の頭部の像の範囲の重心に対応付けてもよい。又は、位置抽出部２２３は、第１カメラの位置を、第２画像上の第１カメラの像の範囲の重心に対応付けてもよい。
【００３５】
次に、表示制御部２２４は、背景画像の有無について判定する（ステップＳＡ４２）。ステップＳＡ４２において、背景画像が有る場合には、表示制御部２２４は、処理をステップＳ５０に進める。ステップＳＡ４２において、背景画像が無い場合には、表示制御部２２４は、第２画像に基づいて背景画像を生成する（ステップＳＡ４４）。
【００３６】
ステップＳ４４の処理を終えた後、又は、ステップＳＡ４２において背景画像が有ると判定された後に、表示制御部２２４は、第２画像から抽出した位置情報に基づいて、背景画像上に、第１画像の撮影者Ｕ１に対応するオブジェクトを表示するように制御する。例えば、上記のオブジェクトは、第１画像の縮小版である所謂サムネイル画像であってもよい。これにより、表示制御部２２４は、第１画像を、上記の位置に関連付けて背景画像上に表示する（ステップＳＡ５０）。
【００３７】
次に、表示制御部２２４は、第１画像の位置の変更する要求の有無について判定する（ステップＳＡ６０）。第１画像の位置の変更する要求が有る場合、第１画像の位置の変更する指示を受け付けて、その指示に従い背景画像上の第１画像の位置を変更する（ステップＳＡ７０）。
ステップＳＡ６０において第１画像の位置の変更する要求が無いと判定された場合、又は、ステップＳＡ７０の処理を終えた後に、図６に示す一連の処理を終える。なお、上記の手順は一例を示すものであり、上記の手順に従い順に処理を実施することの他、一部の処理の順序を替えて実施してもよく、並行して実施してもよい。
【００３８】
なお、表示制御部２２４は、背景画像、第１画像、撮影者Ｕ１の像等を、互いに異なるレイヤにそれぞれ割り付けて、各レイヤに割り付けた像を表示するか表示しないかの処理を、上記のレイヤ単位に実施するようにしてもよい。
図８と図９は、実施形態の表示画像ＤＢ２１３の一例について説明するための図である。
【００３９】
図８に示すように、画像は、例えば、複数のレイヤで構成される。各レイヤには、背景画像のレイヤＬＢＧ、第１画像のレイヤＬＰＩＣ１−１、視点から注視点に向かう方向を示す矢印状の象（以下、矢印ＡＲ１−１という）を含むレイヤＬＡ１、撮影者Ｕ１の像のレイヤＬＵ１−１等が含まれる。背景画像上に表示する第１画像に対応する、第１画像のレイヤＬＰＩＣ１−１と、撮影者Ｕ１の像のレイヤＬＵ１−１と、上記の矢印ＡＲ１−１を含むレイヤＬＡ１は組にして管理される。
なお、第１画像のレイヤＬＰＩＣ１−１と、撮影者Ｕ１の像のレイヤＬＵ１−１と、上記の矢印ＡＲ１−１を含むレイヤＬＡ１は、撮影者Ｕ１に対応付けて設けられていてもよく、各撮影者に共通するように設けられていてもよい。前者の場合、第１画像のレイヤＬＰＩＣ１−１と、撮影者Ｕ１の像のレイヤＬＵ１−１と、上記の矢印ＡＲ１−１を含むレイヤＬＡ１を含む組が撮影者ごとに設けられることにより、少なくとも撮影者の人数分の組数以上用意するとよい。後者の場合、第１画像のレイヤＬＰＩＣ１−１と、撮影者Ｕ１の像のレイヤＬＵ１−１と、上記の矢印ＡＲ１−１を含むレイヤＬＡ１を含む組を、少なくとも１組用意するとよい。
【００４０】
図９に示すように表示画像ＤＢ２１３には、背景画像、第１画像、撮影者、矢印等の像を対応付けるためのデータと、背景画像ＰＩＣＢＧにおける第１画像ＰＩＣ１−１、撮影者Ｕ１の像、視点から注視点に向かう方向を示す矢印ＡＲ１−１等の位置を示すデータとが対応付けられて、表示画像に係るデータとして格納される。
【００４１】
図１０を参照して、実施形態に係る背景画像の形成に関する処理の手順について説明する。図１０は、実施形態に係る背景画像の形成に関する処理の手順を示すフローチャートである。
【００４２】
まず、表示制御部２２４は、撮影者Ｕ１等の移動する被写体が存在する状況か否かを問わずに、撮影時刻が異なるように所定の時間間隔を空けて複数の第２画像を撮影する（ステップＳＡ４４２）。この複数の第２画像とは、複数の静止画像であってもよく、一連の動画像の内の異なる時刻の画像であってもよい。以下、これらを纏めて「複数の第２画像」と呼ぶ。なお、下記の背景画像を生成する処理に適した複数の第２画像が既に格納されている場合には、このステップの処理を省略することができる。背景画像を生成する処理に適した複数の第２画像とは、動体の像の範囲が互いに重ならない画像であることを必要条件とするものである。
【００４３】
次に、表示制御部２２４は、複数の第２画像に基づいて、背景差分等の手法により動体を検出して、その動体の像を画像から削除するとともに、その削除した範囲を移動しない被写体の像で補うように画像を合成する画像処理の手法により背景画像を生成し（ステップＳＡ４４４）、背景画像ＤＢに格納する。
【００４４】
続いて、上記の「第２画像から撮影者Ｕ１の位置を特定する処理」（ステップＳＡ４０）と、「第１画像を撮影者Ｕ１の位置に関連付けて背景画像上に表示する処理」（ステップＳＡ５０）と、「背景画像上の第１画像の位置を変更する処理」（ステップＳＡ７０）とに関するより具体的な事例について説明する。
【００４５】
［第２画像から撮影者Ｕ１の位置を特定する処理］
位置抽出部２２３は、撮影者Ｕ１の位置を、下記の何れかの方法で特定する。
【００４６】
・第２画像と背景画像に基づく処理
位置抽出部２２３は、第２画像と背景画像に基づき、第２画像と背景画像の差を取り、その差があった位置に動体が存在すると推定し、推定した動体に対して識別情報（動体ＩＤ）を付与する。なお、位置抽出部２２３は、検出した動体を人として特定してもよく、予め定められた条件を満たす場合に、その動体を人として特定してもよい。
【００４７】
・撮影時刻が互いに異なる複数の第２画像に基づく処理
位置抽出部２２３は、撮影時刻が互いに異なる複数の第２画像に基づき、互いの画像の差を取り、その差があった位置に動体が存在すると推定し、特定した動体に対して識別情報（動体ＩＤ）を付与する。なお、位置抽出部２２３は、検出した動体を人として特定してもよく、予め定められた条件を満たす場合に、その動体を人として特定してもよい。
【００４８】
例えば、上記の何れかの方法に基づいて特定した動体に対してそれを代表する代表点を予め定める。位置抽出部２２３は、その代表点の位置を検出する。位置抽出部２２３は、上記の識別情報（動体ＩＤ）と、代表点の位置とを関連付けて、それらを撮影者Ｕ１の位置を示す情報として扱う。
【００４９】
［第１画像を撮影者Ｕ１の位置に関連付けて背景画像上に表示する処理］
実施形態の撮影方向推定部２２６は、第１カメラ１１０が撮影した際の撮影方向を、下記の何れかの方法で推定し、その結果に基づいて第１画像を配置する。
・第１カメラ１１０に内蔵されたセンサを利用する方法
・第２カメラ１２０によって撮像された第１カメラ１１０の画像に基づいて推定する方法
【００５０】
なお、第１カメラ１１０が撮影した際の撮影方向は、例えば、撮影者Ｕ１が第１カメラ１１０を利用して撮影した際の撮影方向であってもよい。以下の説明では、上記の撮影方向を、第１カメラ１１０の光学系の光軸の方向に一致するものとして説明する。
【００５１】
（第１カメラ１１０に内蔵されたセンサを利用して、撮影方向を推定する方法）
本実施形態では、第１カメラ１１０に内蔵されたセンサを利用して、撮影方向を推定する方法について説明する。
この方法は、少なくとも撮影時の第１カメラ１１０の姿勢と、第２画像に基づいて抽出される撮影者Ｕ１又は第１カメラ１１０の位置とに基づいて、撮影方向を推定するものである。
【００５２】
図１１は、実施形態の撮影方向の推定処理の手順を示すフローチャートである。
【００５３】
まず、撮影方向推定部２２６は、撮影時の第１カメラ１１０の姿勢を、第１カメラ１１０が備える各種センサにより検出する（ステップＳＡ５２）。
例えば、第１カメラ１１０は、自装置の姿勢を検出可能とする各種センサを備えるものである。その各種センサは、第１カメラ１１０の姿勢の変化に応じて変化する物理量を検出して出力する。第１カメラ１１０は、上記の各種センサが検出した物理量の検出値に基づくセンサデータを、第１画像の属性データに、第１画像を撮影する際に追加する。センサデータとは、検出値そのものであってもよく、検出値に基づいてそれを変換して生成されたものであってもよい。
【００５４】
次に、撮影方向推定部２２６は、画像表示制御装置２００が第１カメラ１１０から取得する第１画像には、属性情報が付与されており、その属性情報には上記のようなセンサデータが含まれる。画像表示制御装置２００の表示制御部２２４は、第１カメラ１１０から取得したデータから、第１画像を撮影する時の第１カメラ１１０の姿勢を推定し（ステップＳＡ５４）、図に示す一連の処理を終える。
【００５５】
上記の手順により、撮影方向推定部２２６は、撮影方向を推定する。
【００５６】
なお、撮影方向推定部２２６は、第１カメラ１１０が備えているセンサの種類により、下記のように処理をしてもよい。
【００５７】
例えば、第１カメラ１１０が３次元加速度センサを備えている場合には、表示制御部２２４は、３次元加速度センサに関するセンサデータｄ１から、第１カメラ１１０本体の３次元空間における姿勢を推定してもよい。なお、この３次元加速度センサに関するセンサデータｄ１に基づいた推定では、鉛直方向（Ｚ軸方向）を基準にした傾きが導出される。
【００５８】
また、第１カメラ１１０が磁気センサを備えている場合には、表示制御部２２４は、磁気センサに関するセンサデータｄ２から、第１カメラ１１０本体の周囲環境の磁気に対する第１カメラ１１０本体の方向を推定してもよい。例えば、第１カメラ１１０本体の周囲環境の磁気を地磁気によるものとすれば、絶対方位に対する方向を推定することができる。
【００５９】
なお、上記の他、第１カメラ１１０が光センサ１１５（図１４）等を備えている場合には、表示制御部２２４は、光センサ１１５に関するセンサデータｄ３から、第１カメラ１１０本体の周囲環境の明るさを基準にして第１カメラ１１０本体の方向を推定してもよい。例えば、天井に照明が有ると仮定すれば、検出した天井と床の明るさのバランスから、第１カメラ１１０本体の傾きを検出することができる。
【００６０】
更に、撮影方向推定部２２６は、３次元加速度センサ、磁気センサなどの複数種類（ｎ種類）のセンサを組み合わせて、例えば、下記に示すような方法で第１カメラ１１０の姿勢を推定してもよい。
【００６１】
各種センサからのセンサデータ（ｄ１、ｄ２、・・・ｄｎ）を変数にとる関数Ｆを用いることにより、第１カメラ１１０の姿勢を式（１）のように表すことができる。ｄ１、ｄ２、・・・ｄｎの各変数は、それぞれが、３次元方向のデータを持つベクトルであると仮定する。
【００６２】
ＶＣｙ＝Ｆ（ｄ１、ｄ２、・・・ｄｎ）      ・・・（１）
【００６３】
上記の式（１）において、ＶＣｙは、ＸＹＺ軸を用いて規定される実空間におけるベクトルであって、第１カメラ１１０の光軸の方向に関する推定値である。例えば、関数Ｆは、上記のセンサデータｄ１が示す第１カメラ１１０の傾きと、基準の方向とＺ軸周りに転回した上記のセンサデータｄ２が示す方向とが為す角度（例えば、方位）とを変数にとる場合、これらに基づいて上記の推定値ＶＣｙを導出するものである。
【００６４】
ＶＣｙ＝（ｘｃｅ、ｙｃｅ、ｚｃｅ）Ｔ      ・・・（２）
【００６５】
なお、上記の式（２）におけるｘｃｅ、ｙｃｅ、ｚｃｅは、３次元座標系におけるＸＹＺ方向の各成分である。添え字の「Ｔ」は、転置ベクトルを示す。
【００６６】
この第１カメラ１１０の光軸の方向に関する推定値ＶＣｙを、第３画像を成す面に射影して、撮影者Ｕ１の視線の方向に関する推定値ＶＬＳｙを得る。推定値ＶＬＳｙは、式（３）により導出してもよい。
【００６７】
ＶＬＳｙ＝（ｘＬＳｅ、ｚＬＳｅ）Ｔ      ・・・（３）
【００６８】
上記の式（３）において、ｘＬＳｅ、ｚＬＳｅは、例えば、第３画像を平面に射影した面の２次元座標系におけるｘｚ方向の各成分である。
【００６９】
撮影方向推定部２２６は、上記の図９に示す一連の処理を終える。
【００７０】
（第２画像に基づいて抽出される像に基づいて撮影方向を推定する方法）
次に、第２画像に基づいて抽出される像に基づいて撮影方向を推定する方法について説明する。画像表示制御装置２００は、設定又は操作などにより、上記の「第１カメラ１１０に内蔵されたセンサを利用して撮影方向を推定する方法」に代えて、下記の方法をとってもよい。
例えば、画像表示制御装置２００は、少なくとも撮影時の第１画像の撮影者Ｕ１又は第１カメラ１１０の像を第２画像から抽出し、第２画像に基づいて抽出される像の位置と、その像に基づいて推定される第１カメラ１１０の姿勢の推定結果とに基づいて、撮影方向を推定する事例を挙げて説明する。
【００７１】
例えば、第２カメラによって撮像された第２画像には、第１画像の撮影者Ｕ１又は第１カメラ１１０が映り込んでいる。前述の撮影者Ｕ１は、動体として特定される。第２画像における動体の位置の近傍の画像を対象範囲に含む。画像表示制御装置２００の撮影方向推定部２２６は、対象範囲の画像から、撮影者Ｕ１又は第１カメラ１１０の像を抽出し、それぞれの姿勢から、第１カメラ１１０の姿勢を推定する。第１カメラ１１０には、様々な形状を有するものがある。
【００７２】
図１３は、実施形態の第１カメラ１１０の代表的な事例を説明するための図である。
図１３（ａ）に、第１カメラ１１０の本体１１１から突出する鏡筒１１３を有するタイプの一例を示し、図１３（ｂ）に第１カメラ１１０が鏡筒を有していないタイプの一例を示す。鏡筒１１３に、光学系１１２が収納される。
【００７３】
このような第１カメラ１１０は、図１３（ａ）のように鏡筒１１３を有するタイプのものであってもよく、鏡筒１１３と同様の鏡筒を有していない図１３（ｂ）のようなタイプのものであってもよい。撮影方向推定部２２６は、第１カメラ１１０のタイプに合せて下記のような処理をするとよい。第１カメラ１１０のタイプは、予め決定されていてもよく、撮影方向推定部２２６が、第１画像の付加情報、又は、第２画像から抽出した結果に基づいて決定してもよい。
【００７４】
例えば、図１３（ａ）に示すように鏡筒１１３を有するタイプのものであれば、鏡筒１１３の軸を光学系１１２の光軸ＣＬとみなして、その方向を撮影方向とする。
【００７５】
また、例えば、図１３（ｂ）に示すように鏡筒を有していないタイプのものであれば、撮影者Ｕ１に支持された第１カメラ１１０の本体１１１を直方体ＲＥＣとみなして近似するとよい。撮影方向推定部２２６は、直方体ＲＥＣを形成する各面の内から、面の法線Ｎが撮影者Ｕ１の頭部から遠ざかる方向に向いた面ＦＳを選択し、その面の法線Ｎの方向を光学系１１２の光軸ＣＬの方向とみなす。このタイプに属する第１カメラ１１０は、上記の光学系１１２の光軸ＣＬは、上記のとおり面ＦＳの法線Ｎの方向に一致することが多いことから、撮影方向推定部２２６は、その法線Ｎの方向を撮影方向として扱うことができる。
【００７６】
また、第１カメラ１１０の本体１１１（直方体ＲＥＣ）を挟み、面ＦＳに対する面ＢＳには、図１３（ｃ）に示すように画像をモニタする表示部１１４が設けられており、撮影者Ｕ１は、その表示部１１４に表示されたモニタ画像を確認しながら撮影方向を調整することが多い。
【００７７】
撮影方向推定部２２６は、上記のような撮影者Ｕ１が撮影時にとる姿勢の特徴を抽出することにより、撮影方向を検出する。
【００７８】
これにより、制御部２２０は、第１画像ＰＩＣ１の撮影者Ｕ１又は第１カメラ１１０の像に基づいて、第１画像ＰＩＣ１の撮影者Ｕ１又は第１カメラ１１０の姿勢を推定することにより、第２カメラ１２０によって撮像された画像に基づいて、撮影方向を推定することができる。
【００７９】
［表示］
図１２を参照して、実施形態の第１画像を撮影者Ｕ１の位置に関連付けて背景画像上に表示する処理について説明する。図１２は、実施形態の第１画像を撮影者Ｕ１の位置に関連付けて背景画像上に表示する処理により生成される表示の一例を示す図である。
符号ＰＩＣＢＧは、背景画像として表示する画像の範囲を示す。この画像は、上記第２画像に対応する背景画像に基づくものであり、例えば、正距円筒画像である。以下に示す各画像は、位置抽出部２２３が抽出した第１画像の撮影者Ｕ１又は前記第１カメラ１１０の位置に基づいて、表示制御部２２４によって、背景画像上に前記第１画像を重ねて表示するための処理が実行されて生成される。
【００８０】
図１２（ａ）における画像ＰＩＣＢＧ上の一部に、第１画像を示すオブジェクト（ＰＩＣ１）と撮影者Ｕ１等の像と矢印ＡＲ１−１とが配置されている。例えば、この第１画像を示すオブジェクト（ＰＩＣ１−１）は、第１画像を縮小した画像、所謂サムネイル画像である。なお、このオブジェクトを上記のサムネイル画像に代えて、第１画像を示すアイコンにしてもよい。また、この撮影者Ｕ１等の像は、第２画像から抽出された撮影者Ｕ１等の像に基づくものであり、撮影者Ｕ１が撮影した位置に対応する位置を画像ＰＩＣＢＧ上に示すものである。また、この矢印ＡＲ１−１は、第２画像から抽出された撮影者Ｕ１等の像に基づくものであり、撮影者Ｕ１が撮影した方向を画像ＰＩＣＢＧ上に示すものである。
【００８１】
例えば、表示制御部２２４は、撮影方向推定部２２６による推定の結果に基づいて、画像ＰＩＣＢＧ上にオブジェクト（ＰＩＣ１）と撮影者Ｕ１等の像と矢印ＡＲ１−１とを配置する。表示制御部２２４は、オブジェクト（ＰＩＣ１）と矢印ＡＲ１−１の位置を、上記の推定の結果である撮影者Ｕ１等の像の位置を基準にして決定する。表示制御部２２４は、オブジェクト（ＰＩＣ１）の位置と矢印ＡＲ１−１の矢印の向きを、撮影者Ｕ１が第１カメラ１１０の光学系の光軸を向けて撮影した方向に対応する方向に決定する。例えば、矢印ＡＲ１−１の根元にある円の中心が、撮影者Ｕ１の視点の位置の推定位置に、矢印ＡＲ１−１の方向が、撮影者Ｕ１が撮影した方向に決定されている。このようにして、画像ＰＩＣＢＧ上にオブジェクト（ＰＩＣ１）を配置する位置と、矢印ＡＲ１−１の位置と向きを決定することにより、上記のオブジェクト（ＰＩＣ１）と矢印ＡＲ１−１とを、撮影者Ｕ１が第１カメラ１１０を利用して撮影する被写体に近づけて表示することができる。
【００８２】
なお、この撮影者Ｕ１等の像は、操作により当該画像内に表示させてもよく、表示を消したりすることができる。
【００８３】
図１２（ｂ）における画像ＰＩＣＢＧ上の一部に、第１画像を示すオブジェクトと撮影者Ｕ１等の像を半透明化した象が配置されている。
例えば、図１２（ａ）に示したように、撮影者Ｕ１等の像の表示を、表示又は非表示を切り替えることの他に、半透明化して表示してもよい。なお、半透明化して表示することに代えて、撮影者Ｕ１等の像の輪郭（シルエット）を表示するようにしてもよい。
【００８４】
なお、画像表示制御装置２００は、上記の各画像の表示の種類を、ユーザの操作等に基づいて予め択一的に選択することができ、又は、複数の種類をユーザの操作等に基づいて選択し、切り替えて表示することができる。
【００８５】
上記の実施形態によれば、画像表示制御装置２００は、第１カメラ１１０の撮影に基づいて生成された第１画像（ＰＩＣ１）と、第２カメラ１２０の撮影に基づいて生成され、第１画像の撮影者Ｕ１又は第１カメラが映り込んでいる第２画像（ＰＩＣ２）と、第２画像から生成された背景画像（ＰＩＣＢＧ）と、を記憶部２１０から取得し、第２画像に基づいて、第２画像における第１画像の撮影者Ｕ１の位置と第１画像の撮影者Ｕ１の注視点の位置との関係を示すオブジェクトを、制御部２２０が背景画像上に配置することにより、状況を記録した画像を、より簡易な方法で管理することができる。
【００８６】
また、制御部２２０は、第１画像に対応付けられるオブジェクトを、第２画像における第１画像の撮影者の位置を基準にして、背景画像上に配置することにより、第１画像に対応付けられるオブジェクトを、第１画像の撮影者の位置を基準にして、背景画像上に表示することができる。
【００８７】
また、制御部２２０は、第１画像の位置に対応付けて配置されるオブジェクトを、第２画像における第１画像の撮影者の視点の位置を基準にして、背景画像上に配置することにより、第１画像の撮影者の視点の位置を基準にして、第１画像を背景画像上に表示することができる。
【００８８】
また、制御部２２０は、第１画像の撮影者Ｕ１の注視点の位置に対応付けられる第１画像を、背景画像上に配置することにより、第１画像の撮影者Ｕ１の注視点の方向に第１画像を背景画像上に表示することができる。
【００８９】
なお、画像表示制御装置２００を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより建物２等において撮影された画像を管理するための処理動作を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００９０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、ネットワークや通信回線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００９１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００９２】
１…画像管理システム、２…建物、１００…カメラ、１１０…第１カメラ、１２０…第２カメラ、２００…画像表示制御装置、２１０…記憶部、２２０…制御部、２２１…受付処理部、２２２…画像取得部（取得部）、２２３…位置抽出部、２２４…表示制御部、２２５…通信処理部、２２６…撮影方向推定部
【図１】
2018157256.tif 000003
【図２】
2018157256.tif 000004
【図３】
2018157256.tif 000005
【図４】
2018157256.tif 000006
【図５】
2018157256.tif 000007
【図６】
2018157256.tif 000008
【図７】
2018157256.tif 000009
【図８】
2018157256.tif 000010
【図９】
2018157256.tif 000011
【図１０】
2018157256.tif 000012
【図１１】
2018157256.tif 000013
【図１２】
2018157256.tif 000014
【図１３】
2018157256.tif 000015