(57)【要約】【課題】位置を検出するための専用機器を用いることなく、屋内にいる人間の位置を検出することができる位置検出装置を提供する。【解決手段】建物内で撮像された画像を、撮像位置を検出する対象を示す対象画像として取得する画像取得部と、前記対象画像が撮像された撮像位置を、前記対象画像から前記撮像位置を推定する位置検出モデルを用いて検出する位置検出部とを備える。【選択図】図１
2019139642.tif 000002
【特許請求の範囲】
【請求項１】
建物内で撮像された画像を、撮像位置を検出する対象を示す対象画像として取得する画像取得部と、
前記対象画像が撮像された撮像位置を、前記対象画像から前記撮像位置を推定する位置検出モデルを用いて検出する位置検出部と
を備える
ことを特徴とする位置検出装置。
【請求項２】
前記位置検出モデルは、建物内を撮像した学習用画像に当該学習用画像を撮像した撮像位置を示す情報が付された学習データを用いて機械学習を実行することにより作成された学習モデルである
ことを特徴とする請求項１に記載の位置検出装置。
【請求項３】
前記位置検出部により検出された撮像位置を示す情報を、前記対象画像を識別する情報とともに記憶する位置情報記憶部
を更に備える
ことを特徴とする請求項１又は請求項２に記載の位置検出装置。
【請求項４】
請求項１又は請求項２に記載の位置検出装置と、
建物内を撮像した学習用画像に、当該学習用画像を撮像した撮像位置を示す情報が付された学習データを用いて機械学習を実行することにより、画像が撮像された撮像位置を検出するための位置検出モデルを作成する学習サーバと
を備える
ことを特徴とする位置検出システム。
【請求項５】
画像取得部が、建物内で撮像された画像を、撮像位置を検出する対象を示す対象画像として取得し、
位置検出部が、前記対象画像が撮像された撮像位置を、前記対象画像から前記撮像位置を推定する位置検出モデルを用いて検出する
ことを特徴とする位置検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像位置を検出する位置検出装置、位置検出システム、及び位置検出方法に関する。
【背景技術】
【０００２】
従来、建物内などにおいて、人間の位置を検出する方法は、各種検討されている。例えば、ビーコン、無線タグ、ｗｉｆｉ（ワイファイ）電波、地磁気、ＩＭＥＳ（Indoor MESsaging System）、ＰＨＳ（Personal Handy-phone System）等の通信端末技術や、この組合せでの構成が多い（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２１４８３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した人間の位置を検出する方法には、共通する欠点として、人間の各々が携帯する自身の位置を示す専用機器を常時携帯する必要があり、又は電波あるいは光学的に位置検出を行う位置検出センサなどの専用機器を建物内に配置する必要があり、装置コストがかかるという問題がある。
【０００５】
上述の課題を鑑み、本発明は、位置を検出するための専用機器を用いることなく、屋内にいる人間の位置を検出することができる位置検出装置、位置検出システム、及び位置検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために、本発明の一態様に係る位置検出装置は、建物内で撮像された画像を、撮像位置を検出する対象を示す対象画像として取得する画像取得部と、前記対象画像が撮像された撮像位置を、前記対象画像から前記撮像位置を推定する位置検出モデルを用いて検出する位置検出部とを備えることを特徴とする。
【０００７】
また、本発明の一態様の位置検出装置では、前記位置検出モデルは、建物内を撮像した学習用画像に当該学習用画像を撮像した撮像位置を示す情報が付された学習データを用いて機械学習を実行することにより作成された学習モデルであることを特徴とする。
【０００８】
また、本発明の一態様の位置検出装置では、前記対象画像を識別する情報とともに記憶する位置情報記憶部を更に備えることを特徴とする。
【０００９】
また、本発明の一態様の位置検出システムでは、上述した位置検出装置と、建物内を撮像した学習用画像に、当該学習用画像を撮像した撮像位置を示す情報が付された学習データを用いて機械学習を実行することにより、画像が撮像された撮像位置を検出するための撮像位置検出モデルを作成する学習サーバとを備えることを特徴とする。
【００１０】
また、本発明の一態様の位置検出方法では、画像取得部が、建物内で撮像された画像を、撮像位置を検出する対象を示す対象画像として取得し、位置検出部が、前記対象画像が撮像された撮像位置を、前記対象画像から前記撮像位置を推定する位置検出モデルを用いて検出することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、位置を検出するための専用機器を用いることなく、屋内にいる人間の位置を検出することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態の位置検出システム１の構成例を示すブロック図である。
【図２】実施形態のカメラ１２が屋内を撮像する例を示すイメージ図である。
【図３】実施形態のカメラ１２により撮像された対象画像の一例を示す図である。
【図４】実施形態の学習サーバ１１により用いられる学習データの一例を示す図である。
【図５】実施形態の位置検出システム１が位置を検出する処理の流れについて説明するシーケンスチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態による位置検出装置、位置検出システム、及び位置検出方法を説明する。
図１は、実施形態の位置検出システム１の構成例を示すブロック図である。位置検出システム１は、位置検出装置１０、学習サーバ１１、及びカメラ１２の各々を備えている。本実施形態においては、位置検出システム１にはカメラ１２が複数台備えられている場合を例示したが、位置検出システム１には少なくとも一台のカメラ１２が備えられていればよい。
また、位置検出装置１０、学習サーバ１１、及びカメラ１２の各々は、それぞれインターネットやローカルエリアネットワークなどを含む情報通信網５００に接続され、相互にデータの送受信を行う。学習サーバ１１は、建物内に設置されたオンプレミス（on-premises）によるサーバ装置であってもよいし、情報通信網５００に接続された外部のクラウドコンピューティングによるサーバ装置であってもよい。
【００１４】
本実施形態では、カメラ１２の各々は、建物内を移動することが可能なカメラである。カメラ１２は、例えば、建物内にいる人間が携帯する携帯機器（スマートフォンなど含む）に備えられた撮像装置である。或いは、カメラ１２は、移動体（例えば、移動ロボットや人間）に搭載されて移動する撮像装置である。
カメラ１２は、例えば、建物内を巡回する巡回ロボットに備え付けられた３６０度カメラや、警備員の肩あるいは頭部などに備えられた撮像装置であってもよい。カメラ１２は、巡回ロボットや警備員がいる位置から撮像された建物内の風景を示す撮像画像を、巡回ロボットや警備員の撮像装置に備えられた通信機能を介して位置検出装置１０や学習サーバ１１に送信する。
【００１５】
位置検出装置１０は、撮像画像取得部１０１、位置検出部１０２、撮像画像記憶部１０３、及び位置情報記憶部１０４の各々を備えている。
撮像画像取得部１０１は、建物内においてカメラ１２の各々が撮像する撮像画像を、それぞれのカメラ１２から情報通信網５００を介して取得する。ここで、撮像画像取得部１０１は、「画像取得部」の一例である。また、撮像画像取得部１０１により取得される撮像画像は、撮像位置を検出する対象となる画像であり、「対象画像」の一例である。
【００１６】
撮像画像取得部１０１は、カメラ１２の各々から取得した撮像画像を、位置検出部１０２に対して出力するともに、撮像画像記憶部１０３に対して、カメラ１２のカメラ識別情報とタイムスタンプ（時刻情報）とを付加して書き込んで記憶させる。
【００１７】
位置検出部１０２は、撮像画像取得部１０１から供給される撮像画像における撮像位置を、位置検出モデルを用いて検出する。位置検出部１０２は、例えば、カメラ１２が携帯端末装置に備えられた撮像装置である場合、建物内におけるその携帯端末の位置を、位置検出モデルを用いて検出する。位置検出モデルは、後述する学習サーバ１１により生成される学習済みモデルである。位置検出モデルについては、後で詳しく説明する。
位置検出部１０２は、検出した撮像位置を示す情報を、位置情報記憶部１０４に対して、撮像画像を示す情報を付加して書き込んで記憶させる。
【００１８】
撮像画像記憶部１０３は、撮像画像取得部１０１により取得された撮像画像を、カメラ１２のカメラ識別情報とタイムスタンプとを対応させた情報を記憶する。
位置情報記憶部１０４は、位置検出部１０２により検出された撮像位置を、撮像画像を示す情報とともに記憶する。
【００１９】
ここで、撮像画像取得部１０１により取得される画像について、図２、及び図３を用いて説明する。
図２は、実施形態のカメラ１２が屋内を撮像する例を示すイメージ図である。
図３は、実施形態のカメラ１２により撮像された屋内画像の一例を示す図である。
図２に示すように、建物にいる人間がスマートフォンのカメラ１２により建物内の風景を撮像する。
【００２０】
図３に示すように、カメラ１２により撮像された画像には、サインＭ１〜Ｍ４のように、部屋番号や床の模様などが含まれている。これらのサインＭは、建物における位置を識別する識別子となり得る。つまり、これらのサインＭが含まれる画像にその画像の撮像位置を付したものを学習データとし、この学習データを用いて機械学習を実行した学習済みモデルを作成すれば、作成したモデルが画像に基づいて撮像位置を推定することができるため、カメラ１２の撮像位置の特定が可能である。この、カメラ１２の撮像位置が、すなわち、カメラ１２を持つ（カメラ１２が搭載されたスマートフォンを所持する）人間の建物内における位置と推定される。
【００２１】
図１に戻り、学習サーバ１１は、位置検出装置１０により位置検出に用いられる学習済みモデル（位置検出モデル）を、学習データに基づいて作成するサーバ装置である。学習データは、例えば位置検出システム１により位置検出が行われる前の段階で事前に取得され、学習データに基づいて学習済みモデル（位置検出モデル）が作成される。
【００２２】
学習サーバ１１は、学習データ取得部１１１、モデル作成部１１２、及び学習モデル記憶部１１３の各々を備える。
学習データ取得部１１１は、学習用のカメラ１２Ａが撮像する学習用の撮像画像を、学習用のカメラ１２Ａから情報通信網５００を介して取得する。ここで、学習用のカメラ１２Ａにより撮像される学習用の撮像画像は、「学習用画像」の一例である。
【００２３】
ここで、学習用のカメラ１２Ａは、位置検出モデルを作成する場合において学習データとして用いられる画像を撮像する撮像装置であり、例えば、３６０度カメラ付き巡回ロボットにより撮像された建物内の様々な風景を示す画像の各々を撮像する。学習用のカメラ１２Ａは、例えば、建物内を巡回しながら屋内の風景を撮像し、撮像した撮像画像を、学習サーバ１１に送信する。
【００２４】
また、学習データ取得部１１１は、学習用のカメラ１２Ａにより撮像された撮像画像の撮像位置を示す情報を取得する。撮像位置を示す情報は、例えば、緯度経度で示されるような世界測地系の座標情報であってもよいし、建物内の案内表示プレートのように建物内における位置を識別できるような情報であってもよい。
【００２５】
学習データ取得部１１１は、例えば、学習用の撮像画像を取得する３６０度カメラ付き巡回ロボットから撮像位置を示す情報を取得する。この場合、学習データ取得部１１１は、例えば、３６０度カメラ付き巡回ロボットに屋内ＧＰＳ（Global Positioning System）を取り付けた状態で建物内を巡回させ、撮像画像が撮像される度にＧＰＳから位置情報を取得させ、撮像画像とともに撮像位置を示す情報（ＧＰＳ位置情報）を取得する。又は、学習データ取得部１１１は、建物の管理者などの入力操作により入力部（不図示）に入力された情報に基づいて、撮像位置を取得してもよい。
【００２６】
モデル作成部１１２は、学習データ取得部１１１により取得された学習用の撮像画像、及びその撮像画像が撮像された撮像位置を示す情報を学習データとして用いて機械学習を実行することにより、画像における撮像位置を検出するための位置検出モデルを作成する。ここでの機械学習は、例えば、教師あり学習である。
学習モデル記憶部１１３は、モデル作成部１１２により作成された位置検出モデルを記憶する。
【００２７】
図４は、実施形態の学習サーバ１１により用いられる学習データの一例を示す図である。図４（ａ）〜（ｅ）は、建物内における看板、目印等の何らかの印を含むサイン、床、天井、壁、柱など建物内の位置を識別し得る識別子（例えば、サインＭ）が含まれる画像である。
図４（ａ）〜（ｅ）に示す画像には当該撮像画像が撮像された撮像位置を示す情報が付されており、機械学習に用いられる学習データとして利用される。
【００２８】
例えば、図４（ａ）では、壁に「会議室２−Ａ」と記されたプレートが掲げられ、その位置の床にはドット柄のカーペットが敷かれている様子が撮像されている。また、壁に「会議室２−Ｂ」と記されたプレートが掲げられ、その位置の床には斜線模様のカーペットが敷かれている様子が撮像されている。この場合、当該画像には、「会議室２−Ａ」と「会議室２−Ｂ」が設けられたフロアの廊下側から「会議室２−Ａ」と「会議室２−Ｂ」とのプレートを見渡せる位置が撮像位置を示す情報として付されている。或いは、当該画像には「会議室２−Ａ」と「会議室２−Ｂ」が設けられたフロアの廊下の所定の位置座標を示す情報が付されている。
【００２９】
また、例えば、図４（ｂ）では「会議室２−Ａ」と記されたプレートが撮像されている。当該画像には「会議室２−Ａ」のプレートを、その正面の水平方向から撮像できる位置が撮像位置を示す情報として付されている。また、例えば、図４（ｃ）では「会議室２−Ｂ」と記されたプレートが撮像されている。当該画像には「会議室２−Ｂ」のプレートを、その正面の水平方向から撮像できる位置が撮像位置を示す情報として付されている。また、例えば、図４（ｄ）では斜線模様のカーペットが撮像されている。当該画像にはドット柄のカーペットを、その正面の鉛直方向から撮像できる位置が撮像位置を示す情報として付されている。また、例えば、図４（ｅ）では斜線模様のカーペットが撮像されている。当該画像には斜線模様のカーペットを、その正面の鉛直方向から撮像できる位置が撮像位置を示す情報として付されている。
【００３０】
すでに述べたように、モデル作成部１１２は、建物内を撮像した学習用画像に当該学習用画像を撮像した撮像位置を示す情報が付された学習データを用いて機械学習を実行することにより、前記屋内画像が撮像された撮像位置を検出するための学習モデルを作成する。
【００３１】
位置検出モデルは、例えば、建物内の位置を特定する特定要因がモデル化されたものである。この位置検出モデルは、建物内の様々な場所ごとに、特定要因がモデル化されている。例えば、建物内の位置が「会議室２−Ａ」である場合には、その特定要因は「会議室２−Ａ」のプレートや、ドット柄のカーペットである。また、建物内の位置が「会議室２−Ｂ」である場合には、その特定要因は「会議室２−Ｂ」のプレートや、斜線模様のカーペットである。
【００３２】
図５は、実施形態の位置検出システム１が位置を検出する処理の流れについて説明するシーケンスチャートである。
まず、学習用のカメラ１２Ａは、学習用の撮像画像を撮像する（ステップＳ１０１）。学習用のカメラ１２Ａは、例えば、建物内を巡回し、建物内の様々な場所を撮像する。
次に、学習用のカメラ１２Ａは、撮像した撮像画像に撮像位置を示す情報を対応づける（ステップＳ１０２）。学習用のカメラ１２Ａは、撮像する度に屋内ＧＰＳ等により位置情報を取得してもよいし、建物の管理者等による入力操作により指示された撮像画像に対応する位置情報を取得するようにしてもよい。
【００３３】
次に、学習用のカメラ１２Ａは、撮像画像に撮像位置を対応付けた情報を、学習データとして学習サーバ１１に送信する（ステップＳ１０３）。
学習データ取得部１１１は、学習データを取得する（ステップＳ１０４）。学習データ取得部１１１は、取得した学習データをモデル作成部１１２に出力する。
モデル作成部１１２は、学習データ取得部１１１から供給された学習データを用いて機械学習を実行することにより、位置検出モデルを作成する（ステップＳ１０５）。モデル作成部１１２は、作成した位置検出モデルを学習モデル記憶部１１３に記憶させる。
【００３４】
一方、カメラ１２は、建物内において、建物内の風景を撮像する（ステップＳ１０６）。
カメラ１２は、撮像した撮像画像を位置検出装置１０に送信する（ステップＳ１０７）。
撮像画像取得部１０１は、カメラ１２により撮像された撮像画像を取得する（ステップＳ１０８）。撮像画像取得部１０１は、取得した画像を位置検出部１０２に出力する。位置検出部１０２は、撮像画像取得部１０１から供給された撮像画像を学習サーバ１１に送信する（ステップＳ１０９）。
【００３５】
学習サーバ１１は、位置検出装置１０から撮像画像を受信し（ステップＳ１１０）、モデル作成部１１２により作成された位置検出モデルに入力することにより、位置検出モデルから撮像位置を示す情報を取得する（ステップＳ１１１）。
学習サーバ１１は、取得した撮像位置を示す情報を位置検出装置１０に送信する（ステップＳ１１２）。
【００３６】
位置検出部１０２は、学習サーバ１１から受信した撮像位置を示す情報を、撮像画像の撮像位置として検出する（ステップＳ１１３）。
位置検出部１０２は、検出した撮像位置を、撮像画像を識別する情報とともに位置情報記憶部１０４に記憶させる（ステップＳ１１４）。
【００３７】
なお、上述した例では、位置検出部１０２は、学習サーバ１１に撮像画像を送信することにより、学習サーバ１１から撮像位置を示す情報を取得する場合を例示して説明したが、これに限定されない。
【００３８】
例えば、位置検出装置１０は、学習サーバ１１のモデル作成部１１２により作成された位置検出モデルを取得するようにしてもよい。この場合、位置検出装置１０は、位置検出モデルを記憶する記憶部（不図示）を備え、学習サーバ１１から受信した位置検出モデルを記憶する。
【００３９】
そして、位置検出装置１０は、位置検出装置１０の図示しない記憶部に記憶された位置検出モデルに、撮像画像取得部１０１から供給された撮像画像を入力することで、撮像位置を検出する。これにより、位置検出装置１０は、情報通信網５００を介さずに撮像位置を検出することができるため、通信負担の低減を図ることが可能である。
【００４０】
以上説明したように、実施形態の位置検出装置１０は、位置検出モデルを用いて、位置検出部１０２により撮像位置を検出することができる。このため、ビーコン、無線タグ、ｗｉｆｉ電波、地磁気、ＩＭＥＳ、ＰＨＳ等の位置を検出するための専用機器を用いることなく、屋内にいる人間が屋内の様子を撮像するだけでその人間のいる位置を検出することができる。また、位置検出モデルは、機械学習を実行することにより作成された学習モデルであるため、撮像位置を特定するために撮像画像を画像解析するような複雑な処理を行う必要がなく、撮像画像と撮像位置とを対応付けた学習データで事前に機械学習を実行するだけで容易に撮像位置を検出することが可能である。
【００４１】
また、実施形態の位置検出装置１０は、撮像位置を示す情報を撮像画像と対応づけて記憶する位置情報記憶部１０４を備える。これにより、同じカメラ１２により撮像された撮像画像とその撮像位置を時系列に並べることで、特定のカメラ１２（を携帯する人間）の移動履歴を把握することが可能である。
【００４２】
また、図１における位置検出システム１、及び位置検出装置１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、カメラ１２の撮像位置を検出する制御を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００４３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００４４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４５】
１…位置検出システム
１０…位置検出装置
１１…学習サーバ
１２…カメラ
１０１…撮像画像取得部
１０２…位置検出部
１０３…撮像画像記憶部
１０４…位置情報記憶部
１１１…学習データ取得部
１１２…モデル作成部
【図１】
2019139642.tif 000003
【図２】
2019139642.tif 000004
【図３】
2019139642.tif 000005
【図４】
2019139642.tif 000006
【図５】
2019139642.tif 000007