(57)【要約】【課題】対象とする空間内の物品を容易かつ適切に管理できるようにする。【解決手段】所定の空間に配置されている管理対象の物品を管理するための物品管理システム１０において、プロセッサ部２０１を、所定の空間を撮影した動画像に基づいて、前記所定の空間における点群の３次元位置を特定可能な３次元位置情報を特定し、動画像における１以上のフレーム画像に基づいて、フレーム画像中の物品を認識し、認識された物品の所定の空間における３次元位置を特定可能な物品位置情報を特定するように構成する。【選択図】図２
2019174920.tif 000002
【特許請求の範囲】
【請求項１】
所定の空間に配置されている管理対象の物品を管理するための物品管理システムであって、
前記所定の空間を撮影した動画像に基づいて、前記所定の空間における点群の３次元位置を特定可能な３次元位置情報を特定する３次元位置特定部と、
前記動画像における１以上のフレーム画像に基づいて、前記フレーム画像中の前記物品を認識する物品認識部と、
前記認識された物品の前記所定の空間における３次元位置を特定可能な物品位置情報を特定する物品位置特定部と、
を有する物品管理システム。
【請求項２】
前記点群の３次元位置情報に基づいて、前記空間における所定の視点からの３次元画像を表示させるとともに、前記物品位置情報に基づいて前記３次元画像中に、前記物品の存在位置を表示させる表示制御部をさらに有する
請求項１に記載の物品管理システム。
【請求項３】
前記３次元画像に対応する領域中に存在する物品の種類及び物品の数を特定する存在物品特定部をさらに備え、
前記表示制御部は、特定された物品の種類及び物品の数を表示させる
請求項２に記載の物品管理システム。
【請求項４】
前記３次元画像の表示に関する指定を受け付ける表示指定受付部をさらに備え、
前記表示制御部は、前記指定に基づいた３次元画像を表示させる
請求項２又は請求項３に記載の物品管理システム。
【請求項５】
前記３次元画像における物品の指定を受け付ける物品指定受付部をさらに備え、
前記表示制御部は、指定された前記物品が含まれる１以上のフレーム画像を特定し、特定した前記フレーム画像の少なくともいずれか一つに基づいて物品の画像を表示させる
請求項２から請求項４のいずれか一項に記載の物品管理システム。
【請求項６】
前記表示制御部は、特定した前記物品が含まれるフレーム画像が複数ある場合に、複数のフレーム画像を選択可能に表示させる
請求項５に記載の物品管理システム。
【請求項７】
前記表示制御部は、特定した前記物品が含まれるフレーム画像が複数ある場合に、複数のフレーム画像の中から、前記物品が存在する範囲が大きい、又は前記物品が中心又は中心近傍に存在するフレーム画像を選択して表示させる
請求項５に記載の物品管理システム。
【請求項８】
前記空間における３次元領域の指定を受け付ける領域指定受付部をさらに備え、
前記存在物品特定部は、前記指定された３次元領域中に存在する物品の種類及び物品の数を特定し、
前記表示制御部は、前記指定された３次元領域中に存在すると特定された前記物品の種類及び前記物品の数を表示させる
請求項２から請求項７のいずれか一項に記載の物品管理システム。
【請求項９】
撮影装置を備え、
前記撮影装置は、前記所定の空間の動画像を撮影する動画像撮影部を備え、
前記動画像の撮影時に、前記撮影装置の表示部に、前記３次元位置特定部により特定された前記所定の空間における点群の３次元位置情報に基づく３次元画像を表示させる撮影支援部をさらに備える
請求項１から請求項８のいずれか一項に記載の物品管理システム。
【請求項１０】
撮影装置と、処理サーバとを備え、
前記撮影装置は、
前記所定の空間の動画像を撮影する動画像撮影部を備え、
前記処理サーバは、
前記３次元位置特定部と、前記物品認識部と、前記物品位置特定部とを備える
請求項１から請求項９のいずれか一項に記載の物品管理システム。
【請求項１１】
所定の空間に配置されている管理対象の物品を管理するための物品管理システムを構成するコンピュータに実行させるための物品管理プログラムであって、
前記コンピュータを、
前記所定の空間を撮影した動画像に基づいて、前記所定の空間における点群の３次元位置情報を特定する３次元位置特定部と、
前記動画像における１以上のフレーム画像に基づいて、前記フレーム画像中の前記物品を認識する物品認識部と、
前記認識された物品の前記所定の空間における３次元位置である物品位置情報を特定する物品位置特定部と、
して機能させる物品管理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の空間に配置されている管理対象の物品を管理するための物品管理システム等に関する。
【背景技術】
【０００２】
物品の位置と状態とを簡易に管理するための技術が求められている。例えば、オフィスを利用する一般企業においては、資産管理や、オフィスレイアウト変更や移転前の見積もりのために、備品や什器（ＰＣ、デスク、イス、棚等）の物品の位置と状態を、より正確かつ簡易に把握・管理したいというニーズがある。また、工場などにおいては、機器の位置と状態とを確認し、例えば、機器の管理者が、任意の位置にある機器が動作しているかを機器そのもの動作状態や外部のチェックランプを見て確認し、手作業でチェックリストに入力するといった作業を自動化したというニーズがある。
【０００３】
現在のところ、こうした作業はＰＣや高額な機器を除いては、人間の目視確認によって行われているのが一般的であり、多大なコストがかかっている。また、ＰＣや高額な機器においても、事前に管理用のソフトウェアをインストールする必要があり、管理のために多くのコストが必要である。さらに、ソフトウェアを用いるだけでは、ＰＣ等の正確な位置を自動で特定することは困難である。
【０００４】
このような物品管理においては、例えば、特許文献１に記載されているようなＩＣタグを使って物品の位置管理を行う技術が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３３８１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＩＣタグによる物品管理では、物品１つ１つにＩＣタグを付与する必要があり、タグ付与に多大なコストがかかる。さらに、ＩＣタグによる管理では、タグ管理を行っていない他の企業の物品状態を即時に知りたい場合、例えば、任意の企業がオフィスを移転する際に、物流業者が移転対象のオフィスの什器の状態を把握したい場合などには適用できない。
【０００７】
例えば、個々の物品の個体を把握しなければならない状況では、ＩＣタグを使った物品管理は効果的であるが、ユーザによっては、個体までの詳細の把握は必要なく、「ＰＣ」、「棚」、「机」、「イス」等の種類とそのサイズ程度を把握できればよい場合がある。
【０００８】
このような場合においては、ＩＣタグを物品に張り付ける程の事前コストをかけずに、より、即時性があり、かつ、低コストに物品の位置及び状態を把握・管理するための技術が要請されている。
【０００９】
本発明は、上記事情に鑑みなされたものであり、その目的は、対象とする空間内の物品を容易かつ適切に管理することのできる技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、一観点に係る物品管理システムは、所定の空間に配置されている管理対象の物品を管理するための物品管理システムであって、所定の空間を撮影した動画像に基づいて、所定の空間における点群の３次元位置を特定可能な３次元位置情報を特定する３次元位置特定部と、動画像における１以上のフレーム画像に基づいて、フレーム画像中の物品を認識する物品認識部と、認識された物品の所定の空間における３次元位置を特定可能な物品位置情報を特定する物品位置特定部と、を有する。
【発明の効果】
【００１１】
本発明によれば、対象とする空間内の物品を容易かつ適切に管理することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、一実施形態に係る物品管理システムの全体構成図である。
【図２】図２は、一実施形態に係る物品管理サーバの構成図である。
【図３】図３は、一実施形態に係る地図データベースの構成図である。
【図４】図４は、一実施形態に係る物品データベースの構成図である。
【図５】図５は、一実施形態に係るスマートフォンの構成図である。
【図６】図６は、一実施形態に係る物品確認端末の構成図である。
【図７】図７は、一実施形態に係るシステム利用開始時処理のフローチャートである。
【図８】図８は、一実施形態に係る地図生成・物品検出処理のフローチャートである。
【図９】図９は、一実施形態に係るフレーム画像の一例を示す図である。
【図１０】図１０は、一実施形態に係るフレーム画像における物品認識及び位置検出を説明する図である。
【図１１】図１１は、一実施形態に係る物品検出テーブルの構成図である。
【図１２】図１２は、一実施形態に係る３次元地図の生成及び３次元地図に基づく３次元画像を説明する図である。
【図１３】図１３は、一実施形態に係る３次元地図に基づく別視点の３次元画像を示す図である。
【図１４】図１４は、一実施形態に係る３次元画像表示処理のフローチャートである。
【図１５】図１５は、一実施形態に係る物品管理ビューア画面を示す図である。
【図１６】図１６は、一実施形態に係る表示変更処理のフローチャートである。
【図１７】図１７は、一実施形態に係る領域指定検索を説明する図である。
【図１８】図１８は、一実施形態に係る物品状態確認画面を示す図である。
【図１９】図１９は、一実施形態に係る移動履歴を表示する物品管理ビューア画面を示す図である。
【発明を実施するための形態】
【００１３】
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１４】
以下の説明では、「ＡＡＡテーブル」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ＡＡＡテーブル」を「ＡＡＡ情報」と呼ぶことができる。
【００１５】
また、以下の説明では、「プロセッサ部」は、１以上のプロセッサを含む。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）である。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。
【００１６】
また、以下の説明では、「プログラム」（モジュール、ビューワ等も含む）を動作の主体として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又は通信インターフェース装置（例えばポート）を用いながら行うため、処理の主体がプロセッサとされてもよい。プログラムを動作の主体として説明された処理は、プロセッサを含む装置が行う処理としてもよい。また、プロセッサが行う処理の一部又は全部を行うハードウェア回路を含んでもよい。コンピュータプログラムは、プログラムソースから装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ、又は、計算機が読み取り可能な記憶メディアであってもよい。
【００１７】
＜システム構成＞
図１は、一実施形態に係る物品管理システムの全体構成図である。
【００１８】
物品管理システム１０は、処理サーバの一例としての物品管理サーバ１０１と、撮影装置の一例としてのスマートフォン１０２と、物品管理端末１０３とを備える。物品管理サーバ１０１と、スマートフォン１０２と、物品管理端末１０３とは、ネットワーク１０５を介して通信可能に接続される。スマートフォン１０２は、後述する動画像撮影用のカメラ部５０４を備え、管理対象の物品が存在する所定の空間（例えば、オフィス１０４等）を撮影するために用いられる。ネットワーク１０５は、例えば、有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、インターネットなどを含んでよい。
【００１９】
＜物品管理サーバ＞
図２は、一実施形態に係る物品管理サーバの構成図である。
【００２０】
物品管理サーバ１０１は、例えば、一般的なサーバマシンで構成され、プロセッサ部２０１と、記憶デバイス２０２と、ネットワーク部２１１とを備える。
【００２１】
ネットワーク部２１１は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、ネットワーク１０５を介して他の装置（例えば、スマートフォン１０２、物品管理端末１０３）と通信する。
【００２２】
プロセッサ部２０１は、記憶デバイス２０２に格納されているプログラムに従って各種処理を実行する。
【００２３】
記憶デバイス２０２は、例えば、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などであり、プロセッサ部２０１で実行されるプログラムや、プロセッサ部２０１に利用されるデータを記憶する。本実施形態では、記憶デバイス２０２は、物品管理プログラム２０３と、地図データベース２０８と、物品データベース２０９と、動画ファイル２１０とを記憶する。
【００２４】
＜物品管理プログラム＞
物品管理プログラム２０３は、地図生成モジュール２０４と、自己位置推定モジュール２０５と、物品管理モジュール２０６と、物品検出モジュール２０７とを含む。
【００２５】
物品管理プログラム２０３は、プロセッサ部２０１に実行されることにより、動画像のデータ（動画データ：例えば、スマートフォン１０２から送られてくる動画データ）に基づいて撮影しているカメラの位置（視点）と、その姿勢（視線）を推定する機能（自己位置推定機能）と、動画データに基づいて３次元地図を生成する機能と、動画に写っている物品（物品オブジェクト）の認識と、その物品の位置を特定する機能と、物品を３次元地図上にマッピングし、マッピングされた物品をユーザにより検索可能にする機能とを備える。
【００２６】
物品管理プログラム２０３は、スマートフォン１０２から転送されてくる動画データの処理方法として、ストリーミング処理（リアルタイム処理）と、動画ファイル処理（非リアルタイム処理）の両方が可能である。動画データをストリーミング処理する場合には、所定以上のネットワーク帯域が必要なことと、スマートフォン１０２と物品管理プログラム２０３とがネットワーク１０５に接続済みの状態となっていることが必要である。場所を選ばずに利用することを想定する場合には、スマートフォン１０２のローカルストレージに動画データを保存し、安定したネットワーク１０５に接続できた時点でスマートフォン１０２から動画ファイルを物品管理サーバ１０１へ転送して、物品管理サーバ１０１内で動画処理をする非ストリーミング処理を行うようにすればよい。非ストリーミング処理を行う場合には、動画ファイルを転送する機能をスマートフォン１０２及び物品管理サーバ２０３に備えるようにする以外は、ストリーミング処理と同様な構成を用いることができる。
【００２７】
＜地図生成モジュール及び自己位置推定モジュール＞
地図生成モジュール２０４と自己位置推定モジュール２０５は、連動して動作するモジュールであって、スマートフォン１０２で撮影された動画データ（２次元動画データ）から自己位置（撮影しているカメラの位置）を推定しつつ、空間における３次元地図を生成する機能を備えるモジュールである。これらモジュールは、リアルタイムに自己位置推定と地図生成を行うＶｉｓｕａｌＳＬＡＭ（Visual Simultaneous Localization and Mapping）技術をベースにして実現することができる。使用する動画データは、単眼カメラやステレオカメラによる動画データを利用することができるが、低コストでの実現を想定する場合には、単眼カメラを用意し、その単眼カメラにより撮影された動画データを利用するようにすればよい。また、地図生成モジュール２０４と自己位置推定モジュール２０５とは、複数の動画データにおける特徴点をマッチングすることにより、複数の動画データによる３次元地図を１つの３次元地図に統合する機能を備えていてもよい。地図生成モジュール２０４により作成された３次元地図のデータ（３次元位置情報）は、地図データベース２０８に格納される。ここで、プロセッサ部２０１が地図モジュール２０４及び自己位置推定モジュール２０５を実行することにより、３次元位置特定部が構成される。
【００２８】
＜物品管理モジュール＞
物品管理モジュール２０６は、動画のフレーム画像を読み込んで物品検出モジュール２０７に入力する機能、物品検出モジュール２０７により出力された結果（物品の情報）を物品データベース２０９に保存する機能、物品データベース２０９から物品の情報を読み出す機能、物品位置を３次元地図上にマッピングする機能等の物品情報を管理する機能を備える。
【００２９】
＜物品検出モジュール＞
物品検出モジュール２０７は、フレーム画像のデータから物品の認識及び物品の位置検出する機能を備えている。物品検出モジュール２０７は、例えば、ニューラルネットワークをベースとして管理対象の物品の認識、及び、物品の位置検出を行う。即ち、物品検出モジュール２０７は、事前に管理対象（モデルによる認識対象）の物品についての多数の教師データによって学習された学習モデルを内部に備え、フレーム画像の画像データを入力することにより、フレーム画像内に写っている物品を認識し、かつ、その物品のフレーム画像中の位置情報（位置座標等）を算出する。ここで、プロセッサ部２０１が物品検出モジュール２０７を実行することにより、物品認識部が構成される。また、プロセッサ部２０１が物品検出モジュール２０７と物品管理モジュール２０６とを実行することにより、物品位置特定部が構成される。
【００３０】
＜地図データベース＞
図３は、一実施形態に係る地図データベースの構成図である。
【００３１】
地図データベース２０８は、地図生成モジュール２０４と自己位置推定モジュール２０５によって生成された３次元地図のデータを保存するためのデータベースであって、動画管理テーブル３０１と、地図データ管理テーブル３０６とを含む。
【００３２】
動画管理テーブル３０１は、動画ごとに対応するエントリを格納する。各エントリは、動画ＩＤ３０２、動画保存先ファイルパス３０３、撮影者情報３０４、及びタイムスタンプ３０５のカラムを含む。
【００３３】
動画ＩＤ３０２には、物品管理サーバ１０１の記憶デバイス２０２内で動画ファイル（スマートフォン１０２から送信されてくる動画データを格納する動画ファイル）を一意に識別するためのＩＤ（動画ＩＤ）が格納される。動画保存先ファイルパス３０３には、動画データを物品管理サーバ１０１のローカルストレージ内に保存する際のファイルパスが格納される。撮影者情報３０４には、エントリに対応する動画の撮影者を識別するためのＩＤや撮影者の名前が格納される。タイムスタンプ３０５には、エントリに対応する動画が撮影された日時が保存される。
【００３４】
地図データ管理テーブル３０６は、動画データのフレームごとのエントリを格納する。エントリは、動画ＩＤ３０７、フレーム番号３０８、自己位置情報３０９、及び３次元点群データ３１０のカラムを含む。
【００３５】
動画ＩＤ３０７には、エントリに対応するフレームが属する動画の動画ＩＤが格納される。フレーム番号３０８には、エントリに対応するフレームの動画内での番号（フレーム番号）が格納される。フレーム番号は、動画における最初のフレーム（開始フレーム）を１として、以降は、フレームごとにカウントアップされる。自己位置情報３０９には、エントリに対応するフレームの画像（フレーム画像）を撮影した時のカメラの位置と姿勢を示す情報（自己位置情報）が格納される。自己位置情報としては、例えば、３次元地図の空間における撮影位置（視点）の座標（Ｘ、Ｙ、Ｚ）と、カメラの撮影方向（視線）を示すベクトル（Ｘ’、Ｙ’、Ｚ’）としてもよい。３次元点群データ３１０には、３次元地図における点群（複数の点）のそれぞれの点の位置を示すデータ（点群データ）が格納される。点群データのデータ形式は種々のフォーマットが存在するが、例えば、各点を（Ｘ，Ｙ、Ｚ）のフォーマットで表したものとしてもよい。
【００３６】
＜物品データベース＞
図４は、一実施形態に係る物品データベースの構成図である。
【００３７】
物品データベース２０９は、動画（厳密には、動画中のフレーム画像）から検出された物品の情報（物品情報）を保存するためのデータベースである。物品データベース２０９は、物品ごとに対応するエントリを格納するテーブルを備える。物品データベース２０９のテーブルのエントリは、物品ＩＤ４０１、物品種類４０２、３次元座標４０３、動画ＩＤ４０４、及びフレーム番号４０５のカラムを含む
【００３８】
物品ＩＤ４０１には、動画から検出された物品を一意に識別するためのＩＤ（物品ＩＤ）が格納される。物品種類４０２には、動画から検出された物品の種類を示す値（物品種類）が格納される。物品種類としては、例えば、「ＰＣ」、「イス」、「机」、「棚」等がある。３次元座標４０３には、エントリに対応する物品の３次元空間上の位置を示す座標（Ｘ，Ｙ、Ｚ）が格納される。動画ＩＤ４０４には、エントリに対応する物品が検出された動画データの動画ＩＤが格納される。フレーム番号４０５には、エントリに対応する物品が検出された動画データにおけるフレーム番号が格納される。動画において、同一の物品が複数のフレームで検出された場合には、フレーム番号４０５には、この物品が検出された複数のフレームのフレーム番号が格納される。
【００３９】
＜スマートフォン＞
図５は、一実施形態に係るスマートフォンの構成図である。
＜スマートフォン＞
スマートフォン１０２は、プロセッサ部５０１と、記憶デバイス５０２と、動画撮影を行う動画像撮影部の一例としてのカメラ部５０４と、表示部の一例としてのディスプレイ部５０５と、ネットワーク部５０６とを備える。
【００４０】
ネットワーク部５０６は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、ネットワーク１０５を介して他の装置（例えば、物品管理サーバ１０１、物品管理端末１０３）と通信する。プロセッサ部５０１は、記憶デバイス５０２に格納されているプログラムに従って各種処理を実行する。記憶デバイス５０２は、例えば、ＳＳＤ、フラッシュメモリ、ＲＡＭなどであり、プロセッサ部５０１で実行されるプログラムや、プロセッサ部５０１に利用されるデータを記憶する。本実施形態では、記憶デバイス５０２は、プログラムとして地図アプリケーション５０３を格納する。ディスプレイ部５０５は、例えば、各種画像を表示するとともに、操作の入力を受け付けるためのタッチパネルである。
【００４１】
スマートフォン１０２は、撮影者により、物品を管理する対象の空間（管理対象空間）、例えば、オフィスや工場等において撮影するために用いられる。動画を撮影する時の撮影者の操作としては、地図アプリケーション５０３を起動し、ログインを行った後に、管理対象空間を撮影しながら移動するのみである。なお、このようにスマートフォン１０２のカメラで撮った動画を利用する場合には、スマートフォン１０２のカメラで撮影される範囲は、前方数メートルかつ視野角の範囲のみであるので、撮影者は、動画において管理対象空間内の管理対象の物品のすべてが写りこむように歩く必要がある。なお、スマートフォン１０２の撮影者が、自分の位置を確認しながら適切に撮影を行うようにするために、撮影した動画によって生成された３次元地図に基づく３次元画像をスマートフォン１０２のディスプレイ部５０５に表示させるようにしてもよい。例えば、スマートフォン１０２に３次元地図に基づく３次元画像を表示させる方法としては、物品管理サーバ１０１の物品管理プログラム２０３内の地図生成モジュール２０４と自己位置推定モジュール２０５を地図アプリケーション５０３に組み込むようにしてもよく、或いは、物品管理サーバ１０１で生成された３次元地図に基づく画像を、ネットワーク１０５を介して受信して表示するようにしてもよい。なお、ネットワーク１０５の通信速度が低い場合には、３次元地図に基づく画像の質を粗くして（すなわち、データ量を抑えて）送信するようにしてもよい。ここで、地図アプリケーション５０３に組み込まれた地図生成モジュール２０４と自己位置推定モジュール２０５とをプロセッサ部５０１が実行することにより、又は、地図生成モジュール２０４と自己位置推定モジュール２０５とをプロセッサ部２０１が実行することにより、撮影支援部が構成される。
【００４２】
＜地図アプリケーション＞
地図アプリケーション５０３は、スマートフォン１０２にあらかじめインストールされているプログラムであり、スマートフォン１０２による、動画撮影、及び撮影した動画データを物品管理サーバ１０１へ転送する機能を備えている。
【００４３】
＜物品管理端末＞
図６は、一実施形態に係る物品確認端末の構成図である。
【００４４】
物品管理端末１０３は、物品管理者や物品の監査を行う者（以下、これらを物品管理者という）が使用する端末であり、物品管理位置や状態を閲覧及び管理することが可能である。物品管理端末１０３は、例えば、一般的なＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）で構成され、プロセッサ部６０１と、記憶デバイス６０２と、ディスプレイ部６０３と、マウス・キーボード部６０５と、ネットワーク部６０６とを備える。
【００４５】
ネットワーク部６０６は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、ネットワーク１０５を介して他の装置（例えば、物品管理サーバ１０１）と通信する。プロセッサ部６０１は、記憶デバイス６０２に格納されているプログラムに従って各種処理を実行する。記憶デバイス６０２は、例えば、ハードディスクドライブ、ＳＳＤ、ＲＡＭなどであり、プロセッサ部６０１で実行されるプログラムや、プロセッサ部６０１に利用されるデータを記憶する。本実施形態では、記憶デバイス６０２は、プログラムとして物品管理ビューア６０３を格納する。ディスプレイ部６０４は、例えば、各種画像を表示する。マウス・キーボード部６０５は、利用者から各種操作入力を受け付ける。
【００４６】
＜物品管理ビューア＞
物品管理ビューア６０３は、３次元地図に基づく３次元画像上で、物品を管理・閲覧・検索することが可能な機能を備える。物品管理ビューア６０３は、例えば、物品管理サーバ１０１の物品管理プログラム２０３と通信を行うサーバ・クライアント型のアプリケーションである。物品管理ビューア６０１は、ユーザの操作に基づくリクエストを物品管理サーバ１０１に送信し、物品管理サーバ１０１の物品管理プログラム２０３内の各モジュールによるレスポンスを受信して結果を表示する。物品管理ビューア６０１に対する操作としては、俯瞰的な３次元画像を閲覧する操作や、３次元画像上の任意の点や範囲を拡大・縮小・回転して確認する等の操作が可能である。また、物品管理ビューア６０１は、３次元画像上で３次元領域が指定されると、その３次元領域内にどの種類の物品が何個あるかを検索する機能を持つ。さらに、物品管理ビューア６０１は、物品種類をテキスト検索することも可能である。また、物品管理ビューア６０１は、指定された物品の動画撮影時の状況を表示することもできる。これにより、例えば、指定されたサーバマシンの外部ランプの状態がどのような状態であったかを確認することができる。更に、物品管理ビューア６０１は、撮影者がスマートフォン１０２を持って歩いた移動履歴を表示させることもできる。ここで、プロセッサ部６０１が物品管理ビューア６０３を実行することにより、存在物品特定部、表示指定受付部、物品指定受付部、領域指定受付部、及び表示制御部を構成する。
【００４７】
次に、本実施形態に係る物品管理システムにおける処理動作について説明する。
【００４８】
＜システムの起動＞
図７は、一実施形態に係るシステム利用開始時処理のフローチャートである。
【００４９】
システムの利用を開始する際には、撮影者が、管理対象の物品が存在する管理対象の空間にスマートフォン１０２を持って行き、スマートフォン１０２の地図アプリケーション５０１を起動する必要がある。
【００５０】
スマートフォン１０２の地図アプリケーション５０３は、起動されると、撮影者からのログインを受付可能な状態となり、撮影者からログインを受け付け（Ｓ７０１）、物品管理サーバ１０１の物品管理プログラム２０３との通信を開始する（Ｓ７０２）。この時、地図アプリケーション５０１は、ログインの情報に基づいてスマートフォン１０２内の撮影者情報を取得し、撮影者情報を物品管理プログラム２０３に転送する（Ｓ７０３）。なお、撮影者情報については、物品管理サーバ１０１がログイン用のＩＤと対応付けて記憶しておき、ログインのＩＤに基づいて物品管理サーバ１０１が取得するようにしてもよい。なお、ログイン時には、ログインの認証が行われ、認証がされた後に以降の処理が実行される。
【００５１】
地図アプリケーション５０３は、スマートフォン１０２のカメラ部５０４を起動させ、カメラ部５０４による撮影動画をディスプレイ部５０５に表示させて、動画撮影を開始する（Ｓ７０４）。次いで、地図アプリケーション５０３は、物品管理プログラム２０３への動画データの送信を開始する（Ｓ７０５）。
【００５２】
物品管理サーバ１０１の物品管理プログラム２０３は、地図アプリケーション５０３からの動画データを受信すると、受信した動画の動画ＩＤを発行し（Ｓ７０６）、地図生成・物品検出処理（図８参照）を開始する（Ｓ７０７）。
【００５３】
＜地図生成・物品検出処理＞
図８は、一実施形態に係る地図生成・物品検出処理のフローチャートである。
【００５４】
ここで、図８では、動画データをスマートフォン１０２から物品管理サーバ１０１へストリーム処理する場合を例に説明するが、非ストリーム処理としてもよい。非ストリーム処理においては、動画データをスマートフォン１０２のローカルストレージ（記憶デバイス５０２）にファイルとして保存し、任意のタイミングで物品管理サーバ１０１にファイル転送するようにすればよい。
【００５５】
まず、物品管理プログラム２０３は、動画管理テーブル３０１に新たなエントリを追加し、転送されている動画データの情報を登録する（Ｓ８０１）。具体的には、物品管理プログラム２０３は、追加したエントリの動画ＩＤ３０２に、発行された動画ＩＤを格納し、動画保存先ファイルパス３０３に動画の保存先のファイルパス（予め決定されているパス、又は、ユーザから指定されたパス）を格納し、撮影者情報３０４に取得した撮影者情報を格納し、タイムスタンプ３０５に、撮影の開始日時を格納する。
【００５６】
次いで、物品管理プログラム２０３は、ループＡの動画処理（Ｓ８０２〜Ｓ８１０）を繰り返し実行する。
【００５７】
動画処理においては、物品管理プログラム２０３の物品管理モジュール２０６が、動画の一つのフレーム画像を読み込み（Ｓ８０２）、フレーム画像を物品検出モジュール２０７に入力する（Ｓ８０３）。物品検出モジュール２０７は、フレーム画像内の物品を認識し、物品のフレーム内の位置検出を行う（Ｓ８０４）。次いで、物品検出モジュール２０７は、物品の種類と、フレーム内の位置を示す座標データとを含むエントリを記憶デバイス２０２の物品検出テーブル１１０１（図１１参照）に出力する（Ｓ８０５）。
【００５８】
ここで、Ｓ８０３からＳ８０５までの物品検出処理を具体的に説明する。
【００５９】
図９は、一実施形態に係るフレーム画像の一例を示す図である。図１０は、一実施形態に係るフレーム画像における物品認識及び位置検出を説明する図である。図１１は、一実施形態に係る物品検出テーブルの構成図である。
【００６０】
例えば、物品検出モジュール２０７に、図９に示すフレーム画像９０１が入力されると（Ｓ８０３）、物品検出モジュール２０７は、図１０に示すように、フレーム画像９０１において、応接ソファー１００１、応接ソファー１００２、応接テーブル１００３、応接ソファー１００４、植木１００５等の管理対象の物品の種類を認識するとともに、その物品の位置として物品が含まれる矩形領域についての位置を検出する（Ｓ８０４）。その後、物品検出モジュール２０７は、各物品に対応するエントリを物品検出テーブル１１０１に出力する（Ｓ８０６）。
【００６１】
物品検出テーブル１１０１は、各物品に対応するエントリを含み、エントリは、物品種類１１０２と、フレーム内座標１１０３とを含む。物品種類１１０２には、エントリに対応する物品の種類を示す情報が格納される。物品の種類を示す情報としては、種類に対応するラベルとしてもよいが、図１１の例では、物品の種類の名前としている。フレーム内座標１１０３には、フレーム画像における物品に対応する矩形の座標データが格納される。図１１の例では、フレーム画像の左上の位置を原点（０，０）とした場合における物品に対応する矩形の左上の点のｘ座標及びｙ座標と、その矩形の横幅、その矩形の縦幅としている。Ｓ８０２〜Ｓ８０５の処理により、１フレーム内に存在する物品の種類と、物品の位置との特定が完了する。
【００６２】
次に、地図生成モジュール２０４がフレーム画像を読み込む（Ｓ８０６）。次いで、自己位置推定モジュール２０５と地図生成モジュール２０６とが３次元地図（３次元位置情報）の生成、及び自己位置の推定を行う（Ｓ８０７）。この３次元地図の生成においては、例えば、ＶｉｓｕａｌＳＬＡＭ技術を利用することができる。ＶｉｓｕａｌＳＬＡＭ技術には、様々な実現手法があるが、例えば、任意の複数のフレーム画像の特徴点をマッチングさせ、フレーム画像間のカメラの撮影位置（自己位置）と姿勢の変化と、３次元上での特徴点の位置とを、最適化計算によって求める方法や、フレーム画像の全ピクセルを対象に、輝度勾配の高い部分のフレーム画像間の輝度変化からそのピクセルの深度推定及び自己位置・姿勢推定を行い、３次元空間へのフレーム画像のピクセルのマッピングを行って３次元点群データを生成する方法などがある。ここでは、複数のフレーム画像から３次元空間上での点群を生成し、その点群を３次元地図の構成要素として利用する場合を例とする。なお、点群データにテクスチャ処理を施し、より人間にわかり易い３次元地図を生成するようにしてもよい。なお、Ｓ８０７とＳ８０８における３次元地図の生成及び自己位置の推定においては、複数のフレーム画像が必要であるので、例えば、図８の処理直後の最初のフレーム画像に対してはこれら処理を実行せずに、それ以降のフレーム画像に対しては、時間的に前のいずれかのフレーム画像を用いて処理を行うようにすればよい。
【００６３】
次に、物品管理モジュール２０６は、物品検出テーブル１１０１に格納された各物品について物品データベース２０７に登録する処理を実行する（Ｓ８０８）。具体的には、物品管理モジュール２０６は、新たな物品である場合には、物品データベース２０７に新たなエントリを追加し、物品を識別する物品ＩＤを決定して物品ＩＤ４０１に格納し、検出された物品種類を物品種類４０２に格納し、物品の３次元座標を３次元座標４０３に格納し、動画データの動画ＩＤを動画ＩＤ４０４に格納し、物品を検出したフレーム番号をフレーム番号４０５に追加する。ここで、物品管理モジュール２０６は、物品検出テーブル１１０１の位置座標１１０３に格納されているフレーム中の座標を、３次元地図の座標系に変換する。フレーム中の座標を、３次元地図の座標系に変換する方法としては、例えば、対応する１つの物品が存在する複数のフレーム画像から特定することができる。なお、同一の物品が既に検出されている場合、すなわち、過去に処理したフレーム画像において検出されている場合には、物品管理モジュール２０６は、その物品に対応する物品データベース２０７のエントリのフレーム番号４０５に処理対象のフレームのフレーム番号を追加する。ここで、同一の物品が検出されているか否かは、物品の３次元座標が所定の距離以内であるか否かにより判定するようにしてもよい。
【００６４】
次いで、地図生成モジュール２０４は、地図データ管理テーブル３０６に、新たなエントリを追加し、エントリの動画ＩＤ３０７に処理対象の動画の動画ＩＤを格納し、フレーム番号３０８に処理対象のフレームのフレーム番号を格納し、自己位置情報３０９にＳ８０４で検出した自己位置を格納し、３次元点群座標３１０にＳ８０７で生成した各点の３次元座標を格納する。（Ｓ８０９）。その後、地図生成モジュール２０４は、動画データを地図データベース２０８の動画に対応するエントリの動画保存先ファイルパス３０３によって指定されているパスのファイルに保存する（Ｓ８１０）。Ｓ８０２からＳ８１０までの動画処理は、スマートフォン１０２の地図アプリケーション５０３から動画データの転送が終了するまで繰り返し実行される。
【００６５】
次に、スマートフォン１０２により動画撮影を行いながら撮影者が歩行した場合における、３次元地図の生成及び３次元地図に基づく３次元画像を説明する図である。
【００６６】
図１２は、一実施形態に係る３次元地図の生成及び３次元地図に基づく３次元画像を説明する図である。図１３は、一実施形態に係る３次元地図に基づく別視点の３次元画像を示す図である。
【００６７】
撮影者が地図アプリケーション５０３を起動させて、スマートフォンに１０２のカメラ部５０４で動画を撮影しながら歩行した場合においては、動画データ中には、例えば、フレーム画像１２０１〜１２０７が含まれる。なお、動画データ中には、実際には、フレーム画像１２０１〜１２０７よりも多くの連続的なフレーム画像が含まれることとなる。
【００６８】
このような動画データは、地図アプリケーション５０３により、物品管理サーバ１０１の物品管理プログラム２０３に転送される。物品管理サーバ１０１の物品管理プログラム２０３においては、地図生成モジュール２０４と自己位置推定モジュール２０５とが連動して、撮影された空間における点群の３次元地図を生成する。生成された点群の３次元地図を用いると、或る視点から観察される空間を示す３次元画像１２０８を生成することができる。このような３次元画像は、物品確認端末１０３の物品管理ビューア６０３によって作成されて表示させることができる。３次元画像１２０８中には、撮影者の移動履歴（自己位置の履歴）を線でつなぐことによって移動履歴線１２０９を表示させるようにすることもできる。この３次元画像１２０８によると、撮影者が地点１２１０から地点１２１１に移動したことがわかる。なお、地点１２１０で撮影されたフレーム画像は、フレーム画像１２０１であり、地点１２１１で撮影されたフレーム画像は、フレーム画像１２０７である。
【００６９】
また、物品検出モジュール２０７は、管理対象の物品を認識し、その物品の３次元地図の座標系での位置を検出する。図１２においては、管理対象の物品をＰＣ（ディスプレイのみを含む）として、そのＰＣの画像を物品検出モジュール２０７に機械学習させた場合における表示例を示している。図１２においては、認識されて位置が検出されたＰＣ（ＰＣ１２１２等）は、３次元画像１２０８においては、「▲」で表示されている。なお、図１１に示す物品検出テーブル１１０１では、物品の位置を矩形の位置情報として取得するようにしていたが、３次元地図上においては、例えば、物品の３次元位置を、矩形の中心に対応する３次元位置にマッピングしてもよい。例えば、３次元地図に基づいて３次元画像を生成する際における視点を変更してもよく、例えば、対象の空間を俯瞰的に見える視点に変更することにより、図１３に示すような３次元画像１３０１を生成して表示させるようにしてもよい。このように、３次元地図に基づく３次元画像において物品の位置をマッピングすることにより、より効率的に空間における物品の位置を把握することが可能となる。
【００７０】
＜３次元画像表示処理＞
図１４は、一実施形態に係る３次元画像表示処理のフローチャートである。図１５は、一実施形態に係る物品管理ビューア画面を示す図である。
【００７１】
物品管理ビューア６０３は、プロセッサ部６０１により実行されると、物品管理ビューア画面１５０１（図１５参照）に対象空間の３次元画像を表示し、かつ、可視領域（ディスプレイ上に表示されている領域）上の物品の種類と物品の数とを物品情報ウィンドウ１５０２に表示する。また、物品管理ビューア６０３は、撮影移動履歴ボタン１５０３が押下されると、この３次元画像の基となる３次元地図を生成するための動画を撮影した撮影者の移動履歴を物品管理ビューア画面１５０１の３次元画像上に表示する。この物品管理ビューア６０３により画面を表示する処理を以下に説明する。
【００７２】
３次元画像表示処理は、物品管理装置１０３が、物品管理者により物品管理ビューア６０３の起動指示を受け付けて、物品管理ビューワ６０３を起動させることにより開始される。物品管理ビューア６０６は、物品管理プログラム２０３と通信し、地図データベース２０８から所定の領域（例えば、予め設定されている領域、又は、物品管理者により指定された領域）の３次元地図データを読み込む（Ｓ１４０１）。次いで、物品管理ビューア６０６は、物品データベース２０９からＳ１４０１で読み込んだ３次元地図データと同じ動画ＩＤに対応するエントリの物品情報（物品ＩＤ、物品種類、３次元座標、及びフレーム番号）を読み込む（Ｓ１４０２）。
【００７３】
次に、物品管理ビューア６０３は、物品管理端末１０３のディスプレイ部６０４の物品管理ビューア画面１５０１に表示させる３次元画像の領域（具体的には、３次元画像を生成する３次元空間上の視点及び視線方向）を決定し、３次元画像に表示される領域に対応する３次元空間内の物品種類と物品数をカウントする（Ｓ１４０３）。なお、３次元画像に表示される領域に対応する３次元空間内の物品については、３次元画像の視点及び視線方向により特定される３次元画像に表示される３次元空間に、物品の３次元座標が属することにより特定することができる。
【００７４】
次いで、物品管理ビューア６０３は、取得した３次元地図データと、取得した物品情報とに基づいて、図１５に示すような複数の点が含まれ、且つ、物品の位置を示すオブジェクトが含まれる３次元画像を物品管理ビューア画面１５０１に表示させる（Ｓ１４０４）。本実施形態では、物品の種類によって表示するオブジェクトを異ならせている。ここで、３次元画像における各点は、３次元点群データが示す３次元座標を、３次元画像の視点及び視線方向により特定される３次元画像の座標系に変換すること得られた位置に表示され、物品に対応するオブジェクトは、物品の３次元座標を３次元画像の視点及び視線方向により特定される３次元画像の座標系に変換することにより得られた位置に表示される。
【００７５】
この物品管理ビューア画面１５０１によると、物品管理者は、３次元画像上で物品の位置を閲覧・確認することができるとともに、表示されている領域における物品の種類及び物品の数を確認することができる。
【００７６】
＜物品管理者による操作時の物品管理ビューアによる表示変更処理＞
図１６は、一実施形態に係る表示変更処理のフローチャートである。図１７は、一実施形態に係る領域指定検索を説明する図である。図１８は、一実施形態に係る物品状態確認画面を示す図である。図１９は、一実施形態に係る移動履歴を表示する物品管理ビューア画面を示す図である。
【００７７】
表示変更処理は、物品管理ビューア画面１５０１上で物品管理者がマウス・キーボード部６０５を使って操作した場合に実行される処理である。
【００７８】
物品管理ビューア６０３は、物品管理者によるマウス・キーボード部６０５による操作を受け付け、その操作の種類を判定する（Ｓ１６０１）。
【００７９】
操作の種類が、物品管理ビューア画面１５０１上の３次元画像に対して、マウス・キーボード部６０５を使って拡大・縮小・回転等の画像変更を指示する操作である場合（Ｓ１６０１：画像変更指示）には、物品管理ビューア６０３は、画像変更の指示に従った３次元画像を生成するとともに、新たに生成した３次元画像に表示されている領域内の物品種類と数とを取得する（Ｓ１６０２）。次に、物品管理ビューア６０３は、生成した３次元画像を表示するとともに、物品情報ウィンドウ１５０２に物品情報（物品の種別及び個数）を表示する（Ｓ１６０３）。この操作を行うことで、物品管理者は、種々の大きさ・角度で３次元空間に対応する３次元画像を表示させることができ、その３次元画像において物品の位置を適切に表示することができる。また、表示領域における物品の位置及びその数を容易に確認することができる。
【００８０】
また、操作の種類が、物品管理ビューア画面１５０１上の３次元画像に対して、物品の種類及び数を検索する対象とする３次元領域（検索領域）を指定する操作である場合（Ｓ１６０１：領域指定検索）には、物品情報に基づいて、指定された検索領域に対応する３次元座標内に存在する物品の種類と数を取得・算出する（Ｓ１６０４）。ここで、物品管理ビューア画面１５０１上において３次元の検索領域を指定する方法としては、物品管理ビューア６０３は、例えば、図１７に示すように、領域を指定するための３次元空間での直方体を表す検索領域１７０１を表示させ、この検索領域１７０１を変形させる指示（例えば、横方向の調整、縦方向の調整、奥行き方向の調整等）をマウス・キーボード部６０５から受け付けるようにしてもよい。
【００８１】
次いで、物品管理ビューア６０３は、物品情報ウィンドウ１５０２にＳ１６０４で得た物品情報（物品種類及び個数）を表示する（Ｓ１６０３）。
【００８２】
また、操作の種類が、物品管理ビューア画面１５０１上の３次元画像中のいずれかの物品の状態の詳細を表示させる操作（例えば、３次元画像中の物品に対するマウス・キーボード部によるクリック）である場合には、物品管理ビューア６０３は、物品管理サーバ１０１の物品管理プログラム２０３に、指定された物品の物品ＩＤを転送する（Ｓ１６０５）。これに対して、物品管理プログラム２０３は、取得した物品ＩＤにより物品データベース２０９を検索し、検索で得られたエントリの動画ＩＤ４０４から動画ＩＤを取得し、フレーム番号４０５からフレーム番号を取得する（Ｓ１６０６）。次に、物品管理プログラム２０３は、地図データベース２０８の動画管理テーブル３０１から動画ＩＤに対応するエントリを検索し、検索して得られたエントリの動画保存先ファイルバス３０３から動画ファイルのファイルパスを取得し、このファイルパスが示す動画ファイル２１０を取得し、この動画ファイル２１０のＳ１６０６で取得したフレーム番号に対応する静止画（フレーム画像）を取得し（Ｓ１６０７）、フレーム画像を物品管理ビューア６０３に返す（Ｓ１６０８）。なお、物品管理プログラム２０３は、フレーム画像とともに、撮影者情報と、撮影をした日時を物品管理ビューア６０３に返してもよい。
【００８３】
その後、物品管理ビューア６０３は、物品管理プログラム２０３から返されたフレーム画像に基づいて物品の画像と、物品の情報を表示する（Ｓ１６０９）。表示する物品の情報としては、物品の種類と、動画の撮影者の名前、撮影日時等を含んでもよい。なお、このように、物品の詳細を表示させるようにする場合には、動画撮影時において、物品の状態がよくわかるように近づいて撮影しておくことが好ましい。
【００８４】
例えば、図１５に示す物品管理ビューア画面１５０１の３次元画像上の五角形のオブジェクト（大型ディスプレイに対応するオブジェクト）をクリックすると、図１８に示すように、大型ディスプレイの物品画像１８０２と物品の情報が含まれている物品情報ウィンドウ１８０３とを含む物品状態確認画面１８０１が表示される。
【００８５】
物品管理者は、物品状態確認画面１８０１を見ることにより、撮影時の物品の状態をより詳細に確認できる。また、物品情報ウィンドウ１８０２には、撮影者と撮影日時とが表示されているため、その日時の物品状態確認のエビデンスとしても利用できる。
【００８６】
なお、Ｓ１６０６において、フレーム番号４０５から複数のフレーム番号が取得される場合があるが、Ｓ１６０７においては、これらすべてのフレーム番号のフレーム画像を送信してもよく、そのうちの一部を送信してもよい。また、複数のフレーム画像が送信された場合には、Ｓ１６０９において、物品管理ビューア６０３は、複数のフレーム画像からいずれか一つのフレーム画像を選択して表示させてもよい。表示させるフレーム画像を選択する方法としては、例えば、画像における対象の物品のサイズが大きいフレーム画像を選択してもよく、フレーム画像の中心又はその近傍に対象の物品が位置するフレーム画像を選択してもよい。このようにすると、物品の状態を迅速にかつ詳細に確認することができる。また、複数のフレーム画像が送信された場合には、Ｓ１６０９において、物品管理ビューア６０３は、複数のフレーム画像を選択可能に表示するようにしてもよい。選択可能に表示する方法としては、いずれか一つを表示させるとともに、表示させるフレーム画像の変更の指示を受け付けるボタンを表示させるようにしてもよい。
【００８７】
また、操作の種類が、物品管理ビューア画面１５０１上の３次元画像中に移動履歴を表示させるための撮影移動履歴ボタン１５０３が押下された操作である場合には、物品管理ビューア６０３は、表示している３次元画像に対応する３次元地図データの基となっている動画の動画ＩＤを物品管理サーバ１０１の物品管理プログラム２０３に転送する（Ｓ１６１０）。
【００８８】
物品管理プログラム２０３は、地図データベース２０８の地図管理テーブル３０６の動画ＩＤに対応するすべてのエントリの自己位置情報３０９の自己位置情報（移動履歴の時系列の自己位置情報のすべて）と、動画管理テーブル３０１の動画ＩＤに対応するエントリの撮影者情報３０４の撮影者情報（撮影者、撮影日時等）とを取得し（Ｓ１６１１）、取得した情報を物品管理ビューア６０３に返す（Ｓ１６１２）。物品管理ビューア６０３は、受信した各自己位置情報に対応する３次元画像上の位置を特定し、それらの位置を時系列に線で結んだ撮影履歴１９０１を表示させるとともに、受信した撮影者情報を撮影情報ウィンドウ１９０２に表示させる（Ｓ１６１３）。例えば、図１５に示す物品管理ビューア画面１５０１において、撮影移動履歴ボタン１５０３が押下された場合には、図１９に示すように、撮影履歴１９０１が表示されるとともに、撮影情報ウィンドウ１９０２が表示される。この物品管理ビューア画面１５０１によると、物品管理者は、物品の撮影者がどのように移動して撮影を行ったかを確認することができ、いつの状態で、どのように作成されたかを容易に確認することができる。
【００８９】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
【００９０】
例えば、上記実施形態では、物品管理システムを、スマートフォン１０２と、物品管理サーバ１０１と、物品管理端末１０３とを別体の装置により構成した例を示していたが、本発明はこれに限られず、いずれか複数の装置を一つの装置として構成してもよい。例えば、スマートフォンに、物品管理サーバ１０１と物品管理端末１０３とのすべての機能を含めるようにして、スマートフォンにより物品管理システムを実現してもよく、スマートフォンに物品管理端末１０３の機能を含めるようにして、スマートフォンと、物品管理サーバにより物品管理システムを実現するようにしてもよい。
【００９１】
また、上記実施形態において、物品管理ビューア６０３が３次元地図データに基づいて３次元画像を生成するようにしていたが、本発明はこれに限られず、表示させる３次元画像を物品管理サーバ１０１の物品管理プログラム２０３側で作成し、物品管理ビューア６０３には、作成された３次元画像を表示させるための処理を実行させるようにしてもよい。
【００９２】
また、上記実施形態において、プロセッサ部が行っていた処理の一部又は全部を、ハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記憶メディア（例えば可搬型の記憶メディア）であってもよい。
【符号の説明】
【００９３】
１０…物品管理システム、１０１…物品管理サーバ、１０２…スマートフォン、１０３…物品管理端末、２０１，５０１，６０１…プロセッサ部、２０２，５０２，６０２…記憶デバイス、２０３…物品管理プログラム、２０８…地図データベース、２０９…物品データベース、２１０…動画ファイル、２１１，５０６，６０６…ネットワーク部、５０３…地図アプリケーション、５０４…カメラ部、６０３…物品管理ビューア
【図１】
2019174920.tif 000003
【図２】
2019174920.tif 000004
【図３】
2019174920.tif 000005
【図４】
2019174920.tif 000006
【図５】
2019174920.tif 000007
【図６】
2019174920.tif 000008
【図７】
2019174920.tif 000009
【図８】
2019174920.tif 000010
【図９】
2019174920.tif 000011
【図１０】
2019174920.tif 000012
【図１１】
2019174920.tif 000013
【図１２】
2019174920.tif 000014
【図１３】
2019174920.tif 000015
【図１４】
2019174920.tif 000016
【図１５】
2019174920.tif 000017
【図１６】
2019174920.tif 000018
【図１７】
2019174920.tif 000019
【図１８】
2019174920.tif 000020
【図１９】
2019174920.tif 000021