(57)【特許請求の範囲】
【請求項１】
情報処理装置を、
複数の画像データが記憶されている画像記憶部から前記画像データを読み出し、前記画像データに写っている物体に関する物体情報が前記物体を識別するための識別情報に対応付けて記憶されている物体情報記憶手段から前記物体情報を読み出す読出手段と、
前記読出手段が読み出した複数の画像データ及び前記物体情報を表示装置に表示させる画像表示手段と、
前記表示装置に表示された前記物体情報に基づいて前記物体の選択を受け付け、前記表示装置に表示された前記画像データに対する前記物体の位置の指定を受け付ける操作受付手段と、
前記操作受付手段が異なる画像データに対し前記位置の指定を受け付けた前記物体のうち、同じ前記識別情報の前記物体が指定された前記位置を関連付けて表示する関連付け手段と、
前記操作受付手段が受け付けた前記位置に、前記物体を指示する指示情報を表示する指示情報表示手段、として機能させ、
前記関連付け手段は、異なる画像データに表示された前記識別情報が同じ前記物体の前記指示情報の間を結ぶ線を表示するプログラム。
【請求項２】
前記関連付け手段は、複数の前記画像データにおいて関連付けて表示された前記位置に写っている前記物体が同じものであることを表示する請求項１に記載のプログラム。
【請求項３】
前記情報処理装置を、
前記物体情報の１つとして前記物体の名称の入力を受け付けて前記識別情報を付与し、前記物体情報記憶手段に記憶させる情報登録手段として機能させ、
前記操作受付手段が前記物体情報の選択及び前記表示装置に表示された前記画像データに対する位置の指定を受け付けた場合、前記関連付け手段は、前記操作受付手段が選択を受け付けた前記物体情報に対応付けられている前記識別情報、又は、前記名称の少なくとも一方を前記物体情報記憶手段から読み出して前記指示情報と共に表示する請求項１に記載のプログラム。
【請求項４】
前記情報処理装置を、
前記画像データに対し手書きされた１つ以上の記号を認識する認識手段と、
前記認識手段による認識結果を取得して、前記識別情報を生成して前記記号と対応付けて前記物体情報記憶手段に記憶させる情報登録手段として機能させ、
前記指示情報表示手段は、前記画像データにおいて前記認識手段が前記記号を認識した場所の周囲に前記指示情報と前記記号を表示する請求項１に記載のプログラム。
【請求項５】
前記画像データには少なくとも水平方向に３６０度の風景が撮像されており、
前記表示装置に正距円筒図法で表示された前記画像データが表示された状態で、前記操作受付手段が右方向へシフトさせる操作を受け付けた場合、前記画像データの右端の画像を切り取り左端に追加し、
前記操作受付手段が左方向へシフトさせる操作を受け付けた場合、前記画像データの左端の画像を切り取り右端に追加する画像シフト手段として機能させる請求項１〜４のいずれか１項に記載のプログラム。
【請求項６】
前記情報処理装置を、
前記情報処理装置に入力された前記画像データに施されている視認性低下処理を解除す
る画像保護解除手段として機能させ、
前記操作受付手段が前記画像データの任意の座標の入力を受け付けた場合、前記画像保護解除手段は、前記座標に対してのみ視認性低下処理を解除する処理を行い、解除する処理を行った前記画像データを前記画像記憶部に記憶させる請求項１〜５のいずれか１項に記載のプログラム。
【請求項７】
前記画像データは周囲３６０度の風景が撮像された全方位画像であり、
前記画像表示手段は、前記画像データを正距円筒図法で表示させるか又は球体表示させる請求項１〜６のいずれか１項に記載のプログラム。
【請求項８】
前記画像表示手段は、前記画像データをマス状に区分された領域の１マスに配置して複数の画像データを表示し、
前記操作受付手段が移動元のマスから移動先のマスへの前記画像データの移動を受け付けた場合、前記画像表示手段は、前記画像データを配置するマスを変更して複数の画像データを表示する請求項１〜７のいずれか１項に記載のプログラム。
【請求項９】
前記画像データが周囲３６０度の風景が撮像された全方位画像で球体表示されており、
前記操作受付手段が前記画像データの水平方向への回転を受け付けた場合、
前記画像表示手段は、前記操作受付手段が受け付けただけ前記画像データを回転させて表示する請求項１〜８のいずれか１項に記載のプログラム。
【請求項１０】
前記情報処理装置を、
前記画像データに対し手書き情報の入力を受け付け、前記表示装置に前記手書き情報を表示する手書き情報表示手段として機能させる請求項１〜９のいずれか１項に記載のプログラム。
【請求項１１】
前記画像データが球体表示された場合、前記画像表示手段は前記手書き情報も球体表示する請求項１０に記載のプログラム。
【請求項１２】
前記画像データには寸法が既知の寸法提供物が写っており、
前記操作受付手段は、ポインティングデバイスにより前記寸法提供物に対し入力される第一の２つの座標と、前記画像データに対し入力される任意の第二の２つの座標とを受け付け、
前記情報処理装置を、
前記第一の２つの座標の差分、前記第二の２つの座標の差分、及び、前記寸法提供物の前記寸法に基づき前記第二の２つの座標の間の距離を測量する測量手段として機能させる請求項１０に記載のプログラム。
【請求項１３】
複数の画像データが記憶されている画像記憶部から前記画像データを読み出し、前記画像データに写っている物体に関する物体情報が前記物体を識別するための識別情報に対応付けて記憶されている物体情報記憶手段から前記物体情報を読み出す読出手段と、
前記読出手段が読み出した複数の画像データ及び前記物体情報を表示装置に表示させる画像表示手段と、
前記表示装置に表示された前記物体情報に基づいて前記物体の選択を受け付け、前記表示装置に表示された前記画像データに対する前記物体の位置の指定を受け付ける操作受付手段と、
前記操作受付手段が異なる画像データに対し前記位置の指定を受け付けた前記物体のうち、同じ前記識別情報の前記物体が指定された前記位置を関連付けて表示する関連付け手段と、
前記操作受付手段が受け付けた前記位置に、前記物体を指示する指示情報を表示する指示情報表示手段と、を有し、
前記関連付け手段は、異なる画像データに表示された前記識別情報が同じ前記物体の前記指示情報の間を結ぶ線を表示する情報処理装置。
【請求項１４】
情報処理装置が行う画像表示方法であって、
読出手段が、複数の画像データが記憶されている画像記憶部から前記画像データを読み出し、前記画像データに写っている物体に関する物体情報が前記物体を識別するための識別情報に対応付けて記憶されている物体情報記憶手段から前記物体情報を読み出すステップと、
画像表示手段が、前記読出手段が読み出した複数の画像データ及び前記物体情報を表示装置に表示させるステップと、
操作受付手段が、前記表示装置に表示された前記物体情報に基づいて前記物体の選択を受け付け、前記表示装置に表示された前記画像データに対する前記物体の位置の指定を受け付けるステップと、
関連付け手段が、前記操作受付手段が異なる画像データに対し前記位置の指定を受け付けた前記物体のうち、同じ前記識別情報の前記物体が指定された前記位置を関連付けて表示するステップと、
指示情報表示手段が、前記操作受付手段が受け付けた前記位置に、前記物体を指示する指示情報を表示するステップと、
前記関連付け手段が、異なる画像データに表示された前記識別情報が同じ前記物体の前記指示情報の間を結ぶ線を表示するステップと、を有する画像表示方法。
【請求項１５】
ネットワークを介して端末と情報処理装置が接続された画像処理システムであって、
複数の画像データが記憶されている画像記憶部から前記画像データを読み出し、前記画像データに写っている物体に関する物体情報が前記物体を識別するための識別情報に対応付けて記憶されている物体情報記憶手段から前記物体情報を読み出す読出手段と、
前記読出手段が読み出した複数の画像データ及び前記物体情報を前記端末に送信して前記端末の表示装置に表示させる画像表示手段と、
前記端末が受け付けた、前記表示装置に表示された前記物体情報に基づく前記物体の選択及び前記表示装置に表示された前記画像データに対する前記物体の位置の指定の情報を受信する受信手段と、
異なる画像データに対し前記位置の指定を受け付けた前記物体のうち、同じ前記識別情報の前記物体が指定された前記位置を関連付ける関連付け手段と、
異なる画像データの前記位置が関連づけされた異なる画像データを前記端末に送信する送信手段と、を有し、
前記端末が前記異なる画像データを表示すると共に、
前記端末が受け付けた前記位置に、前記物体を指示する指示情報を表示し、
異なる画像データに表示された前記識別情報が同じ前記物体の前記指示情報の間を結ぶ線を表示する画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報処理装置、画像表示方法及び画像処理システムに関する。
【背景技術】
【０００２】
画像データをデジタルで保存できるデジタルカメラなどの普及や技術の進歩に伴って、従来よりも広い画角を有する画像データを利用できるようになった。このような広角な画像データを撮像する方法としては、専用のデジタルカメラで撮像する方法や従来のデジタルカメラで撮像した画像データを １つの画像データに合成する方法などがある。
【０００３】
画像データの広角の程度と画像データの呼称には明確な定義はないが、水平方向の画角が１８０〜３６０度のパノラマ画像、水平及び上下のどちらにも３６０度の画角で撮像された全方位画像などが知られている。広角な画像データを利用できる場合、ユーザは任意の方向を選択的にディスプレイなどに表示させることができる。
【０００４】
例えば、道路上で撮像された全方位の画像をサーバに蓄積しておき、任意の方向にある物体に関する情報をユーザのＰＣから要求されると、ユーザの端末に該方向の情報を送信する技術が知られている（例えば、特許文献１参照。）。特許文献１には、リンクが埋め込まれた画像データの領域をユーザが選択することで、領域に対応した広告を端末に送信する方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、広角な画像データをユーザに提供する従来の方法では、異なる画像データに撮像されている同一の物体の判別をユーザが容易に行えないという問題がある。この点について説明する。
【０００６】
まず、複数の画像データから広角な画像データが作成される際、画像のマッチングなどにより同一の物体は１つだけが残るように重畳して合成される。あるいは、同一の物体が撮像されている画像データを１つだけ残して他の画像データからは該物体を削除して合成される。したがって、そもそも異なる画像データに同一の物体が撮像されている状況が生じない。
【０００７】
また、複数の広角な画像データが撮像される場合、広角であるために異なる画像データに同一の物体が撮像されやすくなる。しかし、従来は複数の画像データがあっても、複数の画像データに撮像されている同一の物体の関連性が不明であった。
【０００８】
本発明は、上記課題に鑑み、異なる画像データに撮像されている同一の物体の判別を容易にするプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題に鑑み、本発明は、情報処理装置を、複数の画像データが記憶されている画像記憶部から前記画像データを読み出し、前記画像データに写っている物体に関する物体情報が前記物体を識別するための識別情報に対応付けて記憶されている物体情報記憶手段から前記物体情報を読み出す読出手段と、前記読出手段が読み出した複数の画像データ及び前記物体情報を表示装置に表示させる画像表示手段と、前記表示装置に表示された前記物体情報に基づいて前記物体の選択を受け付け、前記表示装置に表示された前記画像データに対する前記物体の位置の指定を受け付ける操作受付手段と、前記操作受付手段が異なる画像データに対し前記位置の指定を受け付けた前記物体のうち、同じ前記識別情報の前記物体が指定された前記位置を関連付けて表示する関連付け手段と、前記操作受付手段が受け付けた前記位置に、前記物体を指示する指示情報を表示する指示情報表示手段、として機能させ、前記関連付け手段は、異なる画像データに表示された前記識別情報が同じ前記物体の前記指示情報の間を結ぶ線を表示するプログラムを提供する。
【発明の効果】
【００１０】
異なる画像データに撮像されている同一の物体の判別を容易にするプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】ユーザ端末の表示装置に表示された複数の画像データの一覧を示す図の一例である。
【図２】画像処理システムの概略のシステム構成図の一例である。
【図３】ユーザ端末のハードウェア構成図の一例である。
【図４】撮像装置のハードウェア構成図の一例である。
【図５】ユーザ端末の機能が模式的に示される機能ブロック図の一例である。
【図６】画像処理アプリのユーザインタフェースの一例を示す図である。
【図７】引っ越し元のフロアの平面図の一例を示す図である。
【図８】画像保護の解除を説明する図の一例である。
【図９】画像処理アプリが画像データの保護を解除する手順を示すフローチャート図の一例である。
【図１０】部屋２０１、２０２で撮像された画像データを示す図の一例である。
【図１１】部屋２０３、２０４で撮像された画像データを示す図の一例である。
【図１２】部屋２０５で撮像された画像データを示す図の一例である。
【図１３】廊下２０６で撮像された画像データを示す図の一例である。
【図１４】画像表示欄に表示された画像データを示す図の一例である。
【図１５】画像処理アプリが画像表示欄の画像データを移動する手順を示すフローチャート図の一例である。
【図１６】平面図の東西南北と、画像データの水平位置と東西南北の関係を説明する図の一例である。
【図１７】画像処理アプリが画像データをシフトする手順を示すフローチャート図の一例である。
【図１８】情報表示欄に対する物体情報の入力を模式的に説明する図の一例である。
【図１９】画像処理アプリが画像データにタグを表示する手順を示すフローチャート図の一例である。
【図２０】同一の搬送物の関連づけを説明するための図の一例である。
【図２１】画像処理アプリがタグ同士を関連付ける手順を示すフローチャート図の一例である。
【図２２】タグ同士が結線された画像処理アプリのユーザインタフェースの一例を示す図の一例である。
【図２３】タグ同士が結線された画像処理アプリのユーザインタフェースの一例を示す図の一例である。
【図２４】画像データへの手書き情報の入力を説明する図の一例である。
【図２５】画像処理アプリが画像データに手書き情報を表示する手順を示すフローチャート図の一例である。
【図２６】手書き情報を利用した物体情報の登録を模式的に示す図の一例である。
【図２７】入力支援部が物体情報を画像処理アプリに入力する手順を示すフローチャート図の一例である。
【図２８】画像表示欄に球体表示された画像データを示す図の一例である。
【図２９】正距円筒図が球体表示された画像データ２０５を示す図である。
【図３０】書棚２０５１の寸法の算出方法を説明する図の一例である
【図３１】サーバクライアント方式で画像処理アプリが動作する画像処理システム構成図の一例である。
【図３２】一例としてサーバが主な機能を有する場合の画像処理システムの機能ブロック図の一例である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について図面を参照しながら説明する。
【００１３】
＜画像処理アプリの概略＞
図１は、ユーザ端末の表示装置に表示された複数の画像データの一覧を示す図の一例である。ユーザ端末については後述される。図１では、７個の画像データ２０１〜２０６がテーブル状に配置されている。なお、画像データ２０１〜２０６の符号は後述する部屋又は廊下の番号と対応している。７個の画像データ２０１〜２０６はそれぞれ上下左右（以下単に「周囲」という）３６０度が撮像された全方位画像である。ユーザは、ユーザ端末で動作する画像処理アプリを操作して、画像データに撮像されている物体にタグ５１を付与する。図１では、画像データ２０５Ａの物体（図ではコピー機）にタグ５１が付与された。タグ５１が付与されると、ユーザ端末１００は画像データ２０５Ａの上記物体にタグ５１を表示する。タグ５１について詳細は後述される。
【００１４】
また、画像データ２０５Ｂに撮像されている同じ物体（図ではコピー機）に対してもユーザはタグ５１を付与する。複数の画像データに写っている同じ物体は、後述する物流ＩＤにより同じで物体であることが分かるようになっている。これにより、画像処理アプリは画像データ２０５Ａのタグ５１と画像データ２０５Ｂのタグ５１を線５２で結ぶ。したがって、全方位画像のように画角が広いため複数の画像データに同じ物体が撮像されやすい場合、ユーザが同じ物体に同じタグ５１を付与することで、ユーザは複数の画像データに写っている同じ物体の関連を一目で把握できる。
【００１５】
なお、このような画像処理アプリは様々なシーンで活用されることが期待されるが、本実施形態では活用シーンの一例として引っ越しを念頭にして説明する。オフィスや住居等の引っ越しの際、例えば引っ越し業者が引っ越し元のオフィスや住居等を訪れ、どのような搬送物がどのくらいの数あるかを把握する必要がある。運搬のためのトラックのサイズや作業員の人数等を決定するためである。
【００１６】
本実施形態の画像処理アプリを引っ越し業者が活用した場合、引っ越し元のオフィスや住居等で各部屋を１回撮像すれば、ほぼ全ての搬送物を画像データに写すことができる。引っ越し業者は画像処理アプリに搬送物をリストアップしたり、搬送物にタグ５１を付与することで搬送物を整理できる。また、各部屋の様子が１つの画像データに写っているので、図１のような複数の画像データを引っ越し業者が適切に配置することで、オフィスや住居等の間取り図を生成できる（間取り図と同じ配置に画像データを並べることができる）。この時、同じ搬送物に付与されたタグ５１は線５２で結ばれるので、物体の関連を把握しやすい。したがって、オフィスや住居等の各部屋と搬送物の対応が一目で分かるようになり、どのような搬送物がどのくらいの数あるかを確認する引っ越し作業が容易になる。
【００１７】
＜用語について＞
タグ５１とは荷札をいう。これは画像処理アプリが適用されるシーンが引っ越しであるためであり、複数の画像データに写っている物体が同じ物体であることを示す可視情報が「タグ」と呼ばれなければならないわけではない。例えば、タグの代わりに単なるラベルのようなものでもよい。ラベルとは目印のための張り紙を意味するが、画像データの上では物体を指し示す可視情報であればよい。このラベルは、物体の近くに例えば矩形などの形状で表示される。したがって、ラベルは物体を指し示す指示情報となる。
【００１８】
本実施形態では画像データとして、周囲３６０度が撮像された全方位画像を例に説明する。しかし、通常の画角の画像データに画像処理アプリを適用することも可能である。
【００１９】
また、物体とは画像データに撮像される被写体をいい、搬送物とは物体のうち搬送されるものをいう。例えば、移動可能な物体は搬送物であり、備え付けのドアは搬送物でない。しかし、搬送するかどうかは引っ越し元の担当者と引っ越し業者などが決定することができるため、厳密に区別されなくてよい。
【００２０】
ユーザとは画像処理アプリを利用する者をいい、引っ越し業者はその一例である。本実施形態では、引っ越し業者が画像処理アプリを利用している場合でもユーザを主語にして説明する場合がある。
【００２１】
＜システム構成＞
図２は、画像処理システム５００の概略のシステム構成図の一例を示す。ユーザは撮像装置３００を保持しており、適切な場所で周囲を撮像する。撮像装置３００により周囲３６０度の風景をユーザが一度の操作で撮像できる。撮像装置３００は専用のカメラでなくてもよく、一般のデジカメ（デジタルスチルカメラやデジタルビデオカメラ等）でもよい。この場合、ユーザはデジカメで視線が異なる何枚かの風景を撮像し、情報処理装置に複数の画像データを送信する。情報処理装置には複数の画像データを合成するアプリがインストールされており、アプリが複数の画像データを合成して全方位画像を作成する。
【００２２】
また、撮像装置３００はスマートフォンなどの情報処理端末に内蔵されているカメラであってもよい。あるいは、撮像装置３００は情報処理装置に外付けされてもよい。
【００２３】
また、画像処理システム５００はユーザ端末１００を有している。ユーザ端末１００は、例えばタブレット端末、ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、電子黒板、テレビ会議端末、ウェアラブルＰＣ、ゲーム機、携帯電話、カーナビゲーションシステム、スマートフォンなどの情報処理装置である。しかし、これらに限られるものではない。撮像装置３００とユーザ端末１００は無線ＬＡＮやBluetooth（登録商標）などで通信し、撮像装置３００が撮像した画像データはユーザ端末１００に送信される。撮像装置３００とユーザ端末１００がＵＳＢケーブルなどの有線で通信してもよい。また、撮像装置３００が無線ＬＡＮや携帯電話網などでサーバに送信した画像データを、ユーザがユーザ端末１００を操作してユーザ端末１００にダウンロードしてもよい。
【００２４】
なお、引っ越し作業の現場で状況を確認しながらユーザがタグ５１を付与することを考慮すると、ユーザ端末１００はタブレット端末など可搬性が高くディスプレイが大きいものが好適である。しかし、ユーザ端末１００は最低限、画像処理アプリが動作するものであればよい。
【００２５】
＜ハードウェア構成図＞
図３は、ユーザ端末１００のハードウェア構成図の一例である。図示するようにユーザ端末１００は情報処理装置の機能を有している。ユーザ端末１００は、ＣＰＵ１０１、ＲＡＭ１０２、入力装置１０３、外部Ｉ／Ｆ１０４、カメラ１０５、ＳＳＤ（Solid State Drive）１０６、ＲＯＭ１０７、表示装置１０８、無線通信装置１０９、ＮＦＣ通信装置１１０、ＢＬモジュール１１１及び携帯電話通信装置１１２などを備え、それぞれがバスＢで相互に接続されている。
【００２６】
ＣＰＵ１０１は、ＲＯＭ１０７やＳＳＤ１０６などの記憶装置からプログラムやデータをＲＡＭ１０２上に読み出し、処理を実行することで、ユーザ端末１００全体の制御や機能を実現する演算装置である。ＲＡＭ１０２は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。
【００２７】
入力装置１０３は、例えばキーボードやタッチパネルであり、ユーザ端末１００に各操作信号を入力するのに用いられる。なお、入力装置１０３はマウスポインタや音声入力装置が含まれていてもよい。
【００２８】
外部Ｉ／Ｆ１０４は、外部装置とのインタフェースである。外部装置の一例として、記録媒体１０４ａなどがある。記録媒体１０４ａには、本実施形態の機能を実現するための画像処理アプリを格納することができる。ユーザ端末１００は外部Ｉ／Ｆ１０４を介して、記録媒体１０４ａの読み取り及び／又は書き込みを行うことができる。
【００２９】
記録媒体１０４ａは、例えば、ＳＤメモリカード（SD Memory card）などの情報を記憶するための媒体である。記録媒体１０４ａは、ＵＳＢメモリ（Universal Serial Bus memory）、ＤＶＤ（Digital Versatile Disk）、ＣＤ（Compact Disk）、フレキシブルディスクなどの媒体であってもよい。
【００３０】
カメラ１０５は、像を結像させるレンズ、絞り、ＣＭＯＳやＣＣＤなどの撮像素子などを備えた撮像部である。静止画だけでなく動画を撮像できる。
【００３１】
ＳＳＤ１０６は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、例えばユーザ端末１００全体を制御する基本ソフトウェアであるＯＳ（Operating System）や、ＯＳ上において各種機能を提供する画像処理アプリなどがある。なお、ユーザ端末１００は、ＳＳＤ１０６の代わりに又はＳＳＤ１０６と併せて、ＨＤＤ（Hard Disk Drive）等を備えていてもよい。
【００３２】
ＲＯＭ１０７は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１０７には、ユーザ端末１００の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ設定、及びネットワーク設定などのプログラムやデータが格納されている。
【００３３】
表示装置１０８は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬなどのフラットパネルディスプレイであり、ユーザ端末１００による処理結果を表示する。表示装置１０８はタッチパネルを備えることが好ましい。
【００３４】
無線通信装置１０９は、無線通信を行うためのインタフェースであり、例えば無線ＬＡＮなどの通信規格で撮像装置３００と通信する。なお、無線ＬＡＮの通信規格として、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ、アドホックモード、インフラストラクチャー・モードなどがあるが、いずれの通信規格で通信してもよい。
【００３５】
ＮＦＣ通信装置１１０は、例えば、ＮＦＣやTransferJet（登録商標）などのＩＣチップを用いた通信規格にしたがって通信する。すなわち、ＲＦタグのリーダ／ライタである。
【００３６】
ＢＬモジュール１１１は、Bluetooth（登録商標）の通信規格にしたがって通信する通信装置である。携帯電話通信装置１１２は、ＬＴＥ（Long Term Evolution）や３Ｇなどの遠距離の無線通信が可能な通信装置であり、携帯電話網に接続することができる。
【００３７】
図４は、撮像装置３００のハードウェア構成図の一例である。以下では、撮像装置３００は、２つの撮像素子を使用した全方位撮像装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置３００と同じ機能を有するようにしてもよい。
【００３８】
図４に示されているように、撮像装置３００は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、ＣＰＵ３１１、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信装置３１７、及びアンテナ３１７ａによって構成されている。
【００３９】
このうち、撮像ユニット３０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）３０２ａ，３０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子３０３ａ，３０３ｂを備えている。撮像素子３０３ａ，３０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【００４０】
撮像ユニット３０１の撮像素子３０３ａ，３０３ｂは、各々、画像処理ユニット３０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット３０１の撮像素子３０３ａ，３０３ｂは、撮像制御ユニット３０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット３０４及び撮像制御ユニット３０５は、バス３１０を介してＣＰＵ３１１と接続される。更に、バス３１０には、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信装置３１７、及び電子コンパス３１８なども接続される。
【００４１】
画像処理ユニット３０４は、撮像素子３０３ａ，３０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒図法の画像のデータを作成する。
【００４２】
撮像制御ユニット３０５は、一般に撮像制御ユニット３０５をマスタデバイス、撮像素子３０３ａ，３０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子３０３ａ，３０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ３１１から受け取る。また、該撮像制御ユニット３０５は、同じくＩ２Ｃバスを利用して、撮像素子３０３ａ，３０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ３１１に送る。
【００４３】
また、撮像制御ユニット３０５は、操作部３１５のシャッターボタンが押下されたタイミングで、撮像素子３０３ａ，３０３ｂに画像データの出力を指示する。撮像装置３００によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子３０３ａ，３０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【００４４】
また、撮像制御ユニット３０５は、後述するように、ＣＰＵ３１１と協働して撮像素子３０３ａ，３０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置３００には表示部が設けられていないが、表示部を設けてもよい。
【００４５】
マイク３０８は、音を音（信号）データに変換する。音処理ユニット３０９は、マイク３０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【００４６】
ＣＰＵ３１１は、撮像装置３００の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ３１２は、ＣＰＵ３１１のための種々のプログラムを記憶している。ＳＲＡＭ３１３及びＤＲＡＭ３１４はワークメモリであり、ＣＰＵ３１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ３１４は、画像処理ユニット３０４での処理途中の画像データや処理済みの正距円筒図法により作成された画像のデータを記憶する。
【００４７】
操作部３１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。
【００４８】
ネットワークＩ／Ｆ３１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ３１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ３１４に記憶された正距円筒図法により作成された画像のデータは、このネットワークＩ／Ｆ３１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ３１６を介して外部装置に送信されたりする。
【００４９】
通信装置３１７は、撮像装置３００に設けられたアンテナ３１７ａを介して、WiFi(wireless fidelity)、ＮＦＣ、又はＬＴＥ（Long Term Evolution）等の離無線技術によって外部装置と通信を行う。この通信装置３１７によっても、正距円筒図法により作成された画像のデータを外部装置に送信することができる。
【００５０】
電子コンパス３１８は、地球の磁気から撮像装置３００の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
【００５１】
＜ユーザ端末１００の機能について＞
図５は、ユーザ端末１００の機能が模式的に示される機能ブロック図の一例である。ユーザ端末１００は、操作入力受付部２１、表示制御部２２、情報作成部２３、タグ関連付け部２４、タグ作成部２５、手書き情報描画部２６、画像シフト部２７、画像保護部２８、入力支援部２９、測量部３３、及び、記憶読出部３０を有している。これら各機能部は、ＳＳＤ１０６に格納されている画像処理アプリをＣＰＵ１０１が実行して図３に示した各構成要素のいずれかを制御することで実現される機能又は手段である。なお、これら各機能部の一部又は全体がハードウェア（ＩＣ回路等）により実現されてもよい。
【００５２】
また、ユーザ端末１００は、図３に示されているＲＡＭ１０２、ＳＳＤ１０６、ＲＯＭ１０７等によって構築される記憶部１０００を有している。記憶部１０００には物体情報ＤＢ１００１、辞書ＤＢ１００２、画像ＤＢ１００３、及び、画像処理アプリ１０１０が記憶されている。画像処理アプリ１０１０は、記録媒体１０４ａに記憶された状態で配布されたり、プログラムを配信するサーバから配信されたりする。
【００５３】
物体情報ＤＢ１００１、辞書ＤＢ１００２及び画像ＤＢ１００３について説明する。
【００５４】
【表１】
0006597259.tif 000002
表１は、物体情報ＤＢ１００１に登録される情報を模式的に示している。物体情報ＤＢ１００１は「物流ＩＤ」「Index」「Item」「Room」「Detail」「Volume Number」「Note」の各フィールドを有している。各フィールドについて説明する。これらのフィールドを区別しない場合、物体情報ＤＢ１００１に登録される情報を「物体情報」と称する。
・物流ＩＤ…搬送物を一意に識別するための重複のない識別情報又は識別子である。識別情報又は識別子とは、複数の対象からある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち２つ以上の組み合わせをいい、以下、包含して「識別情報」という。搬送物を特定するものであるため搬送物固有情報と称してよい。搬送時に１つの搬送物として扱われる搬送物に重複しない物流ＩＤが付与される。
・Index…荷物と構造物のどちらかが設定される。荷物とは衣類や小物類など段ボールに収納できるものである。構造物とはロッカーや食器棚などそのままの形状で搬送されるものである。搬送物には、この荷物と構造物が含まれる。
・Room…搬送物が置かれている空間を識別する情報である。具体的には部屋の名称や部屋の番号である。
・Detail…主にサイズを示す。その他、搬送物に関する備考を入力できる。例えば「Ｍ×４」とは中くらい（Ｍサイズ）の段ボールが４つとなることを意味する。「１３３×８３×１１」は縦×横×奥行きの各サイズである。
・Volume Number…搬送時に搬送物が占める体積を１〜２０程度の数値で示す。数値が大きいほど体積が大きい。
・Note…物流の種類を示す。例えば、「航空便」「船便」「国内引越」「国内保管」など、その搬送物をどの手段で搬送させるかが設定される。なお、この分類により画像処理アプリはタグ５１の色を変えるなどの制御が可能である。
【００５５】
また、Volume Number、Note、及び、移動距離の組み合わせで、搬送物ごとの引っ越しの単価が決まる。したがって、画像処理アプリに引っ越し元と引っ越し先の情報が入力されれば、およその見積を作成することができる。
【００５６】
【表２】
0006597259.tif 000003
表２は、辞書ＤＢ１００２に登録される情報を模式的に示している。辞書ＤＢ１００２は「あいうえお順」に単語が登録されているいわゆる辞書である。画像処理アプリは、ユーザが入力した先頭の文字と同じ文字を辞書ＤＢ１００２から検索し、先頭の文字で始まる単語を表示する。ユーザが入力する文字が増えるにつれて単語が絞り込まれるため、ユーザは最小限の入力で単語を選択して入力できる。なお、辞書ＤＢ１００２として引っ越しに使用する単語が多く登録された辞書が用意されていることが有効である。
【００５７】
【表３】
0006597259.tif 000004
表３は、画像ＤＢ１００３に登録される情報を模式的に示している。画像ＤＢ１００３は「画像ＩＤ」「ファイル名」「タグ情報」「手書き情報」の各フィールドを有すると共に、画像データが記憶されている。ユーザが撮像装置３００で撮像した画像データは自動的に又は画像処理アプリに対するユーザのインポート操作などにより、画像処理アプリが画像ＤＢ１００３に登録する。画像処理アプリは画像データに重複しない画像ＩＤを付与する。画像ＩＤは、画像処理アプリが一意に画像データを識別するための識別情報であり、ユーザが把握する必要はない。ファイル名は撮像装置３００が自動的に付与した撮像日時又はユーザが任意に付与したファイル名である。タグ情報は、画像データに付与されたタグ５１に関する情報であり、物流ＩＤと座標の組を１つのタグ情報とする。画像データにタグ５１が付与されると、図１にて説明したようにユーザが指定した画像データ上の位置にタグ５１が表示される。タグ５１の位置は画像データの原点（例えば左上コーナー）を基準とする座標により特定される。タグ５１は一例として矩形枠なのでタグ５１の枠の座標（少なくとも左上コーナーと右上コーナー）が登録されている。手書き情報について詳細は後述されるが、ユーザが画像データに手書きしたストロークの座標が手書き情報ごとに登録されている。手書き情報は「手書きＩＤ」により識別される。手書きＩＤは手書き情報を一意に識別するための識別情報であり、少なくとも同じ画像データ内で重複しない。手書きＩＤは手書き情報を構成するストロークと対応付けられており、ストロークは各ストロークを構成する座標と対応付けられているが、詳細は省略されている。
【００５８】
＜ユーザ端末１００の機能について＞
操作入力受付部２１は、図３に示されるＣＰＵ１０１及び入力装置１０３等により実現され、ユーザ端末１００及び画像処理アプリに対するユーザの各種操作の入力又は操作を受け付ける。
【００５９】
表示制御部２２は、図３に示されるＣＰＵ１０１等により実現され、表示装置１０８に画像処理アプリの画面を表示する。画像処理アプリの画面（ユーザインタフェース）については図６等を用いて後述されるが、画像処理アプリに対する入力又は操作を操作入力受付部２１が受け付け、表示制御部２２がユーザの入力又は操作を画面に反映させる。
【００６０】
情報作成部２３は、図３に示されるＣＰＵ１０１等により実現され、操作入力受付部２１が入力を受け付けた搬送物に関する物体情報を物体情報ＤＢ１００１に登録する。
【００６１】
タグ関連付け部２４は、図３に示されるＣＰＵ１０１等により実現され、複数の画像データに同じ物流ＩＤのタグ５１が付与されている場合、該タグ同士を線５２で結ぶ。
【００６２】
タグ作成部２５は、図３に示されるＣＰＵ１０１等により実現され、操作入力受付部２１が入力を受け付けたタグ５１の作成操作（後述する作成ボタン５０４の押下）及びユーザが指定する画像データ上の位置にタグ５１を表示する。また、タグ５１のタグ情報を画像ＤＢ１００３に登録する。タグ５１の位置はユーザが指定した画像データ上の位置である。
【００６３】
手書き情報描画部２６は、図３に示されるＣＰＵ１０１等により実現され、操作入力受付部２１が入力を受け付けた画像データに対する手書き情報の座標を取得し、画像ＩＤに対応付けて画像ＤＢ１００３に登録する。また、手書き情報描画部２６は、画像ＤＢ１００３から手書き情報を読み出して画像データに重畳して表示する。手書き情報（ストローク）の座標は画像データと同じ原点を基準とし、画像データ上の物体に重畳して表示される。
【００６４】
画像シフト部２７は、図３に示されるＣＰＵ１０１等により実現され、操作入力受付部２１が受け付けた画像データに対するユーザのシフト操作に応じて、画像データの右端から左端に又は右端から左端に画像を移動させる。
【００６５】
画像保護部２８は、図３に示されるＣＰＵ１０１等により実現され、画像データに対する画像保護の解除を行う。詳細は後述される。これにより、秘匿性が高い物体や人の顔などが画像データに写っていても画像データの取り扱いが容易になる。
【００６６】
入力支援部２９は、図３に示されるＣＰＵ１０１等により実現され、ユーザが手書きした文字をＯＣＲ処理して、辞書ＤＢ１００２から読み出した単語を表示装置１０８に表示する。更に、ユーザが表示された単語を選択すると、タグ作成部２５にタグ５１を作成させ画像ＤＢ１００３に登録させ、情報作成部２３に物体情報を物体情報ＤＢ１００１に登録させる。
【００６７】
測量部３３は、図３に示されるＣＰＵ１０１等により実現され、後述する寸法提供物の寸法を用いて物体のサイズを算出したり大まかな測量を行う。
【００６８】
記憶読出部３０は、図３に示されるＣＰＵ１０１等により実現され、記憶部１０００に記憶されている各種データの読み出し、及び、記憶部１０００への各種データの書き込みを行う。なお、以下の説明では、記憶読出部３０が記憶部１０００に読み書きする場合でも「記憶読出部３０を介して」という説明を省略する場合がある。
【００６９】
＜撮像装置３００の機能構成＞
撮像装置３００は、通信部４１，受付部４２、撮像部４３、及び記憶読出部４９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＳＲＡＭ３１３からＤＲＡＭ３１４上に展開された撮像装置用のプログラムに従ったＣＰＵ３１１からの命令によって動作することで実現される機能又は手段である。
【００７０】
また、撮像装置３００は、図４に示されているＲＯＭ３１２、ＳＲＡＭ３１３、及びＤＲＡＭ３１４の１つ以上によって構築される記憶部４０００を有している。記憶部４０００には撮像装置用のプログラムが記憶されている。
【００７１】
通信部４１は、主に、図４に示されている通信装置３１７、ネットワークＩ／Ｆ３１６及びＣＰＵ３１１の処理によって実現され、ユーザ端末１００とデータ通信を行う。
【００７２】
受付部４２は、主に、図４に示されている操作部３１５及びＣＰＵ３１１の処理によって実現され、ユーザからの操作入力を受け付ける。
【００７３】
撮像部４３は、主に、図４に示されている撮像ユニット３０１、画像処理ユニット３０４、及び撮像制御ユニット３０５、及びＣＰＵ３１１の処理によって実現され、風景等を撮像し、画像データを作成する。
【００７４】
記憶読出部４９は、主に、図４に示されているＣＰＵ３１１の処理によって実現され、記憶部４０００に各種データを記憶したり、記憶部４０００から各種データを読み出したりする。
【００７５】
＜ユーザインタフェース＞
図６を用いて画像処理アプリのユーザインタフェースについて説明する。図６は、画像処理アプリのユーザインタフェースの一例を示す図である。画像処理アプリは主にメニュー欄５０１、画像表示欄５０２、及び、情報表示欄５０３を有している。メニュー欄５０１には使用される頻度が大きいメニューが表示される。
【００７６】
メニューｍ１は、すでに描画されている手書き情報をユーザが選択するためのメニューである。メニューｍ１を選択してユーザが指やマウスなどのポインティングで手書き情報を囲む操作を行うと、手書き情報が選択される。
【００７７】
メニューｍ２は、ユーザが新たに手書き情報を手書きするためのメニューである。メニューｍ２を選択して色や太さを選択し、ユーザが指やマウスのポインティングで画像データに手書き情報（ストローク）を手書きすると、画像データに手書き情報が描画される。
【００７８】
メニューｍ３は、画像表示欄５０２において複数の画像データが１つずつ表示される単独表示と、複数の画像データが並んで表示されるリスト表示とをユーザが切り替えるためのメニューである（図６はリスト表示の状態）。メニューｍ３を選択すると、１枚の画像データが画像表示欄５０２に大きく表示され、再度メニューｍ３を選択すると、図示するように複数の画像データがリスト表示される。なお、画像処理アプリはこの他にも多くの機能を有しているが説明の便宜上省略されている。
【００７９】
画像表示欄５０２には、画像ＤＢ１００３に記憶されている画像データが表示される。リスト表示の場合、各画像データがリスト状に表示される。ユーザは、画像データを選択してドラッグすることで、画像データの位置を移動したり入れ替えたりすることができる。このような機能は操作入力受付部２１と表示制御部２２により実行される。
【００８０】
情報表示欄５０３はユーザが物体情報ＤＢ１００１に物体情報を登録するためのエディターとなる。ユーザは情報表示欄５０３を使用して表１に示した各フィールドに任意の情報を登録することができる。なお、物流ＩＤについては情報作成部２３が自動的に付与する。また、情報表示欄５０３には、物体情報ＤＢ１００１に登録されていた物体情報に加え作成ボタン５０４が表示される。
【００８１】
作成ボタン５０４は、ユーザが画像データにタグ５１を付与するためのボタンである。操作入力受付部２１が作成ボタン５０４の押下を受け付けると、タグ作成部２５は操作入力受付部２１からユーザが操作したレコードの物流ＩＤを取得する。次に、ユーザが指やマウスのポインティングデバイスで画像データをタップすると（クリックすると）、タグ作成部２５はその場所にタグ５１を表示する。これにより、物体情報ＤＢ１００１において物流ＩＤに対応付けられている物体情報をタグ５１と共に表示できる。
【００８２】
なお、表示制御部２２は、画像表示欄５０２と情報表示欄５０３のうち一方のみを大きく表示することも可能であるし、どちらも表示しないことも可能である。
【００８３】
＜画像処理アプリの使用方法＞
以下では、画像処理アプリの使用方法について説明する。図７は、引っ越し元のフロアの平面図の一例を示す。引っ越し元のフロアは５つの部屋２０１〜２０５と１つの廊下２０６を有している。部屋２０１は、ロッカー２０１１、窓２０１２、及びドア２０１３を有している。部屋２０２は、ロッカー２０２１、窓２０２２、及びドア２０２３を有している。部屋２０３はプロジェクターが映像を投影するためのスクリーン２０３１、窓２０３２、及び、ドア２０３３を有している。部屋２０４はプロジェクターが映像を投影するためのスクリーン２０４１、窓２０４２、及び、ドア２０４３を有している。部屋２０５は机２０５３、コピー機２０５２、書棚２０５１、及び、ドア２０５４，２０５５を有している。
【００８４】
ユーザは各部屋２０１〜２０５及び廊下２０６の図示する撮像地点２０１ａ〜２０６ａで撮像装置３００を用いて周囲を撮像する。なお、この撮像地点２０１ａ〜２０６ａは一例であって、この撮像地点２０１ａ〜２０６ａで撮像しなければならないわけではない。
【００８５】
＜画像保護＞
まず、撮像された画像データの保護について説明する。写り込んでいるが表示させたくない、又は、表示させるべきでない被写体（例えば、氏名など個人情報が印字、記載された物体など）を含む画像に基づいてユーザが見積もりや位置確認のためのやり取りを行うケースも生じうる。このようなケースを想定して、画像処理アプリは画像データを保護する機能を有している。これによりセキュリティ性を向上できる。
【００８６】
画像処理アプリが画像データを取り込んだ状態では、取り込まれた全ての画像データは全体が保護された状態である。画像の保護とは視認性を低下させる処理（視認性低下処理）が行われた状態を言う。画像の保護は例えばモザイク処理、平滑化処理又はコントラスト低下処理などにより行われているが、どのような処理で保護されていてもよい。
【００８７】
画像処理アプリが画像データを取り込むと、ユーザは画像保護の解除を行うかどうかを画像データごとに入力できる。全てが画像保護された状態ではユーザが搬送物を視認できないので、ユーザは引っ越し作業に必要な部分だけ画像保護を解除できる。引っ越し作業に必要な部分とは、主に搬送物やドアなどが写っている部分である。
【００８８】
図８は、画像保護の解除を説明する図の一例である。図８（ａ）は画像表示欄５０２に表示された画像保護されている画像を示す。画像保護されている画像は「保護状態です」というメッセージ６０１と共に表示されている。
【００８９】
画像保護の解除を行うユーザは、指やマウスなどのポインティングデバイス６０３で画像保護を解除したい部分をなぞる。操作入力受付部２１はユーザがなぞった部分の座標を受け付け、ユーザがなぞった部分の画像保護を画像保護部２８が解除する。
【００９０】
具体的には、画像保護部２８は保護されていない画像データを用いて保護を解除する。図８（ｂ）は保護されていない画像データを示す。図８（ｂ）の画像データは画像表示欄５０２には表示されずＲＡＭ１０２一時的に保持されている。画像保護部２８はユーザがなぞった部分の座標を図８（ｂ）の画像データから取得して、図８（ａ）の画像と置き換える。これにより、ユーザがなぞった部分だけ保護が解除され、ユーザは必要な搬送物を視認できるようになる。
【００９１】
図８（ｃ）は画像データの一部領域の保護が解除された状態の画像データを示す。「この状態で保護します」というメッセージ６０２と共に書棚２０５１、コピー機２０５２、及び、机２０５３の部分の画像保護が解除されている。引っ越し業者は例えば引っ越し元の担当者の立ち会いの下、画像データを保存する。画像データが保存されると画像保護部２８は図８（ｂ）の画像データをＲＡＭ１０２から削除する。
【００９２】
したがって、引っ越し元の担当者から見れば秘匿性が高い物体や人の顔などが画像データに写った状態で外部に持ち出されることを防止できる。撮像装置３００のように画角が広い画像データで特に有効である。
【００９３】
図９は、画像処理アプリが画像データの保護を解除する手順を示すフローチャート図の一例である。図９の処理は、例えばユーザが画像処理アプリに画像データを取り込ませるとスタートする。
【００９４】
まず、画像処理アプリが画像データを取り込む（Ｓ１０）。画像保護部２８は、撮像装置３００などから取得した画像データを複製し、２つのうちの１つの画像データの全体にモザイク処理や平滑化処理などの画像保護の処理を施す。表示制御部２２は画像が保護された画像データしか画像表示欄５０２に表示しない。
【００９５】
次に、ユーザが画像保護を解除する操作を行ったか否かを操作入力受付部２１が判定する（Ｓ２０）。ステップＳ２０の判定がＮｏの場合、画像保護された状態のまま画像ＤＢ１００３に記憶される。
【００９６】
ステップＳ２０の判定がＹｅｓの場合、操作入力受付部２１は画像保護の解除を画像保護部２８に通知する。
【００９７】
画像保護部２８は操作入力受付部２１を介してユーザの操作による解除部分の座標を取得する（Ｓ３０）。
【００９８】
画像保護部２８は、画像保護されていない画像データから解除部分の座標の画像を取得して、画像保護されている画像データの画像と置き換える（Ｓ４０）。
【００９９】
ステップＳ３０，Ｓ４０の処理の間、画像保護部２８はユーザが画像保護の解除操作を終了したか否かを、操作入力受付部２１を介して判定する（Ｓ５０）。ステップＳ５０の判定がＮｏの場合、ステップＳ３０，Ｓ４０の処理が継続して行われる。
【０１００】
ステップＳ５０の判定がＹｅｓの場合、画像保護部２８は画像保護が解除された画像データを画像ＤＢ１００３に保存し、画像保護されていない画像データをＲＡＭ１０２から削除する（Ｓ６０）。
【０１０１】
なお、このような画像保護の解除処理は、画像保護の処理が非可逆の場合である。画像保護の処理と解除処理が可逆の場合、画像保護部２８は逆変換により画像保護の解除処理を行うことができる。
【０１０２】
また、画像保護の解除は画像データを画像処理アプリが取り込んだ時以外にも、ユーザが操作した時など任意のタイミングで実行できる。
【０１０３】
＜画像データの配置＞
画像データ（保護が解除されていてもされていなくてもよい）は上記の画像表示欄５０２に表示される。以下では、説明のため、全体の保護が解除された画像データを図示して説明する。
【０１０４】
図１０〜１３は、画像表示欄５０２に表示される画像データの一例である。図１０（ａ）は部屋２０１で撮像された画像データ２０１であり、図１０（ｂ）は部屋２０２で撮像された画像データ２０２である。図１１（ａ）は部屋２０３で撮像された画像データ２０３であり、図１１（ｂ）は部屋２０４で撮像された画像データ２０４である。図１２（ａ）と図１２（ｂ）は部屋２０５で撮像された画像データ２０５Ａ，２０５Ｂであり、図１３は廊下２０６で撮像された画像データ２０６である。
【０１０５】
画像データ２０１〜２０６は周囲３６０度が撮像された全方位画像であるため、二次元でゆがみなく表示することが困難である。本実施形態では、正距円筒図法で変形された画像データを示す。正距円筒図法は、全方位画像の経度、緯度をそのままＸ座標、Ｙ座標に読み変えた図法である。赤道付近でのひずみは小さいが、赤道から離れるにつれゆがみが大きくなる。正距円筒図法の他、メルカトル図法などユーザの視認性を優先した投影法により作成されていてもよい。
【０１０６】
図１０（ａ）を例にして説明する。図１０（ａ）ではロッカー２０１１、窓２０１２、及び、ドア２０１３が撮像されている。図７と比較すると分かるように、部屋２０１の４つの壁２０１４〜２０１７が図１０（ａ）の１つの画像データに全て写っており、部屋２０１で撮像可能な物体が全て撮像されている。したがって、正距円筒図法により東西南北の全ての方向を２次元の画像データで表すことができる。図１０（ａ）では天井２０１ｓと床２０１ｆも写っているが正距円筒図法ではゆがみが大きいため図では天井と床の物体は適宜省略されている。
【０１０７】
図１０（ｂ）〜図１３についても同様である。図１０（ｂ）ではロッカー２０２１、窓２０２２、ドア２０２３、及び壁２０２４〜２０２７が撮像されている。図１１（ａ）ではスクリーン２０３１、窓２０３２、ドア２０３３、及び壁２０３４〜２０３７が撮像されている。図１１（ｂ）ではスクリーン２０４１、窓２０４２、ドア２０４３、及び壁２０４４〜２０４７が撮像されている。
【０１０８】
図１２（ａ）と図１２（ｂ）は、１つの部屋２０５で２回撮像された画像データをそれぞれ示す。図１２（ａ）が撮像地点２０５ａで撮像された画像データ２０５Ａであり、図１２（ｂ）が撮像地点２０５ｂで撮像された画像データ２０５Ｂである。画像データ２０１〜２０６は全方位画像であるため、画像データ２０５Ａと２０５Ｂにそれぞれに同じ物体（書棚２０５１、コピー機２０５２、机２０５３、ドア２０５４，２０５５）が撮像されている。また、廊下２０６が撮像された図１３ではドア２０６１〜２０６７が撮像されている。
【０１０９】
ユーザは画像表示欄５０２においてこの７個の画像データ２０１〜２０６を見やすいように配置させることができる。これまで説明したように、説明の便宜上、図１０（ａ）の画像データの符号が２０１、図１０（ｂ）の画像データの符号が２０２、図１１（ａ）の画像データの符号が２０３、図１１（ｂ）の画像データの符号が２０４、図１２（ａ）の画像データの符号が２０５Ａ、図１２（ｂ）の画像データの符号が２０５Ｂ、図１３の画像データの符号が２０６である。
【０１１０】
図１４は、画像表示欄５０２に表示された画像データ２０１〜２０６を示す図の一例である。図１４の画像表示欄５０２はマス状（又は格子状）に区切られており、１つのマスに１つの画像データが配置される。ユーザは指やマウスなどのポインティングデバイスで画像データを移動させる際、マスの中央付近に移動すれば画像データをマス内に移動できるので操作性がよい。ユーザは、引っ越し元のフロアの平面図６０４と同じ配置になるように画像データ２０１〜２０６の配置を変更することができる。
【０１１１】
図１４では、ユーザによる移動の結果、画像データ２０１〜２０６の配置が引っ越し元のフロアの平面図６０４と同様になっている。なお、図１４では説明のため図７と同じ平面図６０４が表示されているが、画像処理アプリでは必ずしも平面図６０４は表示されない。平面図６０４を表示するためには、ユーザがスキャナなどで平面図６０４を読み取り画像処理アプリにインポート（取り込む）すればよい。
【０１１２】
なお、画像表示欄５０２に空白のマスが存在しているが平面図６０４では空白の部屋は存在しない。つまり、画像データ２０１〜２０６の配置が引っ越し元のフロアの平面図６０４と完全には一致しない。これは、画像データ２０１〜２０６のサイズ（ピクセル数）が一定であるのに対し、部屋２０１〜２０５及び廊下２０６の大きさが一定でないためである。画像データ２０１〜２０６の配置と引っ越し元のフロアの平面図６０４とを一致させるために、ユーザが画像データ２０１〜２０６を拡大又は縮小してもよい。
【０１１３】
図１５は、画像処理アプリが画像表示欄５０２の画像データを移動する手順を示すフローチャート図の一例である。図１５の処理は、例えば画像表示欄５０２がリスト表示状態の間、繰り返し実行される。
【０１１４】
操作入力受付部２１は画像データの移動を検出したか否かを判定する（Ｓ１０）。具体的には指やマウスなどのポインティングデバイス６０３の座標が任意の画像データを指し示し、ポインティングデバイス６０３の座標が移動元のマスから別のマスに移動したか否かを判定する。
【０１１５】
ステップＳ１０の判定がＹｅｓの場合、表示制御部２２は移動先に画像データがあるか否かを判定する（Ｓ２０）。すなわち、表示制御部２２は操作入力受付部２１から移動元のマス（又は座標）と移動後のマス（又は座標）を取得して、移動先に画像データがあるか否かを判定する。
【０１１６】
ステップＳ２０の判定がＹｅｓの場合、表示制御部２２は移動元と移動先の画像データを入れ替える（Ｓ３０）。
【０１１７】
ステップＳ２０の判定がＮｏの場合、表示制御部２２は移動先に画像データを移動する（Ｓ４０）。このように、ユーザは任意に画像データ２０１〜２０６の配置を変更できる。
【０１１８】
また、画像表示欄５０２をマス状に区分することなく、ユーザが任意の場所に画像データを移動することが可能でもよい。この場合、表示制御部２２は操作入力受付部２１から指やマウスなどのポインティングデバイス６０３の座標の軌跡を取得して、画像データを座標にしたがって移動させる。ユーザは指やマウスなどのポインティングデバイス６０３で画像データの位置を詳細に決定できる。
【０１１９】
＜画像のシフト＞
正距円筒図法の画像データには水平方向に３６０度（東西南北）の風景が撮像されている。しかし、画像データのどの水平位置に東西南北のどの方位が撮像されるかはユーザが撮像時に撮像装置３００をどのように保持していたかに依存する。したがって、ユーザが全ての部屋２０１〜２０５及び廊下２０６で同じ向きで撮像しない限り、画像データの水平位置と東西南北の関係が画像データによって異なっているおそれがある。
【０１２０】
図１６は平面図の東西南北と、画像データの水平位置と東西南北の関係を説明する図の一例である。図１６（ａ）には平面図６０４と東西南北の関係が、図１６（ｂ）には廊下２０６の画像データ２０６の水平位置と東西南北の関係がそれぞれ示されている。ユーザが北方向を向いて検討する場合、平面図６０４が念頭にあるため、複数の画像データの水平位置と東西南北の関係が同じであると便利である。
【０１２１】
画像処理アプリの画像シフト部２７はこのような要望に応えるため、ユーザの操作に応じて画像データを水平方向にシフトさせることができる。ユーザは所定のメニューを操作して、指やマウスなどのポインティングデバイス６０３で画像データを水平方向にスワイプする。本実施形態ではこのスワイプをシフト操作と称する。操作入力受付部２１はこの操作を受け付けて画像シフト部２７に通知する。画像シフト部２７はシフト操作された量だけ画像をシフトさせる。
【０１２２】
なお、引っ越し元のユーザは平面図６０４を持っていなくても、現地で撮像しているので画像データ２０１〜２０６に写っている物体がそれぞれどの方向に存在するかを把握している。
【０１２３】
図１６（ｃ）はシフトされた画像データを示す図である。図１６（ｂ）では左端にあった南から東の部分が、図１６（ｃ）では右端に移動している。画像データには水平方向に東西南北の風景が撮像されているので、画像シフト部２７はユーザによるシフト方向に応じて端部の画像を切り取って別の端部に追加することで画像データをシフトすることができる。
【０１２４】
図１６（ｃ）の画像データ２０６によれば、北方向の風景が水平位置のほぼ中央にある。他の画像データ２０１〜２０５についても同様にユーザがシフトさせることで、北方向の風景を画像データの水平位置のほぼ中央に移動させることができる。これにより、画像データの水平方向の風景が平面図６０４のどの部分に相当するかを容易に把握できるため、同じような風景が１つの画像データに撮像されていてもそれぞれがどの方位の風景かをユーザは明確に区別して物体を管理できる。なお、シフト処理は画像表示欄５０２において単独表示とリスト表示のどちらでも可能である。
【０１２５】
図１７は、画像処理アプリが画像データをシフトする手順を示すフローチャート図の一例である。図１７の処理は、例えば画像表示欄５０２が表示されている間、繰り返し実行される。
【０１２６】
画像シフト部２７は、操作入力受付部２１を介してユーザからの画像データのシフト要求があるか否かを判定する（Ｓ１０）。例えば、ユーザが画像データをダブルタップしたり、長押ししたりした場合、シフト要求であると判定するが、どのような操作をシフト要求としてもよい。
【０１２７】
ステップＳ１０の判定がＹｅｓの場合、画像シフト部２７は右へのシフト操作があるか否かを判定する（Ｓ２０）。すなわち、指又はマウスなどのポインティングデバイス６０３の座標が右方向へ移動したことを操作入力受付部２１から通知されたか否かを判定する。
【０１２８】
ステップＳ２０の判定がＹｅｓの場合、画像シフト部２７は、操作入力受付部２１から右方向への移動量を取得して、右端の画像データを切り出してその分、画像データの全体を右側に移動させ、切り出した部分を左端に追加する（Ｓ３０）。これにより、画像データを右方向にシフトさせることができる。
【０１２９】
ステップＳ２０の判定がＮｏの場合、ユーザは左方向に画像データをシフトさせたので、画像シフト部２７は、操作入力受付部２１から左方向への移動量を取得して、左端の画像データを切り出してその分、画像データの全体を左側に移動させ、切り出した部分を右端に追加する（Ｓ４０）。これにより、画像データを左方向にシフトさせることができる。
【０１３０】
なお、画像データによっては、水平位置に東西南北の方位情報が対応付けられている場合がある。この場合、画像シフト部２７は自動的に又はユーザ操作に応じて東西南北のいずれかがある水平位置（例えば北を水平位置の中央）になるように全ての画像データをシフトすることができる。したがって、自動的に全ての画像データの水平位置を合わせることができる。
【０１３１】
＜物体情報ＤＢ１００１への物体情報の登録＞
画像処理アプリが画像データを取り込む前、１枚以上の画像データを取り込んだ後、又は、全ての画像データを取り込んだ後、ユーザは物体情報を画像処理アプリに入力することができる。
【０１３２】
図１８は、情報表示欄５０３に対する物体情報の入力を模式的に説明する図の一例である。図１８（ａ）は画像表示欄５０２の画像データ２０５Ａの一例を示し、図１８（ｂ）は情報表示欄５０３の一例を示す。初期状態の情報表示欄５０３には何も登録されていないが、少なくとも１レコードが表示される（物体情報の入力前なので、フィールドの値は空欄のまま）。ユーザは画像表示欄５０２の画像データを見たり、現場の物体を確認したりしながら搬送物を情報表示欄５０３に登録していく。
【０１３３】
図１８（ａ）では、書棚２０５１、コピー機２０５２、机２０５３が撮像されているため、ユーザはこれらを情報表示欄５０３に登録していく。情報作成部２３は、各レコードに対し重複しない物流ＩＤを付与する。なお、異なる画像データ２０５Ｂに同じ搬送物が写っているが、同じ搬送物をユーザが登録する必要はない。
【０１３４】
次に、図１９を用いてユーザがタグ５１を付与する場合を説明する。図１９は画像処理アプリが画像データにタグ５１を表示する手順を示すフローチャート図の一例である。図１９の処理は、例えば画像表示欄５０２が表示されている間、繰り返し実行される。
【０１３５】
まず、ユーザが書棚（物流ＩＤ＝００３）の作成ボタン５０４を押下したものとし、操作入力受付部２１が作成ボタン５０４の押下を検出する（Ｓ１０）。
【０１３６】
次に、操作入力受付部２１はタグ５１の表示位置を受け付けたか否かを判定する（Ｓ２０）。ユーザは指やマウスなどのポインティングデバイス６０３で例えば画像データの書棚２０５１をタップする（クリックする）。操作入力受付部２１はユーザがタップ又はクリックした画像データの座標を検出する。
【０１３７】
ステップＳ２０の判定がＹｅｓになると、タグ作成部２５はユーザが指定した位置に物流ＩＤ及びItemの値を表示する（Ｓ３０）。すなわち、操作入力受付部２１は、作成ボタン５０４が押下された情報表示欄５０３のレコードの物流ＩＤと、ポインティングデバイス６０３により入力された座標をタグ作成部２５に通知する。これにより、タグ作成部２５は、物体情報ＤＢ１００１から物流ＩＤに対応付けられているレコードを特定し、通知された画像データの座標に物流ＩＤ及びItemの値を表示する。
【０１３８】
次に、タグ作成部２５は画像ＤＢ１００３にタグ情報を登録する（Ｓ４０）。すなわち、タグ作成部２５は操作入力受付部２１からユーザがタグ５１を表示させた画像データの画像ＩＤを取得し、画像ＤＢ１００３の対応する画像ＩＤに対応付けてタグ情報（物流ＩＤと座標）を登録する。
【０１３９】
図１８（ｃ）はタグ５１が付与された画像データの一例を示す図である。書棚２０５１にタグ５１が表示され、タグ５１の内部に「[００３][書棚]」が表示されている。したがって、ユーザは作成ボタン５０４を押下しタグ５１の位置を指定するという簡単な操作で画像データにタグ５１を表示させることができる。
【０１４０】
なお、タグ５１の表示色は、物体情報ＤＢ１００１のNoteの値によって変更されることが有効である。すなわち、航空便、船便、国内引越、国内保管の区別に応じてタグ５１の色が変わるので、ユーザは同じ物流で搬送される搬送物を容易に判別することができる。
【０１４１】
また、タグ５１として、タグ作成部２５は、物流ＩＤ及びItemを含むことなく矩形枠又は枠内が塗りつぶされた矩形だけを表示してもよい（上記のラベルのように表示する）。複数の画像データに複数の同じ物体が写っているがそのうちの１つの物体しか重要でない場合、物流ＩＤ及びItemはなくてもユーザは１つの物体の関係を把握できればよいからである。また、例えば、物流ＩＤが同じ物体ごとにタグ５１の色を変えれば、物流ＩＤ及びItemはなくても識別可能である。
【０１４２】
また、タグ作成部２５は物流ＩＤ又はItemのいずれか一方のみを矩形枠内に表示してもよい。逆に、物体情報ＤＢ１００１に記憶されている物体情報であればタグ５１の矩形枠内に表示可能であるため、タグ作成部２５は１つのレコードの全てのフィールドを表示できる。ユーザがどのフィールドの値を表示させるかを設定可能でもよい。
【０１４３】
また、図１８ではタグ５１の形状は矩形枠であるが、タグ５１の形状は点、円形、楕円形、多角形、星印、又は、不定形等でもよい。更に、タグ作成部２５は物流ＩＤごとに異なる形状のタグ５１を表示してよい。
【０１４４】
＜タグ同士の関連付け＞
異なる画像データに同じ搬送物が写っている場合、ユーザはそれぞれの画像データで同じ搬送物にタグ５１を付与する。付与するかどうかは任意であるが、画像データには写っているがタグ５１が付与されていない搬送物は、物体情報ＤＢ１００１に登録されているかどうかが明確でないため、登録することが好ましい場合がある。
【０１４５】
図２０は、同一の搬送物の関連づけを説明するための図の一例である。図２０（ａ）は画像表示欄５０２の画像データ２０５Ａを、図２０（ｂ）は画像表示欄５０２の画像データ２０５Ｂをそれぞれ示す。ユーザは、図１９にて説明したように、画像データ２０５Ａと画像データ２０５Ｂの両方で書棚２０５１にタグ５１を付与した。
【０１４６】
画像表示欄５０２に同じタグ５１がある場合、タグ関連付け部２４はそれらのタグ５１を線５２で結ぶ。「同じタグがある」とは、画像ＤＢ１００３において物流ＩＤが同じタグ５１をいう。
【０１４７】
図２１は、画像処理アプリがタグ同士を関連付ける手順を示すフローチャート図の一例である。図２１の処理は、例えば画像表示欄５０２が表示されている間、繰り返し実行される。
【０１４８】
まず、タグ関連付け部２４は、画像表示欄５０２がリスト表示の状態か否かを判定する（Ｓ１０）。例えば、表示制御部２２からリスト表示の状態であるという通知を受け取ったり、画像表示欄５０２が単独表示かリスト表示かを示すフラグで判定すればよい。
【０１４９】
ステップＳ１０の判定がＹｅｓの場合、タグ関連付け部２４は画像ＤＢ１００３のタグ情報に同じ物流ＩＤがあるか否かを判定する（Ｓ２０）。これは、画像ＤＢ１００３のタグ情報から同じ物流ＩＤを検索すれば判定できる。
【０１５０】
ステップＳ２０の判定がＹｅｓの場合、タグ関連付け部２４は、画像ＤＢ１００３のタグ情報から同じ物流ＩＤの全ての座標を読み出す（Ｓ３０）。同じ物流ＩＤが複数の組ある場合は組ごとに全ての座標を読み出す。
【０１５１】
タグ関連付け部２４は、同じ物流ＩＤのタグ５１を線５２で結ぶ（Ｓ４０）。具体的には、タグ５１の枠の座標が分かっているので、左上コーナー同士を線で接続したり、２つのタグ５１の全てのコーナー同士の組み合わせで結線して最も距離が短くなる線で接続したりする。
【０１５２】
図２２はタグ同士が結線された画像処理アプリのユーザインタフェースの一例を示す。図示するように、画像データ２０５Ａの書棚２０５１の「[００３][書棚]」というタグ５１と、画像データ２０５Ｂの書棚２０５１の「[００３][書棚]」というタグ５１が線５２で結ばれている。したがって、ユーザは２つの書棚２０５１が同じものであることを一目で把握できる。また、同じ形状の搬送物でも異なる搬送物は結線されないので、それらが別々のものであることを一目で把握できる。
【０１５３】
線５２は、２つの画像データ２０５Ａと２０５Ｂにおいてタグ５１の近くの書棚２０５１が同じ物体であることを示す。すなわち、タグ５１が結線されるという表示態様によって書棚２０５１が同じ物体であることを示す。例えば、タグ５１がなくても２つの物体の間を線５２で結線するだけでも同じ物体であることを示すことができる。
【０１５４】
図２２では２つのタグ５１が結線されているが、３つ以上のタグ５１でも物流ＩＤが同じであれば結線される。この場合、図２３（ａ）に示すように３つのタグ５１が互いに結線される。なお、図２３（ａ）（ｂ）では説明のため、図７の撮像地点２０５ｃで撮像された画像データ２０５Ｃを表示している。
【０１５５】
同じタグ５１が３つ以上の場合、タグ関連付け部２４が結線する方法には以下のような方法がある。
・１つのタグ５１と他の全てのタグ５１とを結線する。
・画像表示欄５０２の例えば左端（右端、上端、下端でもよい）から距離の近い順に結線する。
・線５２の合計の距離が最も短くなるように結線する。
・複数の線５２の交差数が最も少なくなるように結線する。
【０１５６】
また、図２３（ｂ）に示すように「[００３][書棚]」を１つだけ表示してもよい。搬送物を起点に引かれた３つの線５２の先にタグ５１が表示される。このような表示の場合、「[００３][書棚]」が１つしかないので視認性が向上する可能性がある。タグ５１が物体から離れている表示態様でも複数の画像データに写っている物体が同じ物体であることを表示できる。
【０１５７】
なお、図２２、２３のいずれの場合も、結線を表示するかどうかは、ユーザが任意に設定できる。結線により結線されたタグの付近にある物体は互いに関連（又は関連性）があることを示すことができる。例えば、複数の車が駐車された状況で通常の画角のカメラで様々な位置から撮像者が撮像しても、撮像者の後ろの車が何かは分からない。本実施形態では、撮像した「場所」が基準となりこの場所の周囲３６０の空間にどのように車が駐車されているかを、複数の画像を組合せて２次元的に表現することができる。
【０１５８】
また、複数のタグ５１の関連づけは、結線の他、複数のタグ５１を円で囲んだり、線５２で結ぶことなく同じ色や形状で表示したりしてもよい。すなわち、同じ色や形状で搬送物が同じ物体であることを示すことができる。
【０１５９】
また、線５２を点滅させたり線５２とタグ５１を点滅させたりしてもよい。線５２は二本線でもよいし、直線でなく曲線でもよい。また、線５２に矢頭を表示してもよい。
【０１６０】
＜手書き情報の入力＞
画像データにメモ、マーク、数字など書き込んでおきたい場合は少なくない。本実施形態の画像処理アプリも任意の画像データへの手書き情報の入力を受け付けることができる。
【０１６１】
図２４は、画像データへの手書き情報の入力を説明する図の一例であり、図２５は画像処理アプリが画像データに手書き情報を表示する手順を示すフローチャート図の一例である。
【０１６２】
まず、ユーザは図６で説明したメニューｍ２を選択する。操作入力受付部２１はメニューｍ２の選択を受け付ける（Ｓ１０）。
【０１６３】
ユーザは指やマウスのポインティングデバイス６０３で画像データにストロークを手書きするので、操作入力受付部２１はユーザが手書きした画像データの画像ＩＤとストロークを構成する軌跡の座標を取得する（Ｓ２０）。操作入力受付部２１は画像データの画像ＩＤとストロークを構成する軌跡の座標を手書き情報描画部２６に通知する。
【０１６４】
手書き情報描画部２６は、画像ＤＢ１００３の画像ＩＤに対応付けて手書き情報を登録する（Ｓ３０）。  
そして、手書き情報描画部２６は画像ＤＢ１００３から手書き情報を読み取ってその座標を用いて画像データに表示する（Ｓ４０）。例えば、画像データと同じサイズの透明なレイヤを画像データの手前に配置し、ユーザが選択した色で手書き情報を描画する。これにより、画像データに重畳して手書き情報を表示できる。
【０１６５】
図２４ではコピー機２０５２を囲むように手書き情報６０５が表示されている。手書き情報６０５は画像ＤＢ１００３に記憶されているので、ユーザが画像データを表示させる際はいつでも表示させることができる。また、ユーザは手書き情報６０５を表示するか否かを任意に切り替えることができる。
【０１６６】
手書き情報６０５は座標により構成されているので、拡大や縮小が可能である。ユーザが、メニューｍ１で手書き情報６０５を選択し、拡大操作又は縮小操作する。拡大操作又は縮小操作は限定されないが、例えば手書き情報６０５を囲む矩形枠を表示し、矩形枠の頂点を矩形枠の外側（拡大操作）又は内側（縮小操作）にユーザが移動させる。手書き情報描画部２６は手書き情報６０５のＸ座標とＹ座標を、拡大操作又は縮小操作の倍率にしたがって変更する。
【０１６７】
＜手書き情報を利用した物体情報の入力補助＞
上記のように、ユーザは情報表示欄５０３から物体情報を画像処理アプリに入力することができる。これとは別に、手書き情報６０５を利用して物体情報を画像処理アプリに入力することが可能である。
【０１６８】
図２６は、手書き情報６０５を利用した物体情報の登録を模式的に示す図の一例であり、図２７は、入力支援部２９が物体情報を画像処理アプリに入力する手順を示すフローチャート図の一例である。
【０１６９】
まず、操作入力受付部２１は手書き枠６０６の描画を受け付ける（Ｓ１０）。手書き枠とはユーザが入力した手書き情報６０５を文字認識するための枠である。操作入力受付部２１は単なる手書き情報６０５と区別するために、所定のメニューなどの押下により手書き枠６０６が描画されることを検出する。
【０１７０】
次に、操作入力受付部２１は手書き枠６０６の中に文字６０７が描画されたか否かを判定する（Ｓ２０）。文字かどうかは操作入力受付部２１にとって不明なので、ステップＳ２０の判定は手書き枠６０６の中に何らかの描画があるか否かを判定すればよい。手書き枠６０６に文字６０７が描画されるまで、操作入力受付部２１は待機する。
【０１７１】
手書き枠６０６に文字６０７が描画された場合（Ｓ２０のＹｅｓ）、操作入力受付部２１はストロークの座標を入力支援部２９に通知するので、入力支援部２９は座標に基づき文字６０７を認識する（Ｓ３０）。入力支援部２９は文字認識の結果を認識結果枠６０８に表示する。
【０１７２】
次に、入力支援部２９は文字認識の結果を利用して、認識した文字から始まる候補の単語を辞書ＤＢ１００２から読み出して候補表示欄６０９に表示する（Ｓ４０）。
【０１７３】
そして、入力支援部２９は入力が確定したか否かを判定する（Ｓ５０）。入力が確定するとは、候補表示欄６０９からユーザが単語を選択すること又は認識結果枠６０８をユーザが選択することをいう。操作入力受付部２１は候補表示欄６０９からユーザが選択した単語又は認識結果枠６０８の選択を受け付ける。
【０１７４】
入力が確定するまでの間（Ｓ５０のＮｏ）、ステップＳ３０、Ｓ４０の処理が繰り返される。この間、ユーザが手書きを継続し、入力支援部２９は文字の認識結果に応じて認識結果枠６０８の認識結果と候補表示欄６０９の単語とを更新する。
【０１７５】
入力が確定した場合（Ｓ５０のＹｅｓ）、入力支援部２９は入力が確定した単語を情報作成部２３に通知するので、情報作成部２３は物体情報ＤＢ１００１に単語を登録する（Ｓ６０）。すなわち、重複しない物流ＩＤを採番し、単語を物体情報ＤＢ１００１のItemのフィールドに登録する。
【０１７６】
次に、入力支援部２９は、物体情報ＤＢ１００１に登録された搬送物のタグ５１の表示処理を行う（Ｓ７０）。まず、入力支援部２９は、ユーザが手書き枠６０６を描画した画像データの画像ＩＤ、及び、手書き枠６０６に関する座標を操作入力受付部２１を介して取得する。手書き枠６０６に関する座標とは手書き枠６０６の中心、重心又は左上付近の座標をいう。次に、入力支援部２９は、情報作成部２３から物体情報ＤＢ１００１に登録された搬送物の物流ＩＤを取得する。そして、画像データの画像ＩＤ、手書き枠に関する座標、及び、物流ＩＤをタグ作成部２５に通知する。タグ作成部２５は画像ＩＤに対応付けて手書き枠に関する座標、及び、物流ＩＤをタグ情報のフィールドに登録する。また、タグ作成部２５はタグ情報に基づいてタグ５１を画像データに重畳して表示する。
【０１７７】
図２６を参照して説明する。図２６（ａ）は手書き枠６０６と、手書き枠６０６に描画された文字６０７を示している。ユーザは机２０５３を囲むように手書き枠６０６を描画すると共に、手書き枠６０６の中に「つ」という文字を手書きした。ユーザが文字認識をアプリケーションに行わせるための入力をジェスチャーというが、ジェスチャーは手書き枠６０６に限られず、ビックリマーク、円、三角、チェックマークなどでもよいし、任意の手書き文字や数字でもよい。なお、「つ」で示した文字は記号の一例であって、記号には文字だけでなく数字、ひらがな、漢字、カタカナ及びアルファベット等が含まれる。
【０１７８】
図２６（ｂ）は認識結果枠６０８と候補表示欄６０９の単語を示す。認識結果枠６０８には「つ」と表示され、候補の単語として「ツアー」「追試」「机」が表示されている。候補の単語に搬送物を現す単語がある場合、指やマウスなどのポインティングデバイス６０３でユーザが選択することができる。図２６（ｂ）では「机」が選択されたものとする。
【０１７９】
図２６（ｃ）は搬送物が登録される前の物体情報と搬送物が登録された前の物体情報をそれぞれ示す。情報作成部２３は、重複しない物流ＩＤを採番して物流ＩＤのフィールドに登録し、ユーザが選択した単語をItemのフィールドに登録する。これにより、情報表示欄５０３をユーザが編集しなくても物体情報を登録できた。
【０１８０】
図２６（ｄ）はタグ５１が表示された画像データ２０５Ｂを示す。すなわち、図２６（ｃ）に示したように、物体情報ＤＢ１００１に登録された「[００１][机]」というタグ５１が表示されている。
【０１８１】
したがって、ユーザは画像データに文字を書き込むという直感的な操作により、搬送物の物体情報を物体情報ＤＢ１００１に登録できると共に、この搬送物のタグ５１を画像データに表示できる。
【０１８２】
＜画像データの球体表示＞
画像データは全方位画像であるため、画像処理アプリは画像データを球体表示することができる。天井から床面を視線方向とする球体表示で画像データを表せば画像データの円周方向が東西南北を示す。したがって、ユーザは画像データに写っている物体の位置関係を把握しやすくなり、また、平面図６０４との対応も取りやすくなる。
【０１８３】
画像処理アプリは正距円筒図の画像データを利用して、タグや手書き情報などに加工を施すことで２次元だけでなく３次元的に球体表示で表現することができる。
【０１８４】
図２８は、画像表示欄５０２に球体表示された画像データを示す図である。図２８の画像データ２０１〜２０６は図１０〜図１３の画像データを球体表示したものである。図２８の画像データ２０１〜２０６は天井から床面を視線方向としているため、天井に近い物体ほど大きく表示され路面に近い物体ほど小さく表示される。
【０１８５】
ユーザは引っ越し元のフロアの平面図６０４と比較しながら、画像データ２０１〜２０６を紙面に平行に回転させることができるため平面図６０４の方位（画像表示欄５０２の上が北、下が南、右が東、左が西）と画像データ２０１〜２０６の方位を一致させることができる。図２８（ａ）では画像データ２０１の方位が平面図６０４と一致していない。そこで、ユーザが画像データ２０１を回転させることで、図２８（ｂ）では画像データ２０１の方位が平面図６０４と一致している。
【０１８６】
なお、手書き情報６０５も画像データ２０１〜２０６と共に球体表示される。図２８では、図２４で示した手書き情報６０５が画像データ２０５Ｂに表示されている。これは正距円筒図法の画像データ２０１〜２０６と同じ座標系で手書き情報が手書きされたためである。したがって、物体と手書き情報６０５の相対位置がずれることなく、球体表示と正距円筒図法の画像データ２０１〜２０６の相互で手書き情報６０５を表示できる。球体表示においても、ユーザは手書き情報６０５の表示と非表示を切り替えることができる。
【０１８７】
更に、実際の寸法が分かっている寸法提供物を物体と共に撮像することで、物体のサイズの測定や大まかな測量を行うことができる。図２９、３０を用いて説明する。
【０１８８】
図２９は、正距円筒図が球体表示された画像データ２０５を示す。図２９にはＸ軸、Ｙ軸、Ｚ軸が図示されている。Ｘ軸、Ｙ軸は例えば球体表示の中心を通って緯度がゼロの直線であり、互いに直行するように設定される。例えばＸ軸が東西を結ぶ方向で、Ｙ軸が南北を結ぶ方向とする。Ｚ軸は球体表示の中心を通って緯度が９０度の直線である。
【０１８９】
また、図２９の画像データ２０５にはユーザが書棚２０５１に付した寸法提供物４０１が撮像されている。測量部３３は寸法提供物４０１の寸法を用いて物体のサイズを算出したり大まかな測量を行う。寸法提供物４０１は寸法が既知で好ましくは視認性がよい例えばラベル、シール、用紙などである。寸法を測定するために四角形であることが好ましいが、寸法が既知の部分があればよい。
【０１９０】
まず、図３０を用いて書棚の寸法の算出について説明する。図３０は書棚２０５１の寸法の算出方法を説明する図の一例である。ユーザはポインティングデバイスを操作して図３０の点ＡとＢを指定する。ユーザ端末１００の操作入力受付部２１は点ＡとＢの指定を受け付ける（第一の２つの座標）。点ＡとＢはユーザが知りたい方向の寸法に並行となるように決定される。図３０では書棚２０５１の高さ方向に点Ａ、Ｂが指定された。
【０１９１】
次に、ユーザはポインティングデバイスを操作して図３０の点ＣとＤを指定する（第二の２つの座標）。ユーザ端末１００の操作入力受付部２１は点ＣとＤの指定を受け付ける。点ＣとＤはユーザが寸法を知りたい部分の２つの端点であり、点ＡとＢを結ぶ方向と同じ方向の２点である。測量部３３は、点ＣとＤの緯度方向のなす角ｃｄ（点Ｃ，Ｄの２つの座標の差分）と点ＡとＢの緯度方向のなす角ａｂ（点Ａ，Ｂの２つの座標の差分）の比率と、寸法提供物４０１の寸法に基づいて、書棚２０５１の寸法（高さ）を算出する。単純な比例関係から次式が得られる。
なす角ｃｄ：なす角ａｂ＝書棚２０５１の寸法：寸法提供物の寸法
このような計算により書棚２０５１の寸法を求めることができる。
【０１９２】
測量を行う場合も同様であり、測量したい例えば壁と壁を直線でユーザが結び、寸法提供物４０１の寸法との比率を計算することで大まかな測量が可能になる。
【０１９３】
なお、以下のような誤差要因がある。撮像位置から物体までの距離が長いと物体の撮像範囲が小さくなりユーザが正しい点を指定しにくくなる。ユーザが指定した点がずれている。正距円筒図から球体表示する際の変換誤差。したがって、物体は大きく撮像されていることが好ましい。
【０１９４】
＜サーバクライアント方式＞
上記では、ユーザ端末１００がいわゆるスタンドアローン方式で動作した。しかし、本実施形態の画像処理アプリはサーバクライアント方式にも適用可能である。
【０１９５】
図３１は、サーバクライアント方式で画像処理アプリが動作する画像処理システム５００の構成図の一例を示す。ユーザ端末１００とサーバ４００がネットワーク９を介して接続されている。ユーザ端末１００ではブラウザソフトウェアが動作し、サーバ４００へのリクエストによりサーバ４００がＷｅｂアプリを実行する。サーバ４００は、ＨＴＭＬ（又はＸＭＬ）、JavaScript（登録商標）及びＣＳＳなどで記述されたプログラムをユーザ端末１００に送信する。ユーザ端末１００はこのプログラムを実行することで、上記の画像処理アプリの実行結果と同様の実行結果を得られる。なお、サーバはクラウドコンピューティングに対応している。
【０１９６】
なお、サーバ４００のハードウェア構成図は図３に示したユーザ端末１００と同様に情報処理装置としての構成を有していればよい。異なっているとしても本実施形態の説明に支障がないものとする。また、サーバクライアント方式でもユーザ端末１００は操作入力受付部２１と表示制御部２２を少なくとも有する。この他の機能部はユーザ端末１００が有していてもサーバ４００が有していてもよい。
【０１９７】
図３２は、一例としてサーバ４００が主な機能を有する場合の画像処理システム５００の機能ブロック図の一例を示す。ユーザ端末１００とサーバ４００はそれぞれ通信部３１，３２を有するが、サーバ４００が有する機能はスタンドアローン方式のユーザ端末１００の機能と同じである。
【０１９８】
ユーザ端末１００の通信部３１はユーザ操作に応じたＨＴＴＰリクエストなどを送信する。サーバ４００の通信部３２はＨＴＴＰリクエストなどを受信し、サーバ４００の記憶読出部３０は、物体情報ＤＢ１００１、辞書ＤＢ１００２及び画像ＤＢ１００３から処理に応じて物体情報、単語、及び画像データを読み出す。処理内容はユーザ端末１００と同様でよいが、物体情報、単語、及び画像データで上記のプログラムを構築して通信部３２はユーザ端末１００に送信する。すなわち、画像データにタグ５１を付与したり、タグ５１同士を関連付けたりしたプログラムを作成しユーザ端末１００に送信する。
【０１９９】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０２００】
例えば、情報表示欄５０３の物体情報は英語、中国語、フランス語などに画像処理アプリが翻訳することができる。また、翻訳後又は翻訳前の情報表示欄５０３の物体情報を印刷することもできる。当然ながら画像表示欄５０２の画像データも印刷可能である。
【０２０１】
また、オフィスなどが海外へ引っ越す場合には通関書類が要求されるが、各国の通関書類に適合したフォーマットで画像データや物体情報を出力してよい。
【０２０２】
また、引っ越しの際には搬送物に保険がかけられることがあるが、各保険会社の保険書類に適合したフォーマットで画像データや物体情報を出力してよい。
【０２０３】
また、以上の実施例で示した図５などの構成例は、画像処理システム５００の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。ユーザ端末１００の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【０２０４】
また、図５、３０の記憶部１０００に図示される物体情報ＤＢ、辞書ＤＢ及び画像ＤＢの１つ以上はネットワーク上に存在していてもよい。
【０２０５】
なお、画像ＤＢ１００３は画像記憶部の一例であり、物体情報ＤＢは物体情報記憶手段の一例であり、記憶読出部３０は読出手段の一例であり、表示制御部２２は画像表示手段の一例であり、操作入力受付部２１は操作受付手段の一例であり、タグ作成部２５は指示情報表示手段の一例であり、タグ関連付け部２４は関連付け手段の一例である。情報作成部２３は情報登録手段の一例であり、操作入力受付部２１は認識手段の一例であり、画像シフト部２７は画像シフト手段の一例であり、手書き情報描画部２６は手書き情報表示手段の一例であり、画像保護部２８は画像保護解除手段の一例である。通信部３２は受信手段の一例である。測量部３３は測量手段の一例であり、通信部３２は送信手段の一例である。ユーザ端末１００が行う画像データの表示方法は画像表示方法の一例である。
【符号の説明】
【０２０６】
２１          操作入力受付部
２２          表示制御部
２３          情報作成部
２４          タグ関連付け部
２５          タグ作成部
２６          手書き情報描画部
２７          画像シフト部
２８          画像保護部
２９          入力支援部
３０          記憶読出部
５１          タグ
２０１〜２０５  部屋
２０１〜２０６  画像データ
２０６          廊下
３００        撮像装置
４００        サーバ
５００        画像処理システム
５０１        メニュー欄
５０２        画像表示欄
５０３        情報表示欄
【先行技術文献】
【特許文献】
【０２０７】
【特許文献１】特表２０１１−５２７４８３号公報
【図１】
0006597259.tif 000005
【図２】
0006597259.tif 000006
【図３】
0006597259.tif 000007
【図４】
0006597259.tif 000008
【図５】
0006597259.tif 000009
【図６】
0006597259.tif 000010
【図７】
0006597259.tif 000011
【図８】
0006597259.tif 000012
【図９】
0006597259.tif 000013
【図１０】
0006597259.tif 000014
【図１１】
0006597259.tif 000015
【図１２】
0006597259.tif 000016
【図１３】
0006597259.tif 000017
【図１４】
0006597259.tif 000018
【図１５】
0006597259.tif 000019
【図１６】
0006597259.tif 000020
【図１７】
0006597259.tif 000021
【図１８】
0006597259.tif 000022
【図１９】
0006597259.tif 000023
【図２０】
0006597259.tif 000024
【図２１】
0006597259.tif 000025
【図２２】
0006597259.tif 000026
【図２３】
0006597259.tif 000027
【図２４】
0006597259.tif 000028
【図２５】
0006597259.tif 000029
【図２６】
0006597259.tif 000030
【図２７】
0006597259.tif 000031
【図２８】
0006597259.tif 000032
【図２９】
0006597259.tif 000033
【図３０】
0006597259.tif 000034
【図３１】
0006597259.tif 000035
【図３２】
0006597259.tif 000036