(57)【要約】【課題】  携帯機器が現在存在している階とは異なる階に設置されている電子機器を利用者に認識させることができる上に、利用者をこの電子機器の近傍に容易に到達させることができる携帯機器、携帯機器用プログラムおよび機器情報表示システムを提供する。【解決手段】  携帯機器は、撮像部の現実空間での方向の水平面に対する角度が６０度以内である場合に（Ｓ１０２でＹＥＳ）、ＭＦＰの機器情報に基づく付加情報を、撮像部による撮影画像に合成して（Ｓ１０３）表示部に表示させ（Ｓ１０６）、前記角度が上下方向のうち少なくとも一方の方向に６０度を超える場合に（Ｓ１０２でＮＯ）、この方向に携帯機器の所在の階に対して配置されている階のうち、携帯機器に対して特定の範囲の場所に対して取得した屋内の画像（Ｓ１０４）に、ＭＦＰの機器情報に基づく付加情報を合成して（Ｓ１０５）表示部に表示させる（Ｓ１０６）ことを特徴とする。【選択図】  図６
2014170487.tif 000002
【特許請求の範囲】
【請求項１】
撮像デバイスおよび表示デバイスを備える携帯機器であって、
複数の階を有し電子機器が設置される建物の屋内の画像を取得する屋内画像取得手段と、
前記電子機器の現実空間での位置を取得する機器位置取得手段と、
前記電子機器の機器情報を取得する機器情報取得手段と、
前記機器情報取得手段によって取得された前記電子機器の機器情報に基づく付加情報を、被合成画像に、前記機器位置取得手段によって取得されたこの電子機器の現実空間での位置と、前記携帯機器の現実空間での位置との関係に対応した前記被合成画像上のこの電子機器の位置である被合成画像上機器位置に対応付けて合成した合成画像を前記表示デバイスに表示させる表示制御手段とを備え、
前記表示制御手段は、前記撮像デバイスの現実空間での方向の水平面に対する角度が特定の角度以内である場合に、前記撮像デバイスによる撮影画像を前記被合成画像とし、
前記表示制御手段は、前記撮像デバイスの現実空間での方向の水平面に対する角度が上下方向のうち少なくとも一方の方向に前記特定の角度を超える場合に、この方向に前記携帯機器の所在の階に対して配置されている階のうち、前記携帯機器の現実空間での水平方向における位置と、前記撮像デバイスの現実空間での方向とに対応した場所に対して前記屋内画像取得手段によって取得された屋内の画像を前記被合成画像とすることを特徴とする携帯機器。
【請求項２】
前記表示制御手段は、前記被合成画像の表示対象の階に対して上下方向のうち少なくとも一方の方向に配置される階のうち、この方向に前記被合成画像の表示対象の場所に対して配置されている場所に前記電子機器が存在する場合に、この電子機器の存在を示す情報を前記被合成画像に合成することを特徴とする請求項１に記載の携帯機器。
【請求項３】
前記合成画像上の前記付加情報に対する指示を受け付ける指示受付手段と、
前記指示受付手段によって受け付けられた指示に応じた前記電子機器に対する命令を送信する命令送信手段とを備えることを特徴とする請求項１または請求項２に記載の携帯機器。
【請求項４】
前記電子機器は、画像形成装置であることを特徴とする請求項３に記載の携帯機器。
【請求項５】
撮像デバイスおよび表示デバイスを備える携帯機器を、請求項１から請求項４までの何れかに記載の携帯機器として機能させることを特徴とする携帯機器用プログラム。
【請求項６】
電子機器と、この電子機器の機器情報に基づく前記付加情報を前記被合成画像に合成した前記合成画像を前記表示デバイスに表示させる請求項１から請求項４までの何れかに記載の携帯機器とを備えることを特徴とする機器情報表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像デバイスによる撮影画像に対象の電子機器の機器情報に基づく付加情報を合成した合成画像を表示デバイスに表示させるＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術を実現する携帯機器、携帯機器用プログラムおよび機器情報表示システムに関する。
【背景技術】
【０００２】
従来、撮像デバイスによる撮影画像に撮影された対象の電子機器の機器情報に基づく付加情報を合成した合成画像を表示デバイスに表示させる携帯機器として、この電子機器の現実空間での位置と、この携帯機器の現実空間での位置との関係に対応した撮像デバイスによる撮影画像上のこの電子機器の位置で、この電子機器の機器情報に基づく付加情報と、この電子機器の画像とを撮影画像に合成した合成画像を表示デバイスに表示させることによって、撮影画像に、電子機器の機器情報に基づく付加情報と、電子機器の画像とが合成された直感的な表示を実行することができる携帯機器が知られている（特許文献１参照。）。
【０００３】
また、従来、撮像デバイスによる撮影画像に撮影された対象の電子機器の機器情報に基づく付加情報を合成した合成画像を表示デバイスに表示させる携帯機器として、この電子機器の現実空間での位置と、この携帯機器の現実空間での位置との関係に対応した撮像デバイスによる撮影画像上のこの電子機器の位置で、この電子機器の機器情報に基づく付加情報を撮影画像に合成した合成画像を表示デバイスに表示させることによって、撮影画像上の実際の電子機器に、この電子機器の機器情報に基づく付加情報を直感的に表示することができる携帯機器も知られている（特許文献２、３参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１２９９９６号公報
【特許文献２】特開２０１２−２９１６４号公報
【特許文献３】特開２０１２−９００７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１〜３に記載されている携帯機器においては、複数の階を有する建物に電子機器が設置されている場合に、携帯機器が現在存在している階とは異なる階に設置されている電子機器を利用者に認識させることができないという問題がある。なお、利用者は、携帯機器が現在存在している階とは異なる階に設置されている電子機器を仮に認識することができたとしても、この電子機器の周囲の状況を認識することはできないので、この電子機器の近傍に容易に到達することはできない。
【０００６】
そこで、本発明は、携帯機器が現在存在している階とは異なる階に設置されている電子機器を利用者に認識させることができる上に、利用者をこの電子機器の近傍に容易に到達させることができる携帯機器、携帯機器用プログラムおよび機器情報表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の携帯機器は、撮像デバイスおよび表示デバイスを備える携帯機器であって、複数の階を有し電子機器が設置される建物の屋内の画像を取得する屋内画像取得手段と、前記電子機器の現実空間での位置を取得する機器位置取得手段と、前記電子機器の機器情報を取得する機器情報取得手段と、前記機器情報取得手段によって取得された前記電子機器の機器情報に基づく付加情報を、被合成画像に、前記機器位置取得手段によって取得されたこの電子機器の現実空間での位置と、前記携帯機器の現実空間での位置との関係に対応した前記被合成画像上のこの電子機器の位置である被合成画像上機器位置に対応付けて合成した合成画像を前記表示デバイスに表示させる表示制御手段とを備え、前記表示制御手段は、前記撮像デバイスの現実空間での方向の水平面に対する角度が特定の角度以内である場合に、前記撮像デバイスによる撮影画像を前記被合成画像とし、前記表示制御手段は、前記撮像デバイスの現実空間での方向の水平面に対する角度が上下方向のうち少なくとも一方の方向に前記特定の角度を超える場合に、この方向に前記携帯機器の所在の階に対して配置されている階のうち、前記携帯機器の現実空間での水平方向における位置と、前記撮像デバイスの現実空間での方向とに対応した場所に対して前記屋内画像取得手段によって取得された屋内の画像を前記被合成画像とすることを特徴とする。
【０００８】
この構成により、本発明の携帯機器は、撮像デバイスの現実空間での方向が水平面に対して上下方向のうち少なくとも一方の方向に特定の角度を超えて傾いている場合に、この方向に携帯機器の所在の階に対して配置されている階のうち、携帯機器の現実空間での水平方向における位置と、撮像デバイスの現実空間での方向とに対応した場所に対する屋内の画像に、この画像上の電子機器の機器情報に基づく付加情報を、この画像上のこの電子機器の位置に対応付けて合成した合成画像を表示デバイスに表示するので、携帯機器が現在存在している階とは異なる階に設置されている電子機器の機器情報に基づく付加情報によって、この電子機器を利用者に認識させることができる上に、この電子機器の近傍の屋内の画像によって、利用者をこの電子機器の近傍に容易に到達させることができる。
【０００９】
また、本発明の携帯機器において、前記表示制御手段は、前記被合成画像の表示対象の階に対して上下方向のうち少なくとも一方の方向に配置される階のうち、この方向に前記被合成画像の表示対象の場所に対して配置されている場所に前記電子機器が存在する場合に、この電子機器の存在を示す情報を前記被合成画像に合成しても良い。
【００１０】
この構成により、本発明の携帯機器は、被合成画像の表示対象の階に対して上下方向のうち少なくとも一方の方向に配置される階のうち、この方向に被合成画像の表示対象の場所に対して配置されている場所に電子機器が存在する場合に、この電子機器の存在を示すので、この電子機器の存在を利用者に容易に認識させることができる。
【００１１】
また、本発明の携帯機器は、前記合成画像上の前記付加情報に対する指示を受け付ける指示受付手段と、前記指示受付手段によって受け付けられた指示に応じた前記電子機器に対する命令を送信する命令送信手段とを備えても良い。
【００１２】
この構成により、本発明の携帯機器は、電子機器の機器情報に基づく付加情報に対する指示に基づいた命令を電子機器に送信することができるので、携帯機器が現在存在している階に設置されている電子機器だけでなく、携帯機器が現在存在している階とは異なる階に設置されている電子機器も操作することができる。
【００１３】
また、本発明の携帯機器において、前記電子機器は、画像形成装置であっても良い。
【００１４】
この構成により、本発明の携帯機器は、携帯機器が現在存在している階とは異なる階に設置されている画像形成装置に印刷を実行させた後、この画像形成装置による出力物を利用者が取得するために、この画像形成装置の近傍の屋内の画像によって、利用者をこの画像形成装置の近傍に容易に到達させることができる。
【００１５】
本発明の携帯機器用プログラムは、撮像デバイスおよび表示デバイスを備える携帯機器を、上述の携帯機器として機能させることを特徴とする。
【００１６】
この構成により、本発明の携帯機器用プログラムは、撮像デバイスの現実空間での方向が水平面に対して上下方向のうち少なくとも一方の方向に特定の角度を超えて傾いている場合に、この方向に携帯機器の所在の階に対して配置されている階のうち、携帯機器の現実空間での水平方向における位置と、撮像デバイスの現実空間での方向とに対応した場所に対する屋内の画像に、この画像上の電子機器の機器情報に基づく付加情報を、この画像上のこの電子機器の位置に対応付けて合成した合成画像を表示デバイスに表示するので、携帯機器が現在存在している階とは異なる階に設置されている電子機器の機器情報に基づく付加情報によって、この電子機器を利用者に認識させることができる上に、この電子機器の近傍の屋内の画像によって、利用者をこの電子機器の近傍に容易に到達させることができる。
【００１７】
本発明の機器情報表示システムは、電子機器と、この電子機器の機器情報に基づく前記付加情報を前記被合成画像に合成した前記合成画像を前記表示デバイスに表示させる上述の携帯機器とを備えることを特徴とする。
【００１８】
この構成により、本発明の機器情報表示システムは、撮像デバイスの現実空間での方向が水平面に対して上下方向のうち少なくとも一方の方向に特定の角度を超えて傾いている場合に、この方向に携帯機器の所在の階に対して配置されている階のうち、携帯機器の現実空間での水平方向における位置と、撮像デバイスの現実空間での方向とに対応した場所に対する屋内の画像に、この画像上の電子機器の機器情報に基づく付加情報を、この画像上のこの電子機器の位置に対応付けて合成した合成画像を表示デバイスに表示するので、携帯機器が現在存在している階とは異なる階に設置されている電子機器の機器情報に基づく付加情報によって、この電子機器を利用者に認識させることができる上に、この電子機器の近傍の屋内の画像によって、利用者をこの電子機器の近傍に容易に到達させることができる。
【発明の効果】
【００１９】
本発明の携帯機器、携帯機器用プログラムおよび機器情報表示システムは、携帯機器が現在存在している階とは異なる階に設置されている電子機器を利用者に認識させることができる上に、利用者をこの電子機器の近傍に容易に到達させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施の形態に係る画像形成システムのブロック図である。
【図２】図１に示すＭＦＰのブロック図である。
【図３】図１に示すＭＦＰが設置された建物の概略の断面図である。
【図４】図１に示す管理サーバーのブロック図である。
【図５】図１に示す携帯機器のブロック図である。
【図６】対象のＭＦＰの機器情報に基づく付加情報を被合成画像に合成した合成画像を表示部に表示させる場合の図５に示す携帯機器の動作のフローチャートである。
【図７】表示部に表示された合成画像に基づいてＭＦＰを制御する場合の図５に示す携帯機器の動作のフローチャートである。
【図８】（ａ）は、建物において同じ階に存在するＭＦＰの方向を撮影した図５に示す携帯機器の撮像部による撮影画像の一例を示す図である。（ｂ）は、図８（ａ）に示す撮影画像に合成される付加情報の一例を示す図である。
【図９】図８（ａ）に示す撮影画像に図８（ｂ）に示す付加情報が合成された合成画像の一例を示す図である。
【図１０】（ａ）は、建物において上階に存在するＭＦＰの方向に撮像部を向けた場合に図５に示す携帯機器によって取得される屋内の画像の一例を示す図である。（ｂ）は、図１０（ａ）に示す屋内の画像に合成される付加情報の一例を示す図である。
【図１１】図１０（ａ）に示す屋内の画像に図１０（ｂ）に示す付加情報が合成された合成画像の一例を示す図である。
【図１２】（ａ）は、建物において上階に存在するＭＦＰの方向に撮像部を向けた場合に図５に示す携帯機器によって取得される屋内の画像の一例であって、図１０（ａ）に示す例とは異なる例を示す図である。（ｂ）は、図１２（ａ）に示す屋内の画像に付加情報が合成された合成画像の一例であって、図１１に示す例とは異なる例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の一実施の形態について、図面を用いて説明する。
【００２２】
まず、本実施の形態に係る機器情報表示システムとしての画像形成システム１０の構成について説明する。
【００２３】
図１は、本実施の形態に係る画像形成システム１０のブロック図である。
【００２４】
図１に示すように、画像形成システム１０は、電子機器としてのＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）２０Ａ、２０Ｂ、２０Ｃを含む複数のＭＦＰと、ＭＦＰ２０Ａ、２０Ｂ、２０Ｃを含む複数のＭＦＰを管理するコンピューターである管理サーバー３０と、撮影画像に対象のＭＦＰの機器情報に基づく付加情報を合成した合成画像を表示させる例えばスマートフォンなどの携帯機器４０とを備えている。ＭＦＰ２０Ａ、２０Ｂ、２０Ｃを含む複数のＭＦＰと、管理サーバー３０と、携帯機器４０とは、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク１１を介して互いに通信可能に接続されている。
【００２５】
画像形成システム１０に含まれている複数のＭＦＰのそれぞれの構成は、ＭＦＰ２０Ａの構成と同様である。したがって、以下においては、画像形成システム１０に含まれる複数のＭＦＰを代表してＭＦＰ２０Ａについて説明する。
【００２６】
図２は、ＭＦＰ２０Ａのブロック図である。
【００２７】
図２に示すように、ＭＦＰ２０Ａは、利用者による種々の操作が入力されるボタンなどの入力デバイスである操作部２１と、種々の情報を表示するＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示デバイスである表示部２２と、原稿から画像を読み取る読取デバイスであるスキャナー２３と、用紙などの記録媒体に印刷を実行する印刷デバイスであるプリンター２４と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部２５と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行うネットワーク通信デバイスであるネットワーク通信部２６と、ＭＦＰ２０Ａの現実空間での現在の位置を検出するＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信機などの位置検出デバイスである位置検出部２７と、各種のデータを記憶しているＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの不揮発性の記憶装置である記憶部２８と、ＭＦＰ２０Ａ全体を制御する制御部２９とを備えている。
【００２８】
操作部２１は、表示部２２とともにタッチパネルを形成する入力デバイスを含んでいても良い。
【００２９】
図３は、画像形成システム１０（図１参照。）のＭＦＰが設置された建物９０の概略の断面図である。
【００３０】
図３に示すように、建物９０は、複数の階を有している。建物９０は、各階にその階を示す情報を無線で送信する階情報送信器９１を備えている。したがって、図２に示す位置検出部２７は、高さ方向の現在の位置に関しては、階情報送信器９１から送信された情報を受信することによって、ＭＦＰ２０Ａが建物９０の何階に設置されているかというＭＦＰ２０Ａの高さ方向の現在の位置を検出することができる。なお、位置検出部２７は、高さ方向の現在の位置に関しては、利用者からの例えば操作部２１を介した指定に基づいて、ＭＦＰ２０Ａが建物９０の何階に設置されているかというＭＦＰ２０Ａの高さ方向の現在の位置を検出するようになっていても良い。
【００３１】
図２に示すように、記憶部２８は、ＭＦＰ２０Ａの現実空間での位置を示す機器位置データ２８ａと、ＭＦＰ２０Ａの機種名、性能、現在の状態などのＭＦＰ２０Ａの機器情報２８ｂとを記憶している。
【００３２】
制御部２９は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、プログラムおよび各種のデータを予め記憶しているＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、ＣＰＵの作業領域として用いられるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）とを備えている。ＣＰＵは、ＲＯＭまたは記憶部２８に記憶されているプログラムを実行するようになっている。
【００３３】
制御部２９は、操作部２１に特定の操作が入力されたとき、または、定期的に、位置検出部２７によって現在の位置を検出して、機器位置データ２８ａとして記憶部２８に記憶させるようになっている。
【００３４】
また、制御部２９は、記憶部２８に記憶されている機器位置データ２８ａおよび機器情報２８ｂを、これらに何らかの変更があったとき、操作部２１に特定の操作が入力されたとき、ネットワーク通信部２６を介して管理サーバー３０（図１参照。）から要求されたとき、または、定期的に、ネットワーク通信部２６を介して管理サーバー３０に送信するようになっている。
【００３５】
図４は、管理サーバー３０のブロック図である。
【００３６】
図４に示すように、管理サーバー３０は、種々の操作が入力されるマウスやキーボードなどの入力デバイスである操作部３１と、種々の情報を表示するＬＣＤなどの表示デバイスである表示部３２と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行うネットワーク通信デバイスであるネットワーク通信部３３と、プログラムおよび各種のデータを記憶しているＨＤＤなどの不揮発性の記憶装置である記憶部３４と、管理サーバー３０全体を制御する制御部３５とを備えている。
【００３７】
記憶部３４は、ＭＦＰの現実空間での位置を示す機器位置データ３４ａと、ＭＦＰの機種名、性能、現在の状態などのＭＦＰの機器情報３４ｂとをＭＦＰ毎に記憶することが可能である。
【００３８】
また、記憶部３４は、建物９０（図３参照。）の屋内の画像を示す屋内画像データ３４ｃを記憶している。屋内の画像は、例えば、コンピューターグラフィックスであっても良いし、写真であっても良い。また、屋内の画像には、建物９０に設置されているＭＦＰの画像も含まれている。
【００３９】
制御部３５は、例えば、ＣＰＵと、プログラムおよび各種のデータを予め記憶しているＲＯＭと、ＣＰＵの作業領域として用いられるＲＡＭとを備えている。ＣＰＵは、ＲＯＭまたは記憶部３４に記憶されているプログラムを実行するようになっている。
【００４０】
制御部３５は、ＭＦＰから送信されてきた機器位置データおよび機器情報をネットワーク通信部３３を介して受信して、それぞれ、機器位置データ３４ａおよび機器情報３４ｂとして記憶部３４に記憶させるようになっている。
【００４１】
図５は、携帯機器４０のブロック図である。
【００４２】
図５に示すように、携帯機器４０は、種々の操作が入力されるボタンなどの入力デバイスである操作部４１と、種々の情報を表示するＬＣＤなどの表示デバイスである表示部４２と、静止画または動画を撮影する撮像デバイスである撮像部４３と、携帯機器４０の現実空間での現在の位置を検出するＧＰＳ受信機などの位置検出デバイスである位置検出部４４と、携帯機器４０の現実空間での現在の方向を検出する加速度センサーなどの方向検出デバイスである方向検出部４５と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行うネットワーク通信デバイスであるネットワーク通信部４６と、プログラムおよび各種のデータを記憶しているＨＤＤなどの不揮発性の記憶装置である記憶部４７と、携帯機器４０全体を制御する制御部４８とを備えている。
【００４３】
操作部４１は、表示部４２とともにタッチパネルを形成する入力デバイスを含んでいても良い。
【００４４】
位置検出部４４は、高さ方向の現在の位置に関しては、階情報送信器９１（図３参照。）から送信された情報を受信することによって、携帯機器４０が建物９０（図３参照。）の何階に存在しているかという携帯機器４０の高さ方向の現在の位置を検出することができる。なお、位置検出部４４は、高さ方向の現在の位置に関しては、利用者からの例えば操作部４１を介した指定に基づいて、携帯機器４０が建物９０の何階に存在しているかという携帯機器４０の高さ方向の現在の位置を検出するようになっていても良い。
【００４５】
記憶部４７は、制御部４８によって実行される携帯機器用プログラム４７ａを記憶している。
【００４６】
制御部４８は、例えば、ＣＰＵと、プログラムおよび各種のデータを予め記憶しているＲＯＭと、ＣＰＵの作業領域として用いられるＲＡＭとを備えている。ＣＰＵは、ＲＯＭまたは記憶部４７に記憶されているプログラムを実行するようになっている。
【００４７】
制御部４８は、記憶部４７に記憶されている携帯機器用プログラム４７ａを実行することによって、対象のＭＦＰの現実空間での位置を機器位置データとして取得する機器位置取得手段４８ａ、対象のＭＦＰの機器情報を取得する機器情報取得手段４８ｂ、および、建物９０（図３参照。）の屋内の画像を屋内画像データとして取得する屋内画像取得手段４８ｃとして機能する。
【００４８】
また、制御部４８は、記憶部４７に記憶されている携帯機器用プログラム４７ａを実行することによって、機器情報取得手段４８ｂによって取得されたＭＦＰの機器情報に基づく付加情報を、被合成画像に、機器位置取得手段４８ａによって取得されたこのＭＦＰの現実空間での位置と、位置検出部４４によって検出された携帯機器４０の現実空間での位置との関係に対応した被合成画像上のこのＭＦＰの位置である被合成画像上機器位置に対応付けて合成した合成画像を表示部４２に表示させる表示制御手段４８ｄとして機能する。
【００４９】
また、制御部４８は、記憶部４７に記憶されている携帯機器用プログラム４７ａを実行することによって、表示制御手段４８ｄによって表示部４２に表示させられた合成画像上のＭＦＰの機器情報に基づく付加情報に対する指示を受け付ける指示受付手段４８ｅ、および、指示受付手段４８ｅによって受け付けられた指示に応じたＭＦＰに対する命令を送信する命令送信手段４８ｆとして機能する。
【００５０】
次に、画像形成システム１０の動作について説明する。
【００５１】
まず、対象のＭＦＰの機器情報に基づく付加情報を被合成画像に合成した合成画像を表示部４２に表示させる場合の携帯機器４０の動作について説明する。
【００５２】
携帯機器４０の制御部４８は、操作部４１を介した指示に応じて携帯機器用プログラム４７ａを実行することによって、図６に示す動作を開始する。
【００５３】
図６は、対象のＭＦＰの機器情報に基づく付加情報を被合成画像に合成した合成画像を表示部４２に表示させる場合の携帯機器４０の動作のフローチャートである。
【００５４】
図６に示すように、携帯機器４０の制御部４８の機器位置取得手段４８ａおよび機器情報取得手段４８ｂは、位置検出部４４によって検出された携帯機器４０の現実空間での現在の位置と、方向検出部４５によって検出された携帯機器４０の現実空間での現在の方向とをネットワーク通信部４６を介して管理サーバー３０に送信することによって、携帯機器４０からの予め定められている距離の範囲と、撮像部４３による撮影の水平方向における角度範囲とに存在しているＭＦＰの機器位置データおよび機器情報をネットワーク通信部４６を介して管理サーバー３０から取得する（Ｓ１０１）。
【００５５】
次いで、制御部４８は、撮像部４３の現実空間での方向の水平面に対する角度が上方向に６０度以内であって下方向に６０度以内である範囲以内であるか否かを判断する（Ｓ１０２）。
【００５６】
制御部４８の表示制御手段４８ｄは、撮像部４３の現実空間での方向の水平面に対する角度が上方向に６０度以内であって下方向に６０度以内である範囲以内であるとＳ１０２において判断されると、Ｓ１０１において取得されたＭＦＰの機器情報に基づく付加情報を、被合成画像、すなわち、撮像部４３による撮影画像に、このＭＦＰの被合成画像上機器位置に対応付けて合成した合成画像を生成する（Ｓ１０３）。
【００５７】
制御部４８の屋内画像取得手段４８ｃは、撮像部４３の現実空間での方向の水平面に対する角度が上方向に６０度以内であって下方向に６０度以内である範囲以内ではない、すなわち、撮像部４３の現実空間での方向の水平面に対する角度が上方向に６０度を超えているか、撮像部４３の現実空間での方向の水平面に対する角度が下方向に６０度を超えているとＳ１０２において判断されると、位置検出部４４によって検出された携帯機器４０の現実空間での現在の位置と、方向検出部４５によって検出された携帯機器４０の現実空間での現在の方向とをネットワーク通信部４６を介して管理サーバー３０に送信することによって、携帯機器４０が現在存在している階に対して撮像部４３の現実空間での水平面に対する方向に配置されている階のうち、携帯機器４０の現実空間での水平方向における位置と、撮像部４３の現実空間での方向とに対応した場所に対する屋内の画像を示す屋内画像データをネットワーク通信部４６を介して管理サーバー３０から取得する（Ｓ１０４）。すなわち、屋内画像取得手段４８ｃは、撮像部４３が水平面に対して上方向に傾いている場合に、携帯機器４０が現在存在している階の上階のうち、携帯機器４０の現実空間での水平方向における位置と、撮像部４３の現実空間での方向とに対応した場所に対する屋内の画像を取得し、撮像部４３が水平面に対して下方向に傾いている場合に、携帯機器４０が現在存在している階の下階のうち、携帯機器４０の現実空間での水平方向における位置と、撮像部４３の現実空間での方向とに対応した場所に対する屋内の画像を取得する。
【００５８】
次いで、表示制御手段４８ｄは、Ｓ１０１において取得されたＭＦＰの機器情報に基づく付加情報を、被合成画像、すなわち、Ｓ１０４において取得された屋内の画像に、このＭＦＰの被合成画像上機器位置に対応付けて合成した合成画像を生成する（Ｓ１０５）。
【００５９】
表示制御手段４８ｄは、Ｓ１０３またはＳ１０５の処理の後、Ｓ１０３またはＳ１０５において生成した合成画像を表示部４２に表示させる（Ｓ１０６）。
【００６０】
次いで、制御部４８は、操作部４１を介して終了の指示があったか否かを判断する（Ｓ１０７）。
【００６１】
制御部４８は、終了の指示がないとＳ１０７において判断すると、再びＳ１０１の処理に戻る。
【００６２】
一方、制御部４８は、終了の指示があったとＳ１０７において判断すると、図６に示す動作を終了する。
【００６３】
次に、表示部４２に表示された合成画像に基づいてＭＦＰを制御する場合の携帯機器４０の動作について説明する。
【００６４】
図７は、表示部４２に表示された合成画像に基づいてＭＦＰを制御する場合の携帯機器４０の動作のフローチャートである。
【００６５】
図７に示すように、携帯機器４０の制御部４８の指示受付手段４８ｅは、Ｓ１０６において表示部４２に表示させられた合成画像上の付加情報に対する指示を操作部４１から受け付ける（Ｓ１３１）。
【００６６】
次いで、制御部４８の命令送信手段４８ｆは、Ｓ１３１において受け付けられた指示に応じたＭＦＰに対する命令をネットワーク通信部４６を介して管理サーバー３０に送信して（Ｓ１３２）、図７に示す動作を終了する。
【００６７】
なお、管理サーバー３０の制御部３５は、携帯機器４０からネットワーク通信部３３を介して受信した命令に基づいてＭＦＰを制御する。
【００６８】
以下、図３に示すように建物９０の３階、２階、１階にそれぞれＭＦＰ２０Ａ、２０Ｂ、２０Ｃが存在している状況で、利用者が携帯機器４０を携帯して建物９０の２階に居る例について説明する。
【００６９】
図８（ａ）は、建物９０において同じ階に存在するＭＦＰ２０Ｂの方向を撮影した携帯機器４０の撮像部４３による撮影画像の一例を示す図である。図８（ｂ）は、図８（ａ）に示す撮影画像に合成される付加情報の一例を示す図である。図９は、図８（ａ）に示す撮影画像に図８（ｂ）に示す付加情報が合成された合成画像の一例を示す図である。
【００７０】
利用者が建物９０において同じ階に存在するＭＦＰ２０Ｂの方向を携帯機器４０によって撮影した場合、表示部４２に表示される撮影画像は、例えば図８（ａ）に示すようになる。図８（ａ）に示す撮影画像には、ＭＦＰ２０Ｂの他に、人９２、９３および壁９４なども含まれている。
【００７１】
また、Ｓ１０１において取得されるＭＦＰ２０Ａ、２０Ｂ、２０Ｃの機器情報に基づく付加情報は、例えば図８（ｂ）に示すようになる。
【００７２】
ＭＦＰ２０Ａの機器情報に基づく付加情報は、上向き矢印表示５１である。上向き矢印表示５１は、上階の近傍にＭＦＰが存在することを示す表示である。
【００７３】
ＭＦＰ２０Ｂの機器情報に基づく付加情報は、カラー・モノクロ表示５２、用紙サイズ表示５３、接続ボタン５４および詳細ボタン５５である。カラー・モノクロ表示５２は、対象のＭＦＰがカラー印刷可能であるかモノクロ印刷専用であるかを示す表示である。カラー・モノクロ表示５２は、カラー印刷可能であるかモノクロ印刷専用であるかを示す吹き出しの文字と、用紙の画像とを含んでいる。カラー・モノクロ表示５２は、カラー印刷可能であるかモノクロ印刷専用であるかを吹き出しの文字のみで示すようになっていても良いし、吹き出しを無くして用紙の画像の色のみで示すようになっていても良い。用紙サイズ表示５３は、対象のＭＦＰに格納されている用紙のサイズを示す表示である。接続ボタン５４は、対象のＭＦＰと、携帯機器４０との接続の指示を受け付けるためのボタンである。詳細ボタン５５は、対象のＭＦＰの詳細な情報の表示の指示を受け付けるためのボタンである。
【００７４】
ＭＦＰ２０Ｃの機器情報に基づく付加情報は、下向き矢印表示５６である。下向き矢印表示５６は、下階の近傍にＭＦＰが存在することを示す表示である。
【００７５】
なお、図８（ｂ）に示す付加情報には、ＭＦＰ２０Ｂの位置を示す情報が含まれていても良い。この位置の表示方法は、座標であっても良いし、例えば「会議室の入り口の横」など、予め管理者が登録した任意の表示であっても良いし、他の表示方法であっても良い。
【００７６】
携帯機器４０の制御部４８は、図８（ａ）に示す撮影画像に、図８（ｂ）に示す上向き矢印表示５１を撮影画像における上部に合成し、図８（ｂ）に示すカラー・モノクロ表示５２、用紙サイズ表示５３、接続ボタン５４および詳細ボタン５５をＭＦＰ２０Ｂの被合成画像上機器位置に対応付けて合成し、図８（ｂ）に示す下向き矢印表示５６を撮影画像における下部に合成した図９に示すような合成画像を表示部４２に表示する（Ｓ１０３およびＳ１０６）。すなわち、図９に示す合成画像は、ＡＲ技術による画像である。
【００７７】
図１０（ａ）は、建物９０において上階に存在するＭＦＰ２０Ａの方向に撮像部４３を向けた場合に携帯機器４０によって取得される屋内の画像の一例を示す図である。図１０（ｂ）は、図１０（ａ）に示す屋内の画像に合成される付加情報の一例を示す図である。図１１は、図１０（ａ）に示す屋内の画像に図１０（ｂ）に示す付加情報が合成された合成画像の一例を示す図である。
【００７８】
利用者が建物９０において上階に存在するＭＦＰ２０Ａの方向に携帯機器４０の撮像部４３を向けた場合、Ｓ１０４において取得される屋内の画像は、例えば図１０（ａ）に示すようになる。図１０（ａ）に示す屋内の画像には、ＭＦＰ２０Ａの他に、３階の壁９５、３階の天井９６なども含まれている。なお、図１０（ａ）に示す屋内の画像には、視認性の観点から３階の床、すなわち、２階の天井が含まれていない。
【００７９】
また、Ｓ１０１において取得されるＭＦＰ２０Ａ、２０Ｂの機器情報に基づく付加情報は、例えば図１０（ｂ）に示すようになる。
【００８０】
ＭＦＰ２０Ａの機器情報に基づく付加情報は、カラー・モノクロ表示５７、用紙サイズ表示５８、接続ボタン５９および詳細ボタン６０である。
【００８１】
ＭＦＰ２０Ｂの機器情報に基づく付加情報は、下向き矢印表示６１である。下向き矢印表示６１は、下階の近傍にＭＦＰが存在することを示す表示である。
【００８２】
なお、図１０（ｂ）に示す付加情報には、ＭＦＰ２０Ａの位置を示す情報が含まれていても良い。この位置の表示方法は、座標であっても良いし、予め管理者が登録した任意の表示であっても良いし、他の表示方法であっても良い。
【００８３】
携帯機器４０の制御部４８は、図１０（ａ）に示す屋内の画像に、図１０（ｂ）に示すカラー・モノクロ表示５７、用紙サイズ表示５８、接続ボタン５９および詳細ボタン６０をＭＦＰ２０Ａの被合成画像上機器位置に対応付けて合成し、図１０（ｂ）に示す下向き矢印表示６１を屋内の画像における下部に合成した図１１に示すような合成画像を表示部４２に表示する（Ｓ１０５およびＳ１０６）。すなわち、図１１に示す合成画像は、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）技術による画像である。
【００８４】
なお、制御部４８は、撮像部４３による実際の撮影画像を半透明にして図１１に示す合成画像に更に合成するようになっていても良い。すなわち、半透明にされた２階の天井の撮影画像が図１１に示す合成画像に更に合成されても良い。この場合、最終的な合成画像は、ＡＲ技術による画像である。
【００８５】
図１０（ａ）および図１１は、２階から３階を見上げている状態を示す図であるが、制御部４８は、図１２に示すように、利用者が３階に居るかのような表示を行うことも可能である。
【００８６】
図１２（ａ）は、建物９０において上階に存在するＭＦＰ２０Ａの方向に撮像部４３を向けた場合に携帯機器４０によって取得される屋内の画像の一例であって、図１０（ａ）に示す例とは異なる例を示す図である。図１２（ｂ）は、図１２（ａ）に示す屋内の画像に付加情報が合成された合成画像の一例であって、図１１に示す例とは異なる例を示す図である。
【００８７】
制御部４８は、図１２（ａ）に示す屋内の画像に、カラー・モノクロ表示５７、用紙サイズ表示５８、接続ボタン５９および詳細ボタン６０を、ＭＦＰ２０Ａの被合成画像上機器位置に対応付けて合成し、下向き矢印表示６１を屋内の画像における下部に合成した図１２（ｂ）に示すような合成画像を表示部４２に表示する（Ｓ１０５およびＳ１０６）。すなわち、図１２（ｂ）に示す合成画像は、ＶＲ技術による画像である。
【００８８】
以上に説明したように、携帯機器４０は、撮像部４３の現実空間での方向が水平面に対して上方向に６０度を超えて傾いている場合に（Ｓ１０２でＮＯ）、携帯機器４０が現在存在している階に対して上方向に配置されている上階のうち、携帯機器４０の現実空間での水平方向における位置と、撮像部４３の現実空間での方向とに対応した場所に対する屋内の画像に（Ｓ１０４）、この画像上のＭＦＰの機器情報に基づく付加情報を、この画像上のこのＭＦＰの位置に対応付けて合成した（Ｓ１０５）合成画像を表示部４２に表示する（Ｓ１０６）。上方向について説明したが、下方向についても同様である。したがって、携帯機器４０は、携帯機器４０が現在存在している階とは異なる階に設置されているＭＦＰの機器情報に基づく付加情報によって、このＭＦＰを利用者に認識させることができる上に、このＭＦＰの近傍の屋内の画像によって、利用者をこのＭＦＰの近傍に容易に到達させることができる。
【００８９】
したがって、例えば、利用者は、カラー印刷を実行することを希望している場合に、現在居る階に設置されているＭＦＰにカラー印刷可能であるものが存在しないとき、他の階に移動しなくても、携帯機器４０の撮像部４３を上階に向けるという簡単な操作によって、表示部４２に表示される上階の屋内の画像上に、上階のＭＦＰと、このＭＦＰの機器情報に基づく付加情報とを容易に確認することができるので、カラー印刷可能である上階のＭＦＰを容易に発見することができる。例えば、利用者が建物９０に初めて訪れた場合など、ＭＦＰの設置場所、性能などを利用者が把握していない場合に特に有益である。上階について説明したが、下階についても同様である。
【００９０】
携帯機器４０は、被合成画像の表示対象の階に対して上方向に配置される上階のうち、被合成画像の表示対象の場所に対して上方向に配置される場所にＭＦＰが存在する場合に、上向き矢印表示によって、このＭＦＰの存在を示すので、このＭＦＰの存在を利用者に容易に認識させることができる。上方向について説明したが、下方向についても同様である。
【００９１】
携帯機器４０は、ＭＦＰの機器情報に基づく付加情報に対する指示（Ｓ１３１）に基づいた命令をＭＦＰに送信する（Ｓ１３２）ことができるので、携帯機器４０が現在存在している階に設置されているＭＦＰだけでなく、携帯機器４０が現在存在している階とは異なる階に設置されているＭＦＰも操作することができる。
【００９２】
携帯機器４０は、携帯機器４０が現在存在している階とは異なる階に設置されているＭＦＰに印刷を実行させた後、このＭＦＰによる出力物を利用者が取得するために、このＭＦＰの近傍の屋内の画像によって、利用者をこのＭＦＰの近傍に容易に到達させることができる。すなわち、利用者は、現在居る階とは異なる階に設置されているＭＦＰに印刷を実行させた場合に、このＭＦＰに印刷を指示した時点での利用者の位置と、撮像部４３の向きとによってこのＭＦＰの大体の位置を感覚的に把握することができるとともに、予めこのＭＦＰの近傍の屋内の画像によって道順を把握することができるので、道に迷わず短時間でこのＭＦＰの近傍に到達することができる。
【００９３】
なお、画像形成システム１０は、本実施の形態において管理サーバー３０を備えているが、ＭＦＰ自身が管理サーバー３０として機能しても良い。すなわち、携帯機器４０は、ＭＦＰの機器位置データおよび機器情報を、このＭＦＰから直接受信するようになっていても良いし、屋内画像データをＭＦＰから受信するようになっていても良いし、ＭＦＰへの命令を、このＭＦＰに直接送信するようになっていても良い。
【００９４】
また、画像形成システム１０は、携帯機器４０が屋内画像データを管理サーバー３０から取得するようになっているが、携帯機器４０が屋内画像データを予め記憶部４７に格納しておいて、屋内画像取得手段４８ｃが屋内画像データを記憶部４７から取得するようになっていても良い。
【００９５】
また、本発明の機器情報表示システムは、本実施の形態において本発明の電子機器としてＭＦＰを備えているが、プリンター専用機、コピー専用機、ＦＡＸ専用機など、ＭＦＰ以外の画像形成装置を本発明の電子機器として備えていても良いし、画像形成装置以外の電子機器を本発明の電子機器として備えていても良い。
【符号の説明】
【００９６】
１０  画像形成システム（機器情報表示システム）
２０Ａ、２０Ｂ、２０Ｃ  ＭＦＰ（電子機器、画像形成装置）
２８ｂ  機器情報
３４ｂ  機器情報
４０  携帯機器
４２  表示部（表示デバイス）
４３  撮像部（撮像デバイス）
４７ａ  携帯機器用プログラム
４８ａ  機器位置取得手段
４８ｂ  機器情報取得手段
４８ｃ  屋内画像取得手段
４８ｄ  表示制御手段
４８ｅ  指示受付手段
４８ｆ  命令送信手段
５１  上向き矢印表示（付加情報）
５２  カラー・モノクロ表示（付加情報）
５３  用紙サイズ表示（付加情報）
５４  接続ボタン（付加情報）
５５  詳細ボタン（付加情報）
５６  下向き矢印表示（付加情報）
５７  カラー・モノクロ表示（付加情報）
５８  用紙サイズ表示（付加情報）
５９  接続ボタン（付加情報）
６０  詳細ボタン（付加情報）
６１  下向き矢印表示（付加情報）
９０  建物
【図１】
2014170487.tif 000003
【図２】
2014170487.tif 000004
【図３】
2014170487.tif 000005
【図４】
2014170487.tif 000006
【図５】
2014170487.tif 000007
【図６】
2014170487.tif 000008
【図７】
2014170487.tif 000009
【図８】
2014170487.tif 000010
【図９】
2014170487.tif 000011
【図１０】
2014170487.tif 000012
【図１１】
2014170487.tif 000013
【図１２】
2014170487.tif 000014