(57)【要約】【課題】  電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる携帯機器、携帯機器用プログラムおよび機器情報表示システムを提供する。【解決手段】  携帯機器は、Ｓ１０２によって取得したＭＦＰの機器情報に基づく付加情報を、撮像部による撮影画像に、Ｓ１０２において取得したこのＭＦＰの現実空間での位置と、携帯機器の現実空間での位置との関係に対応した撮影画像上のこのＭＦＰの位置である撮影画像上機器位置に対応付けて合成した合成画像を表示部に表示させる（Ｓ１０４、Ｓ１０５）場合、このＭＦＰがこの撮影画像上機器位置に存在していないと判断したときに（Ｓ１０３でＮＯ）このＭＦＰの画像を撮影画像に撮影画像上機器位置で合成した合成画像を生成し（Ｓ１０７）、このＭＦＰがこの撮影画像上機器位置に存在していると判断したときに（Ｓ１０３でＹＥＳ）このＭＦＰの画像を撮影画像に合成せずに合成画像を生成する。【選択図】  図５
2014171190.tif 000002
【特許請求の範囲】
【請求項１】
撮像デバイスおよび表示デバイスを備える携帯機器であって、
電子機器の現実空間での位置を取得する機器位置取得手段と、
前記電子機器の機器情報を取得する機器情報取得手段と、
前記電子機器の画像を取得する機器画像取得手段と、
前記機器情報取得手段によって取得された前記電子機器の機器情報に基づく付加情報を、前記撮像デバイスによる撮影画像に、前記機器位置取得手段によって取得されたこの電子機器の現実空間での位置と、前記携帯機器の現実空間での位置との関係に対応した前記撮影画像上のこの電子機器の位置である撮影画像上機器位置に対応付けて合成した合成画像を前記表示デバイスに表示させる表示制御手段と、
前記撮影画像上機器位置に前記電子機器が存在しているか否かを画像処理によって判断する撮影画像上機器存在判断手段とを備え、
前記表示制御手段は、前記撮影画像上機器存在判断手段によって前記電子機器が存在していないと判断された場合に、前記機器画像取得手段によって取得されたこの電子機器の画像を前記撮影画像に前記撮影画像上機器位置で合成した前記合成画像を生成し、
前記表示制御手段は、前記撮影画像上機器存在判断手段によって前記電子機器が存在していると判断された場合に、前記機器画像取得手段によって取得されたこの電子機器の画像を前記撮影画像に前記撮影画像上機器位置で合成せずに前記合成画像を生成することを特徴とする携帯機器。
【請求項２】
前記表示制御手段は、前記電子機器の画像を前記撮影画像に合成した前記合成画像を生成する場合、この合成画像においてこの電子機器の画像を囲んでこの画像とこの撮影画像とを区別する区別領域を生成することを特徴とする請求項１に記載の携帯機器。
【請求項３】
前記表示制御手段は、前記電子機器の画像を前記撮影画像に合成した前記合成画像を生成する場合、前記機器位置取得手段によって取得されたこの電子機器の現実空間での位置と、前記携帯機器の現実空間での位置との距離に応じて、この電子機器の画像の大きさを決定することを特徴とする請求項１または請求項２に記載の携帯機器。
【請求項４】
前記合成画像上の前記付加情報に対する指示を受け付ける指示受付手段と、
前記指示受付手段によって受け付けられた指示に応じた前記電子機器に対する命令を送信する命令送信手段とを備えることを特徴とする請求項１から請求項３までの何れかに記載の携帯機器。
【請求項５】
撮像デバイスおよび表示デバイスを備える携帯機器を、請求項１から請求項４までの何れかに記載の携帯機器として機能させることを特徴とする携帯機器用プログラム。
【請求項６】
電子機器と、この電子機器の機器情報に基づく前記付加情報を前記撮影画像に合成した前記合成画像を前記表示デバイスに表示させる請求項１から請求項４までの何れかに記載の携帯機器とを備えることを特徴とする機器情報表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像デバイスによる撮影画像に対象の電子機器の機器情報に基づく付加情報を合成した合成画像を表示デバイスに表示させるＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術を実現する携帯機器、携帯機器用プログラムおよび機器情報表示システムに関する。
【背景技術】
【０００２】
従来、撮像デバイスによる撮影画像に撮影された対象の電子機器の機器情報に基づく付加情報を合成した合成画像を表示デバイスに表示させる携帯機器として、この電子機器の現実空間での位置と、この携帯機器の現実空間での位置との関係に対応した撮像デバイスによる撮影画像上のこの電子機器の位置で、この電子機器の機器情報に基づく付加情報と、この電子機器の画像とを撮影画像に合成した合成画像を表示デバイスに表示させることによって、撮影画像に、電子機器の機器情報に基づく付加情報と、電子機器の画像とが合成された直感的な表示を実行することができる携帯機器が知られている（特許文献１参照。）。
【０００３】
また、従来、撮像デバイスによる撮影画像に撮影された対象の電子機器の機器情報に基づく付加情報を合成した合成画像を表示デバイスに表示させる携帯機器として、この電子機器の現実空間での位置と、この携帯機器の現実空間での位置との関係に対応した撮像デバイスによる撮影画像上のこの電子機器の位置で、この電子機器の機器情報に基づく付加情報を撮影画像に合成した合成画像を表示デバイスに表示させることによって、撮影画像上の実際の電子機器に、この電子機器の機器情報に基づく付加情報を直感的に表示することができる携帯機器も知られている（特許文献２、３参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１２９９９６号公報
【特許文献２】特開２０１２−２９１６４号公報
【特許文献３】特開２０１２−９００７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載されている携帯機器においては、撮影画像上に実際の電子機器が存在していたとしても、電子機器の機器情報に基づく付加情報だけでなく、電子機器の画像をも合成するので、撮影画像上に実際の電子機器が存在している場合には、特許文献２、３に記載されている携帯機器と比較して、直感性が劣るという問題がある。
【０００６】
一方、特許文献２、３に記載されている携帯機器においても、携帯機器と、電子機器との間に障害物があることによって、撮影画像上に電子機器の代わりにこの障害物が存在する場合には、撮影画像上の障害物に、電子機器の機器情報に基づく付加情報が合成された違和感がある画像を表示するという問題がある。
【０００７】
そこで、本発明は、電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる携帯機器、携帯機器用プログラムおよび機器情報表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の携帯機器は、撮像デバイスおよび表示デバイスを備える携帯機器であって、電子機器の現実空間での位置を取得する機器位置取得手段と、前記電子機器の機器情報を取得する機器情報取得手段と、前記電子機器の画像を取得する機器画像取得手段と、前記機器情報取得手段によって取得された前記電子機器の機器情報に基づく付加情報を、前記撮像デバイスによる撮影画像に、前記機器位置取得手段によって取得されたこの電子機器の現実空間での位置と、前記携帯機器の現実空間での位置との関係に対応した前記撮影画像上のこの電子機器の位置である撮影画像上機器位置に対応付けて合成した合成画像を前記表示デバイスに表示させる表示制御手段と、前記撮影画像上機器位置に前記電子機器が存在しているか否かを画像処理によって判断する撮影画像上機器存在判断手段とを備え、前記表示制御手段は、前記撮影画像上機器存在判断手段によって前記電子機器が存在していないと判断された場合に、前記機器画像取得手段によって取得されたこの電子機器の画像を前記撮影画像に前記撮影画像上機器位置で合成した前記合成画像を生成し、前記表示制御手段は、前記撮影画像上機器存在判断手段によって前記電子機器が存在していると判断された場合に、前記機器画像取得手段によって取得されたこの電子機器の画像を前記撮影画像に前記撮影画像上機器位置で合成せずに前記合成画像を生成することを特徴とする。
【０００９】
この構成により、本発明の携帯機器は、撮影画像上に対象の電子機器が存在していない場合に、この電子機器の機器情報に基づく付加情報と、この電子機器の画像との両方を撮影画像に合成し、撮影画像上に対象の電子機器が存在している場合に、この電子機器の機器情報に基づく付加情報と、この電子機器の画像とのうち、この電子機器の機器情報に基づく付加情報のみを撮影画像に合成するので、電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる。
【００１０】
また、本発明の携帯機器において、前記表示制御手段は、前記電子機器の画像を前記撮影画像に合成した前記合成画像を生成する場合、この合成画像においてこの電子機器の画像を囲んでこの画像とこの撮影画像とを区別する区別領域を生成しても良い。
【００１１】
この構成により、本発明の携帯機器は、電子機器の機器情報に基づく付加情報と、電子機器の画像とを撮影画像に合成した合成画像を生成する場合に、電子機器の画像と、撮影画像とを区別領域によって区別するので、合成画像における電子機器の画像の視認性を向上することができる。したがって、本発明の携帯機器は、電子機器の画像とともに表示される電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる。
【００１２】
また、本発明の携帯機器において、前記表示制御手段は、前記電子機器の画像を前記撮影画像に合成した前記合成画像を生成する場合、前記機器位置取得手段によって取得されたこの電子機器の現実空間での位置と、前記携帯機器の現実空間での位置との距離に応じて、この電子機器の画像の大きさを決定しても良い。
【００１３】
この構成により、本発明の携帯機器は、電子機器の機器情報に基づく付加情報と、電子機器の画像とを撮影画像に合成した合成画像を生成する場合に、電子機器の画像の大きさを現実空間における電子機器と携帯機器との距離に応じた大きさにするので、電子機器の画像とともに表示される電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる。
【００１４】
また、本発明の携帯機器は、前記合成画像上の前記付加情報に対する指示を受け付ける指示受付手段と、前記指示受付手段によって受け付けられた指示に応じた前記電子機器に対する命令を送信する命令送信手段とを備えても良い。
【００１５】
この構成により、本発明の携帯機器は、直感性が高く表示された電子機器の機器情報に基づく付加情報に対する指示に基づいた命令を電子機器に送信することができるので、電子機器の操作感の直感性を向上することができる。
【００１６】
本発明の携帯機器用プログラムは、撮像デバイスおよび表示デバイスを備える携帯機器を、上述の携帯機器として機能させることを特徴とする。
【００１７】
この構成により、本発明の携帯機器用プログラムは、撮影画像上に対象の電子機器が存在していない場合に、この電子機器の機器情報に基づく付加情報と、この電子機器の画像との両方を撮影画像に合成し、撮影画像上に対象の電子機器が存在している場合に、この電子機器の機器情報に基づく付加情報と、この電子機器の画像とのうち、この電子機器の機器情報に基づく付加情報のみを撮影画像に合成するので、電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる。
【００１８】
本発明の機器情報表示システムは、電子機器と、この電子機器の機器情報に基づく前記付加情報を前記撮影画像に合成した前記合成画像を前記表示デバイスに表示させる上述の携帯機器とを備えることを特徴とする。
【００１９】
この構成により、本発明の機器情報表示システムは、撮影画像上に対象の電子機器が存在していない場合に、この電子機器の機器情報に基づく付加情報と、この電子機器の画像との両方を撮影画像に合成し、撮影画像上に対象の電子機器が存在している場合に、この電子機器の機器情報に基づく付加情報と、この電子機器の画像とのうち、この電子機器の機器情報に基づく付加情報のみを撮影画像に合成するので、電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる。
【発明の効果】
【００２０】
本発明の携帯機器、携帯機器用プログラムおよび機器情報表示システムは、電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施の形態に係る画像形成システムのブロック図である。
【図２】図１に示すＭＦＰのブロック図である。
【図３】図１に示す管理サーバーのブロック図である。
【図４】図１に示す携帯機器のブロック図である。
【図５】撮像部による撮影画像に対象のＭＦＰの機器情報に基づく付加情報を合成した合成画像を表示部に表示させる場合の図４に示す携帯機器の動作のフローチャートである。
【図６】ＭＦＰと、携帯機器との間に障害物がない場合に図１に示すＭＦＰおよび携帯機器を上方から観察した状態の一例を示す図である。
【図７】（ａ）は、図６に示す状態における携帯機器の撮像部による撮影画像の一例を示す図である。（ｂ）は、図６に示す状態においてＭＦＰの機器情報に基づく付加情報が合成された合成画像の一例を示す図である。
【図８】ＭＦＰと、携帯機器との間に障害物として壁がある場合に図１に示すＭＦＰおよび携帯機器を上方から観察した状態の一例を示す図である。
【図９】（ａ）は、図８に示す状態における携帯機器の撮像部による撮影画像の一例を示す図である。（ｂ）は、図８に示す状態において特定の範囲が削除された撮影画像の一例を示す図である。
【図１０】（ａ）は、図８に示す状態においてＭＦＰの画像が合成された合成画像の一例を示す図である。（ｂ）は、図８に示す状態においてＭＦＰの機器情報に基づく付加情報が合成された合成画像の一例を示す図である。
【図１１】表示部に表示された合成画像に基づいてＭＦＰを制御する場合の図４に示す携帯機器の動作のフローチャートである。
【図１２】図８に示す状態においてＭＦＰの機器情報に基づく付加情報と、ＭＦＰの画像とのうち、ＭＦＰの機器情報に基づく付加情報のみを撮影画像に合成するようになっていると仮定した場合の合成画像の一例を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の一実施の形態について、図面を用いて説明する。
【００２３】
まず、本実施の形態に係る機器情報表示システムとしての画像形成システム１０の構成について説明する。
【００２４】
図１は、本実施の形態に係る画像形成システム１０のブロック図である。
【００２５】
図１に示すように、画像形成システム１０は、電子機器としてのＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）２０を含む複数のＭＦＰと、ＭＦＰ２０を含む複数のＭＦＰを管理するコンピューターである管理サーバー３０と、撮影画像に対象のＭＦＰの機器情報に基づく付加情報を合成した合成画像を表示させる例えばスマートフォンなどの携帯機器４０とを備えている。ＭＦＰ２０を含む複数のＭＦＰと、管理サーバー３０と、携帯機器４０とは、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク１１を介して互いに通信可能に接続されている。
【００２６】
画像形成システム１０に含まれている複数のＭＦＰのそれぞれの構成は、ＭＦＰ２０の構成と同様である。したがって、以下においては、画像形成システム１０に含まれる複数のＭＦＰを代表してＭＦＰ２０について説明する。
【００２７】
図２は、ＭＦＰ２０のブロック図である。
【００２８】
図２に示すように、ＭＦＰ２０は、利用者による種々の操作が入力されるボタンなどの入力デバイスである操作部２１と、種々の情報を表示するＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示デバイスである表示部２２と、原稿から画像を読み取る読取デバイスであるスキャナー２３と、用紙などの記録媒体に印刷を実行する印刷デバイスであるプリンター２４と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部２５と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行うネットワーク通信デバイスであるネットワーク通信部２６と、ＭＦＰ２０の現実空間での現在の位置を検出するＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信機などの位置検出デバイスである位置検出部２７と、各種のデータを記憶しているＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの不揮発性の記憶装置である記憶部２８と、ＭＦＰ２０全体を制御する制御部２９とを備えている。
【００２９】
操作部２１は、表示部２２とともにタッチパネルを形成する入力デバイスを含んでいても良い。
【００３０】
記憶部２８は、ＭＦＰ２０の現実空間での位置を示す機器位置データ２８ａと、ＭＦＰ２０の機種名、性能、現在の状態などのＭＦＰ２０の機器情報２８ｂと、ＭＦＰ２０の画像を示す機器画像データ２８ｃとを記憶している。
【００３１】
制御部２９は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、プログラムおよび各種のデータを予め記憶しているＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、ＣＰＵの作業領域として用いられるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）とを備えている。ＣＰＵは、ＲＯＭまたは記憶部２８に記憶されているプログラムを実行するようになっている。
【００３２】
制御部２９は、操作部２１に特定の操作が入力されたとき、または、定期的に、位置検出部２７によって現在の位置を検出して、機器位置データ２８ａとして記憶部２８に記憶させるようになっている。
【００３３】
また、制御部２９は、記憶部２８に記憶されている機器位置データ２８ａ、機器情報２８ｂおよび機器画像データ２８ｃを、これらに何らかの変更があったとき、操作部２１に特定の操作が入力されたとき、ネットワーク通信部２６を介して管理サーバー３０（図１参照。）から要求されたとき、または、定期的に、ネットワーク通信部２６を介して管理サーバー３０に送信するようになっている。
【００３４】
図３は、管理サーバー３０のブロック図である。
【００３５】
図３に示すように、管理サーバー３０は、種々の操作が入力されるマウスやキーボードなどの入力デバイスである操作部３１と、種々の情報を表示するＬＣＤなどの表示デバイスである表示部３２と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行うネットワーク通信デバイスであるネットワーク通信部３３と、プログラムおよび各種のデータを記憶しているＨＤＤなどの不揮発性の記憶装置である記憶部３４と、管理サーバー３０全体を制御する制御部３５とを備えている。
【００３６】
記憶部３４は、ＭＦＰの現実空間での位置を示す機器位置データ３４ａと、ＭＦＰの機種名、性能、現在の状態などのＭＦＰの機器情報３４ｂと、ＭＦＰの画像を示す機器画像データ３４ｃとをＭＦＰ毎に記憶することが可能である。
【００３７】
制御部３５は、例えば、ＣＰＵと、プログラムおよび各種のデータを予め記憶しているＲＯＭと、ＣＰＵの作業領域として用いられるＲＡＭとを備えている。ＣＰＵは、ＲＯＭまたは記憶部３４に記憶されているプログラムを実行するようになっている。
【００３８】
制御部３５は、ＭＦＰから送信されてきた機器位置データ、機器情報および機器画像データをネットワーク通信部３３を介して受信して、それぞれ、機器位置データ３４ａ、機器情報３４ｂおよび機器画像データ３４ｃとして記憶部３４に記憶させるようになっている。
【００３９】
図４は、携帯機器４０のブロック図である。
【００４０】
図４に示すように、携帯機器４０は、種々の操作が入力されるボタンなどの入力デバイスである操作部４１と、種々の情報を表示するＬＣＤなどの表示デバイスである表示部４２と、静止画または動画を撮影する撮像デバイスである撮像部４３と、携帯機器４０の現実空間での現在の位置を検出するＧＰＳ受信機などの位置検出デバイスである位置検出部４４と、携帯機器４０の現実空間での現在の方向を検出する加速度センサーなどの方向検出デバイスである方向検出部４５と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行うネットワーク通信デバイスであるネットワーク通信部４６と、プログラムおよび各種のデータを記憶しているＨＤＤなどの不揮発性の記憶装置である記憶部４７と、携帯機器４０全体を制御する制御部４８とを備えている。
【００４１】
操作部４１は、表示部４２とともにタッチパネルを形成する入力デバイスを含んでいても良い。
【００４２】
記憶部４７は、制御部４８によって実行される携帯機器用プログラム４７ａを記憶している。
【００４３】
制御部４８は、例えば、ＣＰＵと、プログラムおよび各種のデータを予め記憶しているＲＯＭと、ＣＰＵの作業領域として用いられるＲＡＭとを備えている。ＣＰＵは、ＲＯＭまたは記憶部４７に記憶されているプログラムを実行するようになっている。
【００４４】
制御部４８は、記憶部４７に記憶されている携帯機器用プログラム４７ａを実行することによって、対象のＭＦＰの現実空間での位置を機器位置データとして取得する機器位置取得手段４８ａ、対象のＭＦＰの機器情報を取得する機器情報取得手段４８ｂ、および、対象のＭＦＰの画像を機器画像データとして取得する機器画像取得手段４８ｃとして機能する。
【００４５】
また、制御部４８は、記憶部４７に記憶されている携帯機器用プログラム４７ａを実行することによって、機器情報取得手段４８ｂによって取得されたＭＦＰの機器情報に基づく付加情報を、撮像部４３による撮影画像に、機器位置取得手段４８ａによって取得されたこのＭＦＰの現実空間での位置と、位置検出部４４によって検出された携帯機器４０の現実空間での位置との関係に対応した撮影画像上のこのＭＦＰの位置である撮影画像上機器位置に対応付けて合成した合成画像を表示部４２に表示させる表示制御手段４８ｄとして機能する。
【００４６】
また、制御部４８は、記憶部４７に記憶されている携帯機器用プログラム４７ａを実行することによって、ＭＦＰの撮影画像上機器位置に、このＭＦＰが存在しているか否かを画像処理によって判断する撮影画像上機器存在判断手段４８ｅ、表示制御手段４８ｄによって表示部４２に表示させられた合成画像上のＭＦＰの機器情報に基づく付加情報に対する指示を受け付ける指示受付手段４８ｆ、および、指示受付手段４８ｆによって受け付けられた指示に応じたＭＦＰに対する命令を送信する命令送信手段４８ｇとして機能する。
【００４７】
次に、画像形成システム１０の動作について説明する。
【００４８】
まず、撮像部４３による撮影画像に対象のＭＦＰ２０の機器情報に基づく付加情報を合成した合成画像を表示部４２に表示させる場合の携帯機器４０の動作について説明する。
【００４９】
図５は、撮像部４３による撮影画像に対象のＭＦＰ２０の機器情報に基づく付加情報を合成した合成画像を表示部４２に表示させる場合の携帯機器４０の動作のフローチャートである。
【００５０】
図５に示すように、携帯機器４０の制御部４８の表示制御手段４８ｄは、撮像部４３による撮影画像を表示部４２に表示させる（Ｓ１０１）。
【００５１】
次いで、制御部４８の機器位置取得手段４８ａ、機器情報取得手段４８ｂおよび機器画像取得手段４８ｃは、位置検出部４４によって検出された携帯機器４０の現実空間での現在の位置と、方向検出部４５によって検出された携帯機器４０の現実空間での現在の方向とをネットワーク通信部４６を介して管理サーバー３０に送信することによって、撮像部４３による撮影の角度範囲と、携帯機器４０からの予め定められている距離の範囲とに含まれているＭＦＰの機器位置データ、機器情報および機器画像データをネットワーク通信部４６を介して管理サーバー３０から取得する（Ｓ１０２）。
【００５２】
次いで、制御部４８の撮影画像上機器存在判断手段４８ｅは、Ｓ１０２において取得されたＭＦＰの現実空間での位置と、位置検出部４４によって検出された携帯機器４０の現実空間での位置との関係に対応した撮影画像上機器位置に、このＭＦＰが存在しているか否かを画像処理によって判断する（Ｓ１０３）。すなわち、撮影画像上機器存在判断手段４８ｅは、撮影画像においてＭＦＰの撮影画像上機器位置に、このＭＦＰの画像が存在しているか否かを判断する。
【００５３】
制御部４８の表示制御手段４８ｄは、ＭＦＰが存在しているとＳ１０３において判断された場合、Ｓ１０２において取得されたこのＭＦＰの機器情報に基づく付加情報を、撮像部４３による撮影画像に、このＭＦＰの撮影画像上機器位置に対応付けて合成した合成画像を生成する（Ｓ１０４）。
【００５４】
そして、表示制御手段４８ｄは、Ｓ１０４において生成した合成画像を表示部４２に表示させて（Ｓ１０５）、図５に示す動作を終了する。
【００５５】
表示制御手段４８ｄは、ＭＦＰが存在していないとＳ１０３において判断された場合、撮像部４３による撮影画像から、このＭＦＰの撮影画像上機器位置の特定の範囲を切り取って削除する（Ｓ１０６）。
【００５６】
なお、表示制御手段４８ｄは、Ｓ１０６においてＭＦＰの撮影画像上機器位置の特定の範囲を撮影画像から削除する場合、Ｓ１０２において取得されたこのＭＦＰの現実空間での位置と、位置検出部４４によって検出された携帯機器４０の現実空間での位置との距離に応じて、この特定の範囲の大きさを決定する。
【００５７】
表示制御手段４８ｄは、Ｓ１０６の処理の後、Ｓ１０６においてＭＦＰの撮影画像上機器位置の特定の範囲が削除された撮影画像に、Ｓ１０２において取得されたこのＭＦＰの画像を、このＭＦＰの撮影画像上機器位置で合成した合成画像を生成する（Ｓ１０７）。
【００５８】
なお、表示制御手段４８ｄは、Ｓ１０７においてＭＦＰの画像を撮影画像に合成する場合、Ｓ１０２において取得されたこのＭＦＰの現実空間での位置と、位置検出部４４によって検出された携帯機器４０の現実空間での位置との距離に応じて、このＭＦＰの画像の大きさを決定する。
【００５９】
表示制御手段４８ｄは、Ｓ１０７の処理の後、Ｓ１０７において撮影画像に画像を合成したＭＦＰの機器情報であってＳ１０２において取得された機器情報に基づく付加情報を、撮影画像、すなわち、Ｓ１０７において生成した合成画像に、このＭＦＰの撮影画像上機器位置に対応付けて合成した合成画像を生成する（Ｓ１０４）。
【００６０】
そして、表示制御手段４８ｄは、Ｓ１０４において生成した合成画像を表示部４２に表示させて（Ｓ１０５）、図５に示す動作を終了する。
【００６１】
図６は、ＭＦＰ２０と、携帯機器４０との間に障害物がない場合にＭＦＰ２０および携帯機器４０を上方から観察した状態の一例を示す図である。
【００６２】
図６には、携帯機器４０の撮像部４３による撮影の角度範囲４３ａが示されている。また、図６には、人９１、人９２および壁９３が含まれている。
【００６３】
図７（ａ）は、図６に示す状態における携帯機器４０の撮像部４３による撮影画像の一例を示す図である。図７（ｂ）は、図６に示す状態においてＭＦＰ２０の機器情報に基づく付加情報が合成された合成画像の一例を示す図である。
【００６４】
図６に示す状態である場合、Ｓ１０１において表示部４２に表示される撮影画像は、図７（ａ）に示すようになる。そして、図６に示す状態である場合、ＭＦＰ２０と、携帯機器４０との間に障害物がないので、携帯機器４０の制御部４８は、撮影画像上機器位置にＭＦＰ２０が存在しているとＳ１０３において判断し、Ｓ１０２において取得したＭＦＰ２０の機器情報に基づく付加情報を、撮像部４３による撮影画像に、ＭＦＰ２０の撮影画像上機器位置に対応付けて合成した図７（ｂ）に示すような合成画像を表示部４２に表示する（Ｓ１０４およびＳ１０５）。
【００６５】
図７（ｂ）において、吹き出しで表されている付加情報５０は、ＭＦＰ２０の機器情報に基づく付加情報である。付加情報５０は、ＭＦＰ２０の現在の状態を示すメッセージ５１と、ＭＦＰ２０に対する指示を受け付けるための各種のボタン５２とを含んでいる。
【００６６】
図８は、ＭＦＰ２０と、携帯機器４０との間に障害物として壁９４がある場合にＭＦＰ２０および携帯機器４０を上方から観察した状態の一例を示す図である。
【００６７】
図８には、携帯機器４０の撮像部４３による撮影の角度範囲４３ａが示されている。また、図８には、人９１、人９２、壁９３および壁９４が含まれている。
【００６８】
図９（ａ）は、図８に示す状態における携帯機器４０の撮像部４３による撮影画像の一例を示す図である。図９（ｂ）は、図８に示す状態において特定の範囲が削除された撮影画像の一例を示す図である。図１０（ａ）は、図８に示す状態においてＭＦＰ２０の画像６２が合成された合成画像の一例を示す図である。図１０（ｂ）は、図８に示す状態において付加情報５０が合成された合成画像の一例を示す図である。
【００６９】
図８に示す状態である場合、Ｓ１０１において表示部４２に表示される撮影画像は、図９（ａ）に示すようになる。そして、図８に示す状態である場合、ＭＦＰ２０と、携帯機器４０との間に障害物としての壁９４があるので、携帯機器４０の制御部４８は、撮影画像上機器位置にＭＦＰ２０が存在していないとＳ１０３において判断し、図９（ｂ）に示すように、撮像部４３による撮影画像から、ＭＦＰ２０の撮影画像上機器位置の特定の範囲６１を切り取って削除する（Ｓ１０６）。次いで、携帯機器４０の制御部４８は、範囲６１が削除された撮影画像に、Ｓ１０２において取得されたＭＦＰ２０の画像６２を、ＭＦＰ２０の撮影画像上機器位置で合成した図１０（ａ）に示すような合成画像を生成する（Ｓ１０７）。なお、範囲６１のうち、ＭＦＰ２０の画像６２が合成された領域以外の領域６３は、図１０（ａ）に示す合成画像においてＭＦＰ２０の画像６２を囲んでこの画像６２と撮像部４３による撮影画像とを区別する領域であり、本発明の区別領域を構成している。最後に、携帯機器４０の制御部４８は、Ｓ１０２において取得したＭＦＰ２０の機器情報に基づく付加情報５０を、Ｓ１０７において生成した合成画像に、ＭＦＰ２０の撮影画像上機器位置に対応付けて合成した図１０（ｂ）に示すような合成画像を表示部４２に表示する（Ｓ１０４およびＳ１０５）。
【００７０】
次に、表示部４２に表示された合成画像に基づいてＭＦＰ２０を制御する場合の携帯機器４０の動作について説明する。
【００７１】
図１１は、表示部４２に表示された合成画像に基づいてＭＦＰ２０を制御する場合の携帯機器４０の動作のフローチャートである。
【００７２】
図１１に示すように、携帯機器４０の制御部４８の指示受付手段４８ｆは、Ｓ１０５において表示部４２に表示させられた合成画像上の付加情報５０に対する指示を操作部４１から受け付ける（Ｓ１３１）。例えば、指示受付手段４８ｆは、図７（ｂ）または図１０（ｂ）に示すボタン５２が押されることによって、指示を受け付ける。
【００７３】
次いで、制御部４８の命令送信手段４８ｇは、Ｓ１３１において受け付けられた指示に応じたＭＦＰに対する命令をネットワーク通信部４６を介して管理サーバー３０に送信して（Ｓ１３２）、図１１に示す動作を終了する。
【００７４】
なお、管理サーバー３０の制御部３５は、携帯機器４０からネットワーク通信部３３を介して受信した命令に基づいてＭＦＰを制御する。
【００７５】
以上に説明したように、携帯機器４０は、撮影画像上に対象のＭＦＰが存在していない場合に（Ｓ１０３でＮＯ）、このＭＦＰの機器情報に基づく付加情報５０と、このＭＦＰの画像６２との両方を撮影画像に合成し（Ｓ１０７およびＳ１０４）、撮影画像上に対象のＭＦＰが存在している場合に（Ｓ１０３でＹＥＳ）、このＭＦＰの機器情報に基づく付加情報５０と、このＭＦＰの画像６２とのうち、付加情報５０のみを撮影画像に合成する（Ｓ１０４）ので、ＭＦＰの機器情報に基づく付加情報５０の表示の直感性を向上することができる。
【００７６】
仮に、携帯機器４０は、例えば図８に示すようにＭＦＰ２０と、携帯機器４０との間に障害物である壁９４がある場合、すなわち、図９（ａ）に示すように撮影画像上にＭＦＰ２０が存在していない場合であっても、ＭＦＰ２０の機器情報に基づく付加情報５０と、ＭＦＰ２０の画像６２とのうち、付加情報５０のみを撮影画像に合成するようになっているとすると、図１２に示すように、撮影画像上の壁９４に、付加情報５０が合成された違和感がある画像を表示することになる。しかしながら、携帯機器４０は、撮影画像上にＭＦＰ２０が存在していない場合には、図１０（ｂ）に示すように、ＭＦＰ２０の機器情報に基づく付加情報５０と、ＭＦＰ２０の画像６２との両方を撮影画像に合成する（Ｓ１０７およびＳ１０４）ので、ＭＦＰ２０の機器情報に基づく付加情報５０の表示の直感性を向上することができる。
【００７７】
なお、本実施の形態おいては、壁が障害物となっている。しかしながら、壁以外にも、柱、椅子、机、棚、人など、様々なものが障害物となり得る。
【００７８】
携帯機器４０は、ＭＦＰの機器情報に基づく付加情報５０と、ＭＦＰの画像６２とを撮影画像に合成した合成画像を生成する（Ｓ１０７およびＳ１０４）場合に、図１０（ｂ）に示すように、ＭＦＰの画像６２と、撮影画像とを区別領域である領域６３によって区別するので、合成画像におけるＭＦＰの画像６２の視認性を向上することができる。したがって、携帯機器４０は、ＭＦＰの画像６２とともに表示されるＭＦＰの機器情報に基づく付加情報５０の表示の直感性を向上することができる。
【００７９】
なお、携帯機器４０は、本実施の形態において、撮影画像から範囲６１を切り取って削除した後でＭＦＰの画像６２を合成することによって領域６３を生成している。しかしながら、携帯機器４０は、本実施の形態において示した方法以外の方法によって、領域６３を生成するようになっていても良い。
【００８０】
また、携帯機器４０は、本実施の形態において、外形が円形である領域６３を生成している。しかしながら、携帯機器４０は、外形が円形以外の形状である領域６３を生成するようになっていても良い。例えば、携帯機器４０は、ＭＦＰの画像６２を縁取った形状である領域６３を生成するようになっていても良い。
【００８１】
また、携帯機器４０は、領域６３を設けずに、撮影画像にＭＦＰの画像６２を直接合成するようになっていても良い。
【００８２】
携帯機器４０は、ＭＦＰの機器情報に基づく付加情報５０と、ＭＦＰの画像６２とを撮影画像に合成した合成画像を生成する（Ｓ１０７およびＳ１０４）場合に、ＭＦＰの画像６２の大きさを現実空間におけるＭＦＰと携帯機器４０との距離に応じた大きさにする（Ｓ１０７）、すなわち、ＭＦＰの画像６２の縮尺を現実空間におけるＭＦＰと携帯機器４０との距離に応じて変更するので、ＭＦＰの画像６２とともに表示されるＭＦＰの機器情報に基づく付加情報５０の表示の直感性を向上することができる。
【００８３】
なお、携帯機器４０は、ＭＦＰの機器情報に基づく付加情報５０と、ＭＦＰの画像６２とを撮影画像に合成した合成画像を生成する場合に、ＭＦＰの画像６２の縮尺を変更するようになっていなくても良い。
【００８４】
携帯機器４０は、直感性が高く表示されたＭＦＰの機器情報に基づく付加情報５０に対する指示に基づいた命令をＭＦＰに送信する（Ｓ１３２）ことができるので、ＭＦＰの操作感の直感性を向上することができる。
【００８５】
なお、画像形成システム１０は、本実施の形態において管理サーバー３０を備えているが、ＭＦＰ自身が管理サーバー３０として機能しても良い。すなわち、携帯機器４０は、ＭＦＰの機器位置データ、機器情報および機器画像データを、このＭＦＰから直接受信するようになっていても良いし、ＭＦＰへの命令を、このＭＦＰに直接送信するようになっていても良い。
【００８６】
また、本発明の機器情報表示システムは、本実施の形態において本発明の電子機器としてＭＦＰを備えているが、プリンター専用機、コピー専用機、ＦＡＸ専用機など、ＭＦＰ以外の画像形成装置を本発明の電子機器として備えていても良いし、画像形成装置以外の電子機器を本発明の電子機器として備えていても良い。
【符号の説明】
【００８７】
１０  画像形成システム（機器情報表示システム）
２０  ＭＦＰ（電子機器）
２８ｂ  機器情報
３４ｂ  機器情報
４０  携帯機器
４２  表示部（表示デバイス）
４３  撮像部（撮像デバイス）
４７ａ  携帯機器用プログラム
４８ａ  機器位置取得手段
４８ｂ  機器情報取得手段
４８ｃ  機器画像取得手段
４８ｄ  表示制御手段
４８ｅ  撮影画像上機器存在判断手段
４８ｆ  指示受付手段
４８ｇ  命令送信手段
５０  付加情報
６２  画像（電子機器の画像）
６３  領域（区別領域）
【図１】
2014171190.tif 000003
【図２】
2014171190.tif 000004
【図３】
2014171190.tif 000005
【図４】
2014171190.tif 000006
【図５】
2014171190.tif 000007
【図６】
2014171190.tif 000008
【図７】
2014171190.tif 000009
【図８】
2014171190.tif 000010
【図９】
2014171190.tif 000011
【図１０】
2014171190.tif 000012
【図１１】
2014171190.tif 000013
【図１２】
2014171190.tif 000014