(57)【特許請求の範囲】
【請求項１】
自機の位置を特定する位置特定部と、
自機の姿勢を特定する姿勢特定部と、
前記位置特定部及び前記姿勢特定部により特定された位置及び姿勢に基づいて検出されたデータ処理装置であって、自機から所定の距離内に存在し、かつ、自機から見た特定の方向に存在するデータ処理装置が、他のデータ処理装置との組み合わせにより実行可能なデータ処理に伴うデータの流れを示すデータフロー情報を、前記特定された位置および姿勢を用いて、前記存在するデータ処理装置が前記データ処理の始点または終点となる態様で表示する表示部と、を有する携帯端末。
【請求項２】
前記特定の方向の画像を撮影する撮影部をさらに有し、
前記表示部は、前記撮影部による撮影画像に前記データフロー情報を重ね合わせて表示することを特徴とする請求項１に記載の携帯端末。
【請求項３】
前記表示部は、前記撮影部による撮影画像に前記データ処理装置が映っていないときに、前記撮影部による撮影画像に前記データ処理装置を表すアイコンを重ね合わせて表示することを特徴とする請求項２に記載の携帯端末。
【請求項４】
前記表示部は、前記データ処理に伴うデータの通信方式を示す通信方式情報を前記データフロー情報と関連付けて表示することを特徴とする請求項１〜３のいずれか１つに記載の携帯端末。
【請求項５】
前記表示部は、前記データ処理の操作指示を受け付けるための操作ボタンを前記データフロー情報と関連付けて表示することを特徴とする請求項１〜４のいずれか１つに記載の携帯端末。
【請求項６】
前記表示部は、前記操作ボタンにより前記操作指示を受け付けたときに、前記データ処理の操作ガイダンスを表示することを特徴とする請求項５に記載の携帯端末。
【請求項７】
前記表示部は、前記データ処理装置が自機から所定の距離内に存在しなくなるか、又は自機から見た特定の方向に存在しなくなったときに、前記データ処理装置を表すアイコンを前記データフロー情報と関連付けて表示することを特徴とする請求項１〜６のいずれか１つに記載の携帯端末。
【請求項８】
前記データフロー情報は、前記データ処理に伴うデータの流れを示す矢印からなるアノテーション画像であることを特徴とする請求項１〜７のいずれか１つに記載の携帯端末。
【請求項９】
携帯端末の制御プログラムであって、
自機の位置を特定する手順（Ａ）と、
自機の姿勢を特定する手順（Ｂ）と、
前記手順（Ａ）及び（Ｂ）で特定された位置及び姿勢に基づいて検出されたデータ処理装置であって、自機から所定の距離内に存在し、かつ、自機から見た特定の方向に存在するデータ処理装置が、他のデータ処理装置との組み合わせにより実行可能なデータ処理に伴うデータの流れを示すデータフロー情報を、前記特定された位置および姿勢を用いて、前記存在するデータ処理装置が前記データ処理の始点または終点となる態様で表示する手順（Ｃ）と、を携帯端末に実行させるための制御プログラム。
【請求項１０】
前記特定の方向の画像を撮影する手順（Ａ）をさらに前記携帯端末に実行させ、
前記手順（Ｃ）では、前記手順（Ａ）での撮影画像に前記データフロー情報を重ね合わせて表示することを特徴とする請求項９に記載の制御プログラム。
【請求項１１】
前記手順（Ｃ）では、前記手順（Ａ）での撮影画像に前記データ処理装置が映っていないときに、前記手順（Ａ）での撮影画像に前記データ処理装置を表すアイコンを重ね合わせて表示することを特徴とする請求項１０に記載の制御プログラム。
【請求項１２】
前記手順（Ｃ）では、前記データ処理に伴うデータの通信方式を示す通信方式情報を前記データフロー情報と関連付けて表示することを特徴とする請求項９〜１１のいずれか１つに記載の制御プログラム。
【請求項１３】
前記手順（Ｃ）では、前記データ処理の操作指示を受け付けるための操作ボタンを前記データフロー情報と関連付けて表示することを特徴とする請求項９〜１２のいずれか１つに記載の制御プログラム。
【請求項１４】
前記手順（Ｃ）では、前記操作ボタンにより前記操作指示を受け付けたときに、前記データ処理の操作ガイダンスを表示することを特徴とする請求項１３に記載の制御プログラム。
【請求項１５】
前記手順（Ｃ）では、前記データ処理装置が自機から所定の距離内に存在しなくなるか、又は自機から見た特定の方向に存在しなくなったときに、前記データ処理装置を表すアイコンを前記データフロー情報と関連付けて表示することを特徴とする請求項９〜１４のいずれか１つに記載の制御プログラム。
【請求項１６】
前記データフロー情報は、前記データ処理に伴うデータの流れを示す矢印からなるアノテーション画像であることを特徴とする請求項９〜１５のいずれか１つに記載の制御プログラム。
【請求項１７】
請求項９〜１６のいずれか１つに記載の制御プログラムが記録されたコンピューター読み取り可能な記録媒体。
【請求項１８】
相互に通信可能な携帯端末と、サーバーと、を含む表示システムであって、
前記携帯端末は、自機の位置を特定する位置特定部と、自機の姿勢を特定する姿勢特定部と、を有し、
前記サーバーは、前記位置特定部及び前記姿勢特定部により特定された位置及び姿勢に基づき、前記携帯端末から所定の距離内に存在し、かつ、前記携帯端末から見た特定の方向に存在するデータ処理装置を検出する検出部を有し、
前記携帯端末は、前記検出部により検出された前記データ処理装置が、他のデータ処理装置との組み合わせにより実行可能なデータ処理に伴うデータの流れを示すデータフロー情報を、前記特定された位置および姿勢を用いて、前記存在するデータ処理装置が前記データ処理の始点または終点となる態様で表示する表示部をさらに有することを特徴とする表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自機の位置及び姿勢を特定する機能を有する携帯端末、当該携帯端末の制御プログラム、及び当該携帯端末を含む表示システムに関する。
【背景技術】
【０００２】
近年のオフィス環境には、各人が使用するＰＣのみならず、全員で共用するプリンターやスキャナー等の多数のネットワーク機器が設置されているのが一般的である。このようなオフィス環境においてプリントやスキャン等を実行する際には、ＩＰアドレスやＩＰアドレスに紐付けられた機器ＩＤ等を用いてネットワーク機器を指定する必要があるが、ユーザーがＩＰアドレスや機器ＩＤ等から個々のネットワーク機器を特定することは困難である場合が多い。
【０００３】
例えば、スキャナーとプリンターの組み合わせによるスキャン＆プリントを実行する際に、ユーザーはＰＣ上で両機器のＩＰアドレス等を指定する必要があるが、そのＩＰアドレス等の情報のみからでは両機器の設置場所や位置関係等を把握することは困難である。そのため、原稿を読み取らせるスキャナーと印刷物を出力させるプリンターの設置場所等を逐一確認しなければならず、ユーザーの負担が大きくなるという問題が指摘されている。この問題はより多くのネットワーク機器が設置されたオフィス環境において顕著になる。
【０００４】
他方、スキャンやプリント等の各種機能を兼ね備えたＭＦＰ（Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）を用いてスキャン＆プリントを実行することも可能ではあるが、ＭＦＰの操作パネル上でログインパスワードを入力したり印刷プレビューを表示したりする際に横からのぞき見られる危険性があるため、セキュリティ上の問題が生じる虞がある。
【０００５】
上記問題点に関連して、以下の特許文献１には、モバイル端末の現在位置の近辺に存在する印刷用デバイスを検索し、見つかった印刷用デバイスのアイコンをモバイル端末の現在位置を中心とする地図画像上の適当な位置に配置したものをＷｅｂページとして公開するサーバー装置が提案されている。しかし、特許文献１のサーバー装置を用いたとしても、ユーザーは二次元の地図画像上でモバイル端末と印刷用デバイスとの位置関係を把握することができるにすぎず、印刷用デバイスがどの方向に配置されているのかを特定することは必ずしも容易ではない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２３４２１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記従来技術の有する問題点に鑑みてなされたものであり、本発明の目的は、ネットワーク上の複数の装置を用いてデータ処理を実行する際にユーザーが各装置の物理的な位置関係を容易に把握することができる携帯端末、当該携帯端末の制御プログラム、及び当該携帯端末を含む表示システムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の上記目的は、下記の手段によって達成される。
【０００９】
（１）自機の位置を特定する位置特定部と、自機の姿勢を特定する姿勢特定部と、前記位置特定部及び前記姿勢特定部により特定された位置及び姿勢に基づいて検出されたデータ処理装置であって、自機から所定の距離内に存在し、かつ、自機から見た特定の方向に存在するデータ処理装置が、他のデータ処理装置との組み合わせにより実行可能なデータ処理に伴うデータの流れを示すデータフロー情報を、前記特定された位置および姿勢を用いて、前記存在するデータ処理装置が前記データ処理の始点または終点となる態様で表示する表示部と、を有する携帯端末。
【００１０】
（２）前記特定の方向の画像を撮影する撮影部をさらに有し、前記表示部は、前記撮影部による撮影画像に前記データフロー情報を重ね合わせて表示することを特徴とする上記（１）に記載の携帯端末。
【００１１】
（３）前記表示部は、前記撮影部による撮影画像に前記データ処理装置が映っていないときに、前記撮影部による撮影画像に前記データ処理装置を表すアイコンを重ね合わせて表示することを特徴とする上記（２）に記載の携帯端末。
【００１２】
（４）前記表示部は、前記データ処理に伴うデータの通信方式を示す通信方式情報を前記データフロー情報と関連付けて表示することを特徴とする上記（１）〜（３）のいずれか１つに記載の携帯端末。
【００１３】
（５）前記表示部は、前記データ処理の操作指示を受け付けるための操作ボタンを前記データフロー情報と関連付けて表示することを特徴とする上記（１）〜（４）のいずれか１つに記載の携帯端末。
【００１４】
（６）前記表示部は、前記操作ボタンにより前記操作指示を受け付けたときに、前記データ処理の操作ガイダンスを表示することを特徴とする上記（５）に記載の携帯端末。
【００１５】
（７）前記表示部は、前記データ処理装置が自機から所定の距離内に存在しなくなるか、又は自機から見た特定の方向に存在しなくなったときに、前記データ処理装置を表すアイコンを前記データフロー情報と関連付けて表示することを特徴とする上記（１）〜（６）のいずれか１つに記載の携帯端末。
【００１６】
（８）前記データフロー情報は、前記データ処理に伴うデータの流れを示す矢印からなるアノテーション画像であることを特徴とする上記（１）〜（７）のいずれか１つに記載の携帯端末。
【００１７】
（９）携帯端末の制御プログラムであって、自機の位置を特定する手順（Ａ）と、自機の姿勢を特定する手順（Ｂ）と、前記手順（Ａ）及び（Ｂ）で特定された位置及び姿勢に基づいて検出されたデータ処理装置であって、自機から所定の距離内に存在し、かつ、自機から見た特定の方向に存在するデータ処理装置が、他のデータ処理装置との組み合わせにより実行可能なデータ処理に伴うデータの流れを示すデータフロー情報を、前記特定された位置および姿勢を用いて、前記存在するデータ処理装置が前記データ処理の始点または終点となる態様で表示する手順（Ｃ）と、を携帯端末に実行させるための制御プログラム。
【００１８】
（１０）前記特定の方向の画像を撮影する手順（Ａ）をさらに前記携帯端末に実行させ、前記手順（Ｃ）では、前記手順（Ａ）での撮影画像に前記データフロー情報を重ね合わせて表示することを特徴とする上記（９）に記載の制御プログラム。
【００１９】
（１１）前記手順（Ｃ）では、前記手順（Ａ）での撮影画像に前記データ処理装置が映っていないときに、前記手順（Ａ）での撮影画像に前記データ処理装置を表すアイコンを重ね合わせて表示することを特徴とする上記（１０）に記載の制御プログラム。
【００２０】
（１２）前記手順（Ｃ）では、前記データ処理に伴うデータの通信方式を示す通信方式情報を前記データフロー情報と関連付けて表示することを特徴とする上記（９）〜（１１）のいずれか１つに記載の制御プログラム。
【００２１】
（１３）前記手順（Ｃ）では、前記データ処理の操作指示を受け付けるための操作ボタンを前記データフロー情報と関連付けて表示することを特徴とする上記（９）〜（１２）のいずれか１つに記載の制御プログラム。
【００２２】
（１４）前記手順（Ｃ）では、前記操作ボタンにより前記操作指示を受け付けたときに、前記データ処理の操作ガイダンスを表示することを特徴とする上記（１３）に記載の制御プログラム。
【００２３】
（１５）前記手順（Ｃ）では、前記データ処理装置が自機から所定の距離内に存在しなくなるか、又は自機から見た特定の方向に存在しなくなったときに、前記データ処理装置を表すアイコンを前記データフロー情報と関連付けて表示することを特徴とする上記（９）〜（１４）のいずれか１つに記載の制御プログラム。
【００２４】
（１６）前記データフロー情報は、前記データ処理に伴うデータの流れを示す矢印からなるアノテーション画像であることを特徴とする上記（９）〜（１５）のいずれか１つに記載の制御プログラム。
【００２５】
（１７）上記（９）〜（１６）のいずれか１つに記載の制御プログラムが記録されたコンピューター読み取り可能な記録媒体。
【００２６】
（１８）相互に通信可能な携帯端末と、サーバーと、を含む表示システムであって、前記携帯端末は、自機の位置を特定する位置特定部と、自機の姿勢を特定する姿勢特定部と、を有し、前記サーバーは、前記位置特定部及び前記姿勢特定部により特定された位置及び姿勢に基づき、前記携帯端末から所定の距離内に存在し、かつ、前記携帯端末から見た特定の方向に存在するデータ処理装置を検出する検出部を有し、前記携帯端末は、前記検出部により検出された前記データ処理装置が、他のデータ処理装置との組み合わせにより実行可能なデータ処理に伴うデータの流れを示すデータフロー情報を、前記特定された位置および姿勢を用いて、前記存在するデータ処理装置が前記データ処理の始点または終点となる態様で表示する表示部をさらに有することを特徴とする表示システム。
【発明の効果】
【００２７】
本発明によると、携帯端末から所定距離内に存在し、かつ、携帯端末から見た特定方向に存在する装置により実行可能なデータ処理に伴うデータの流れを示す情報が携帯端末の表示部に表示される。よって、本発明によると、ネットワーク上の各装置の物理的な位置関係を容易に、かつ、直感的に把握することができるため、ネットワーク上の複数の装置を用いて各種データ処理を実行する際のユーザーの負担が大幅に軽減される。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態に係る携帯端末を含む表示システムの構成を示すブロック図である。
【図２】本発明の一実施形態に係る携帯端末を含む表示システムを一方向から眺めた斜視図である。
【図３】本発明の一実施形態に係るＡＲサーバーの構成を示すブロック図である。
【図４】本発明の一実施形態に係るＡＲサーバーの諸機能を概念的に示すブロック図である。
【図５】本発明の一実施形態に係る携帯端末の構成を示すブロック図である。
【図６】本発明の一実施形態に係る装置情報テーブルを示す概略図である。
【図７】本発明の一実施形態に係るデータ処理情報テーブルを示す概略図である。
【図８】本発明の一実施形態に係る携帯端末を含む表示システムにおける信号のやりとりを示すシーケンスチャートである。
【図９】本発明の一実施形態に係る携帯端末を含む表示システムにおける信号のやりとりを示すシーケンスチャートである。
【図１０】本発明の一実施形態に係る携帯端末を含む表示システムにおける信号のやりとりを示すシーケンスチャートである。
【図１１】本発明の一実施形態に係る携帯端末により表示されるＡＲ画像の一例を示す概略図である。
【図１２】本発明の一実施形態に係る携帯端末により表示されるＡＲ画像の一例を示す概略図である。
【図１３】本発明の一実施形態に係る携帯端末のＡＲ画像表示処理の手順を示すフローチャートである。
【図１４】本発明の一実施形態に係る携帯端末のＡＲ画像表示処理の手順を示すフローチャートである。
【図１５】本発明の一実施形態に係る携帯端末により表示されるＡＲ画像の一例を示す概略図である。
【図１６】本発明の一実施形態に係る携帯端末により表示されるＡＲ画像の一例を示す概略図である。
【発明を実施するための形態】
【００２９】
以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。
＜システムの構成＞
図１は、本発明の一実施形態に係る携帯端末を含む表示システムの一例を示すブロック図である。図１のように、本システムは、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）サーバー１、携帯端末２、及び各種データ処理を実行可能なデータ処理装置３〜６を備えており、これらはネットワークＮを介して相互に通信可能に接続されている。ただし、携帯端末２は無線ＬＡＮルーターや無線基地局等を介してネットワークＮに接続されている。また、携帯端末２は、ＢｌｕｅｔｏｏｔｈやＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）等の無線通信技術によりネットワークＮ上の他の装置と直接通信することもできる。ここで、ネットワークＮは、イーサネット（登録商標）、トークンリング、ＦＤＤＩ（Ｆｉｂｅｒ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｄａｔａ  Ｉｎｔｅｒｆａｃｅ）等の規格によるＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、又はＬＡＮどうしを専用線で接続したＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等である。
【００３０】
図２は、図１の例による表示システムを一方向から眺めたときの斜視図である。図２の例において、ＡＲサーバー１及びデータ処理装置６は、他の装置とは壁を隔てた別の居室内に配置されているため斜視図には描かれていない。図１、２の例において、データ処理装置３はスキャナーであり、データ処理装置４、５はプリンターであり、データ処理装置６はファイルサーバーである。ただし、本システムを構成する装置の種類や台数等は図１、２中の例に限定されない。各装置の詳細な構成について以下に順に説明する。
【００３１】
図３は、本実施形態に係るＡＲサーバー１の構成を示すブロック図である。図３のように、ＡＲサーバー１は、制御部１１、記憶部１２、及び通信インターフェース１３を備えており、これらは信号をやり取りするためのバス１０を介して接続されている。各部の詳細な構成について以下に順に説明する。
【００３２】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、プログラムに従って各部の動作を制御することによりＡＲサーバー１の諸機能を実現する。ＡＲサーバー１の諸機能については後述する。記憶部１２は、ＣＰＵの作業領域として一時的にデータを記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＡＲサーバー１の基本動作を制御するための各種プログラムやパラメーター等を格納するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及びＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）を含む各種プログラムやパラメーター等を格納するＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）を備えている。特に、記憶部１２には、後述する装置情報テーブル及びデータ処理情報テーブルが格納されている（図６、７参照）。通信インターフェース１３は、ネットワークＮ上の他の装置と双方向通信を行うためのインターフェースである。
【００３３】
図４は、制御部１１により実現される諸機能部を概念的に示すブロック図である。図４のように、制御部１１は、状態取得部１１ａ、ログイン認証部１１ｂ、装置検出部１１ｃ、及びデータ抽出部１１ｄの各機能部を備えている。これらの機能について以下に順に説明する。状態取得部１１ａは、ネットワークＮを介して各データ処理装置と定期的に通信することにより各データ処理装置の状態（ステータス）を取得する。ログイン認証部１１ｂは、携帯端末２からのログイン通知に応じてＡＲサーバー１へのログイン可否を判定する。
【００３４】
装置検出部１１ｃは、携帯端末２からの指令に応じて携帯端末２から所定距離内に存在するデータ処理装置を検出する。より具体的に、装置検出部１１ｃは、携帯端末２から受信した位置情報、及び記憶部１２に格納されている各データ処理の位置座標に基づいて、携帯端末２から各データ処理装置までの距離を算出する。装置検出部１１ｃにより検出されたデータ処理装置のことを以下では「近接装置」と称することがある。
【００３５】
データ抽出部１１ｄは、携帯端末２からの指令に応じて記憶部１２内の装置情報テーブルやデータ処理情報テーブル（図６、７参照）等の一部を抽出して携帯端末２に送信する。より具体的に、データ抽出部１１ｄは、装置検出部１１ｃにより検出した近接装置の一覧を作成して携帯端末２に送信したり、複数の近接装置の組み合わせにより実行可能なデータ処理の一覧を作成して携帯端末２に送信したりする。
【００３６】
図６は、記憶部１２に格納されている装置情報テーブルＴ１の概略図である。図６のように、装置情報テーブルＴ１は、ネットワークＮ上のデータ処理装置３〜６の各々に対応する「装置ＩＤ」、「装置名」、「装置種類」、「ＩＰアドレス」、及び「位置座標」を保持している。装置情報テーブルＴ１の各行のことを以下では「装置情報」と称することがある。
【００３７】
図７は、記憶部１２に格納されているデータ処理テーブルＴ２の概略図である。図７のように、データ処理テーブルＴ２は、ネットワークＮ上の複数のデータ処理装置の組み合わせにより実行可能なデータ処理の各々に対応する「処理ＩＤ」、「主装置ＩＤ」、「従装置ＩＤ」、「通信方式」、及び「処理内容」を保持している。ここで、「処理ＩＤ」とは、各々のデータ処理に付与されたＩＤであり、「主装置ＩＤ」とは、各々のデータ処理に伴うデータフローの入力側装置（すなわち、データ送信側装置）の装置ＩＤであり、「従装置ＩＤ」とは、各々のデータ処理に伴うデータフローの出力側装置（すなわち、データ受信側装置）の装置ＩＤであり、「通信方式」とは、主装置と従装置との間の通信方式（ＬＡＮ、ＢｌｕｅＴｏｏｔｈ、ＵＳＢ等）であり、「処理内容」とは、各々のデータ処理の内容（スキャン、コピー、プリント等）である。データ処理テーブルＴ２の各行のことを以下では「データ処理情報」と称することがある。
【００３８】
図５は、本実施形態に係る携帯端末２の構成を示すブロック図である。携帯端末２は、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、タブレット型ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ等である。図５のように、携帯端末２は、制御部２１、記憶部２２、表示部２３、入力部２４、撮影部２５、位置特定部２６、姿勢特定部２７、装置検出部２８、及び通信インターフェース２９を備えており、これらは信号をやり取りするためのバス２０を介して相互に通信可能に接続されている。各部の詳細な構成について以下に順に説明する。
【００３９】
制御部２１は、ＣＰＵであり、プログラムに従って各部の動作を制御するとともに種々の演算処理を実行する。記憶部２２は、ＣＰＵの作業領域として一時的にデータを記憶するＲＡＭ、携帯端末２の基本動作を制御するための各種プログラムやパラメーター等を格納するＲＯＭ、及びＯＳを含む各種プログラムやパラメーター等を格納するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）を備えている。特に、記憶部２２には、公知のＡＲ技術を用いて撮影部２５のリアルタイム画像に各種アノテーション画像を重ね合わせた合成画像を表示するためのアプリケーションが格納されている。このアプリケーションのことを以下ではＡＲアプリケーションと称する。図１１、１２は、本実施形態に係るＡＲアプリケーションにより表示された合成画像の一例を示す概略図である。ＡＲアプリケーションの詳細についてはさらに後述する。
【００４０】
表示部２３は、液晶ディスプレイや有機ＥＬディスプレイ等の表示装置である。入力部２４は、タッチパネル等のポインティングデバイス及びキーボード等の固定キーを備えた入力装置である。撮影部２５は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー等の撮像素子を備えたデジタルカメラである。携帯端末２は、撮影部２５により撮影したリアルタイム画像を表示部２３に表示することができる。また、携帯端末２は、表示中のリアルタイム画像をユーザーが指示したタイミングで静止画像に切り替えることもできる。また、撮影部２５は遠方の画像を撮影することができるようにズーム機能を備えていることが好ましい。
【００４１】
位置特定部２６は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ：全地球測位システム）を用いて携帯端末２の位置を特定する。ここでいう携帯端末２の「位置」とは、予め定めた三次元座標系における携帯端末２の位置座標のことを指す。姿勢特定部２７は、ジャイロスコープや加速度センサー等を用いて携帯端末２の姿勢を特定する。ここでいう携帯端末２の「姿勢」とは、予め定めた観測点から携帯端末２を見たときの方向のことを指す。なお、位置特定部２６及び姿勢特定部２７は、撮影部２５の撮影画像に含まれるＱＲ（Ｑｕｉｃｋ  Ｒｅｓｐｏｎｓｅ）コード等の二次元マーカーを解析することにより携帯端末２の位置及び姿勢を特定するものであってもよい。なお、位置特定部２６としてＧＰＳを用いる形態において、衛星からの電波を取得できない環境（例えば、窓がない室内等）で使用される可能性が大いにある。この場合、直近の時刻に得られた測位情報位置座標を、姿勢特定部２７を構成するジャイロスコープや加速度センサー等からその時刻以降に得られた情報に基づいて補正することにより、時期の位置を特定することができる。
【００４２】
また、位置特定部２６、姿勢特定部２７の構成は上記の例に限られるものではなく、例えば、室内の複数箇所にビーコンを設置する一方、これらビーコンからの電波或いは赤外線を受信する受信部を携帯端末２に設け、受信した情報から自機の位置や姿勢を特定することとしてもよい。この場合、位置特定部２６と姿勢特定部２７とは単一の受信部を共有することとなる。また、位置特定部２６による位置特定に要する手順及び姿勢特定部２７による姿勢特定に要する手順は、共通の単一手順で実現可能となる。
【００４３】
通信インターフェース２８は、無線ＬＡＮルーターや無線基地局等を介してネットワークＮ上の他の装置と双方向通信を行うためのインターフェースである。なお、携帯端末２は、ネットワークＮを介さずにＷｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術により他の装置と直接通信することもできる。
【００４４】
続いて、本実施形態に係るデータ処理装置３〜６について説明する。先ず、データ処理装置３は、スキャナーであり、原稿台にセットされた原稿画像に光を照射したときの反射光をＣＣＤイメージセンサー等の撮像素子により電気信号に変換し、その電気信号に基づき原稿画像のデジタルデータを生成してネットワークＮ上の他の装置に送信する。データ処理装置３のことを以下ではスキャナー３と称することがある。
【００４５】
また、データ処理装置４、５は、プリンターであり、ネットワークＮ上の他の装置から受信したデジタルデータに基づく出力画像を電子写真方式の印刷技術を用いて用紙に印刷する。データ処理装置４、５のことを以下ではプリンター４、５と称することがある。プリンター４、５が採用する印刷方式は電子写真方式に限定されず、インパクト方式や熱転写方式やインクジェット方式等の他の印刷方式であってもよい。データ処理装置６は、ファイルサーバーであり、ネットワークＮ上の他の機器から受信したデジタルデータをＨＤＤ等の記憶領域内に保存したり、記憶領域内のデジタルデータをネットワークＮ上の他の装置に送信したりする。データ処理装置６のことを以下ではファイルサーバー６と称することがある。
【００４６】
本実施形態に係る表示システムにおいては、スキャナー３（装置名：スキャナーＡ）を主装置とし、プリンター４、５（装置名：プリンターＡ、Ｂ）を従装置とする組み合わせにより、原稿画像の「コピー」を実行可能である。同様に、本システムにおいては、スキャナー３（装置名：スキャナーＡ）を主装置とし、ファイルサーバー６（装置名：サーバーＡ）を従装置とする組み合わせにより、原稿画像の「スキャン」を実行可能であり、ファイルサーバー６（装置名：サーバーＡ）を主装置とし、プリンター５（装置名：プリンターＢ）を従装置とする組み合わせによりデジタルデータの「プリント」を実行可能である（図７参照）。
＜システムの動作＞
次に、本実施形態に係る表示システムの動作の概要について説明する。図８〜１０は、スキャナー３（装置名：スキャナーＡ）を主装置とし、プリンター４（装置名：プリンターＡ）を従装置とする組み合わせにより原稿画像のコピーを実行する際の信号のやりとりを示すシーケンスチャートである。図８のように、ユーザーが携帯端末２に対してＡＲアプリケーション１の起動を指示すると、携帯端末２がＡＲアプリケーションを起動し、ＡＲサーバー１へのログイン画面を表示する。なお、図８〜９のように、ＡＲサーバー１はスキャナー３及びプリンター４の状態を一定間隔で定期的に取得している。
【００４７】
続いて、ユーザーがログイン画面にＩＤ及びパスワードを入力し、ログインボタンを押下すると、携帯端末２がＡＲサーバー１にログイン通知を行う。そして、ＡＲサーバー１がログイン認証を行い、ログイン認証結果を携帯端末２に通知する。ログインが許可された場合、携帯端末２がカメラ（撮影部２５）を起動し、リアルタイム画像の表示を開始する（図９に続く）。
【００４８】
図９のように、続いて、携帯端末２が自機の位置を特定し、その位置情報をＡＲサーバー１に送信すると、ＡＲサーバー１が受信した位置情報に基づいて携帯端末２の所定距離内に存在する近接装置を検出し、検出した近接装置の一覧を携帯端末２に送信する。その後、携帯端末２が、自機の位置を特定し、さらに、自機の姿勢を特定する。
【００４９】
続いて、携帯端末２が、リアルタイム画像における近接装置の表示位置を算出し、近接装置の状態をＡＲサーバー１から取得し、近接装置の状態を示す情報の表示態様を決定し、そして、公知のＡＲ技術を用いて近接装置の状態を示す情報をリアルタイム画像に重ね合わせて表示する。以下では近接装置の状態を示す情報ことを「状態情報」と称する。図１１は、リアルタイム画像に重ね合わせて表示された近接装置３〜６の状態情報Ａ１を示す概略図である。なお、本段落に示した手順は、ＡＲサーバー１から取得した一覧中の全ての近接装置について繰り返される。
【００５０】
続いて、携帯端末２が、公知のＡＲ技術を用いて、複数の近接装置の組み合わせにより実行可能なデータ処理に伴うデータフローを示す情報をリアルタイム画像に重ね合わせて表示する。以下では上記データ処理に伴うデータフローを示す情報のことを「データフロー情報」と称する。続いて、携帯端末２が、上記データ処理に伴うデータフローの通信方式を示す情報をリアルタイム画像中のデータフロー情報と関連付けて表示する。以下では上記データフローの通信方式を示す情報のことを「通信方式情報」と称する。続いて、携帯端末２が、上記のデータ処理に関する操作指示を受け付けるための操作ボタンをリアルタイム画像中のデータフロー情報と関連付けて表示する（図１０に続く）。なお、本段落に示した手順は、ＡＲサーバー１から取得した一覧中の近接装置の組み合わせにより実行可能な全てのデータ処理について繰り返される。
【００５１】
図１１は、リアルタイム画像に重ね合わせて表示されたデータフロー情報Ａ２、通信方式情報Ａ３、及び操作ボタンＢを示す概略図である。なお、図９における携帯端末２の処理の手順は、図１３〜１４のフローチャートに詳細に示されている。
【００５２】
図１０のように、続いて、ユーザーが携帯端末２に表示されている操作ボタンＢを押下すると、携帯端末２が押下された操作ボタンＢに対応するデータ処理の操作ガイダンスを示す情報をリアルタイム画像中の近接装置（主装置）と関連付けて表示する。以下では上記データの操作ガイダンスを示す情報のことを「操作ガイダンス情報」と称する。図１２は、リアルタイム画像に重ね合わせて表示された操作ガイダンス情報Ａ４の一例を示す概略図である。図１２の例による操作ガイダンス情報Ａ４は、スキャナー３を主装置としプリンター４を従装置とするデータ処理に伴うデータフロー情報Ａ２と関連付けて表示された操作ボタンＢが押下されたときに表示される。そして、ユーザーが操作ガイダンス情報Ａ４に含まれる「ＯＫ」ボタンを押下すると、携帯端末２がリアルタイム画像中の近接装置（従装置）を強調表示する。この時点において、携帯端末２からＡＲサーバー１に対し、スキャナーＡとしてのスキャナー３を主装置とし、プリンターＡとしてのプリンター４を従装置とするコピーであることを示す情報が通知される。そして、ＡＲサーバー１からスキャナー３に対し、プリンター４を出力先とするコピー機能を実現するモードへの移行が指令される。
【００５３】
続いて、ユーザーがスキャナー３に原稿をセットし、スタートボタンを押下すると、スキャナー３が原稿画像を読み取ってデジタルデータを生成し、そのデジタルデータをプリンター４に送信する。そして、プリンター４が受信したスキャンデータに基づく出力画像の印刷を行い、印刷終了後にＡＲサーバー１に印刷終了通知を行う。その後、携帯端末２がＡＲサーバー１からプリンター４の状態情報を取得し、スキャナー３及びプリンター４による原稿画像のコピーが終了したことを示すメッセージを表示する。続いて、ユーザーが携帯端末２にＡＲアプリケーションの終了を指示すると、携帯端末２がＡＲサーバー１にログアウト通知を行う。そして、ＡＲサーバー１がログアウト処理を終了すると、携帯端末２がＡＲアプリケーションを終了する。
【００５４】
続いて、図１３、１４は、本実施形態に係る携帯端末２において、撮影部２５のリアルタイム画像に各種アノテーション画像を重ね合わせた合成画像を表示する処理（ＡＲ画像表示処理）の手順を示すフローチャートである。図１３、１４のフローチャートにより示されるアルゴリズムは記憶部２２のＲＯＭ内に制御プログラムとして格納されており、ＲＡＭに読み出されてＣＰＵにより実行される。なお、ＡＲ画像表示処理に先立ち、携帯端末２によりＡＲアプリケーションが起動されており、表示部２３に撮影部２５のリアルタイム画像が表示されているものとする（図８参照）。
【００５５】
図１３のように、先ず、携帯端末２は、自機の位置を特定してＡＲサーバーに送信し（Ｓ１０１）、ＡＲサーバー１から自機の近接装置の一覧を取得する（Ｓ１０２）。そして、携帯端末２は、Ｓ１０２で取得した一覧に含まれる近隣装置の各々について以下のＳ１０４〜Ｓ１１１の処理を繰り返し、全ての近接装置についての処理を完了したら（Ｓ１０３のＹＥＳ）図１４のＳ１１２に進む
Ｓ１０４において、携帯端末２は、現在の処理対象であるｎ番目の近接装置（ｎ＝１、２、３、・・・）の装置情報（図６参照）をＡＲサーバー１から取得する。続いて、携帯端末２は、自機の姿勢を特定し（Ｓ１０５）、さらに、自機の位置を特定する（Ｓ１０６）。そして、携帯端末２は、Ｓ１０４で取得した装置情報に含まれるｎ番目の近接装置の位置座標、並びにＳ１０５及びＳ１０６で特定した自機の位置及び姿勢に基づいて、ｎ番目の近接装置のリアルタイム画像における位置座標を算出する（Ｓ１０７）。Ｓ１０７で算出された位置座標は、後述のＳ１１１で状態情報Ａ１をリアルタイム画像に重ね合わせて表示する際に用いられる。なお、携帯端末２は、Ｓ１０４でＡＲサーバー１から近接装置の位置座標を取得する代わりに、撮影部２４のリアルタイム画像に含まれるＱＲコードの形状、又は近接装置自体の形状や色等を解析することにより近接装置の位置座標を特定することもできる。
【００５６】
続いて、携帯端末２は、Ｓ１０７で算出した位置座標に基づいて、ｎ番目の装置が携帯端末２から見た特定の方向に存在するかどうかを判定する（Ｓ１０８）。より具体的に、Ｓ１０８では、Ｓ１０７で算出した位置座標に基づいて、ｎ番目の近接装置が撮影部２５の画角内に含まれているかどうかを判定する。そして、ｎ番目の装置が特定の方向に存在する場合（Ｓ１０８のＹＥＳ）、携帯端末２は、後述のＳ１０９〜ｓ１１１に進み、ｎ番目の近接装置の状態情報Ａ１をリアルタイム画像に重ね合わせて表示する。他方、ｎ番目の近接装置が特定の方向に存在しない場合（Ｓ１０８のＮＯ）、携帯端末２はＳ１０３に戻り、ｎ＋１番目の装置についての処理（Ｓ１０４〜Ｓ１１１）に移行する。
【００５７】
Ｓ１０９において、携帯端末２は、ＡＲサーバー１からｎ番目の近接装置の状態を取得する。そして、携帯端末２は、ｎ番目の近接装置までの距離やｎ番目の近接装置の状態等に応じて、リアルタイム画像に重ね合わせて表示すべき状態情報Ａ１の表示態様を決定する（Ｓ１１０）。ここでいう状態情報の「表示態様」とは、リアルタイム画像に重ね合わせて表示すべき状態情報Ａ１のサイズ、色、透明度、形状、アニメーション効果等のことを指す。携帯端末２は、自機から近接装置までの距離や近接装置の状態等に応じて状態情報の表示態様を変化させることができる。
【００５８】
その後、携帯端末２は、公知のＡＲ技術を用いて、ｎ番目の装置の状態情報Ａ１をリアルタイム画像に重ね合わせて表示する（Ｓ１１１）。この際、携帯端末２は、Ｓ１１０で決定した表示態様により状態情報Ａ１を表示する（図１４に続く）。図１１は、Ｓ１１１で表示された状態情報Ａ１の一例を示す概略図である。図１１の例による状態情報Ａ１は、近接装置の装置名（例：「スキャナーＡ」）及び状態（例：「待機中」）を示す吹き出しからなるアノテーション画像であり、リアルタイム画像中の近接装置と関連付けて表示されている。
【００５９】
なお、図１１の例において、ファイルサーバー６（装置名：サーバーＡ）は、携帯端末２の近接装置であり、かつ、撮影部２５の画角内に含まれているものの、携帯端末２から見て壁の反対側に配置されているためリアルタイム画像には含まれていない。そこで、携帯端末２は、ユーザーがファイルサーバー６の位置を直感的に理解することができるように、ファイルサーバー６を表すアイコンＩをリアルタイム画像に重ね合わせて表示し、そのアイコンＩにファイルサーバー６の状態情報Ａ１を関連付けて表示している。
【００６０】
さらに、携帯端末２の位置や姿勢等の変動により元々は画角内にあった近接装置が画角外に出てしまった場合も同様に、近接装置を表すアイコンをリアルタイム画像に重ね合わせて表示し、そのアイコンに近接装置の状態情報を関連付けて表示することが好ましい。その場合、近接装置が撮影部２５の画角外に出てしまったことをユーザーが直感的に理解することができるように、その近接装置を表すアイコンはリアルタイム画像の表示領域の外周付近に配置されることが好ましい。
【００６１】
図１４を参照すると、携帯端末２は、Ｓ１０２で取得した一覧中の近接装置の組み合わせにより実行可能なデータ処理の一覧をＡＲサーバー１から取得する（Ｓ１１２）。そして、携帯端末２は、Ｓ１１２で取得した一覧に含まれるデータ処理の各々について以下のＳ１１４〜Ｓ１２１の処理を繰り返す。
【００６２】
Ｓ１１４において、携帯端末２は、現在の処理対象であるｍ番目（ｍ＝１、２、３、・・・）のデータ処理に対応するデータ処理情報（図７参照）を取得する。続いて、携帯端末２は、自機の姿勢を特定し（Ｓ１１５）、さらに、自機の位置を特定する（Ｓ１１６）。そして、携帯端末２は、Ｓ１１４で取得したデータ処理情報に含まれる主装置ＩＤ及び従装置ＩＤに対応する装置情報（図６参照）をＡＲサーバー１から取得する（Ｓ１１７）。例えば、Ｓ１１４で図７のデータ処理情報テーブルＴ２中の処理ＩＤが「１」であるデータ処理情報が取得された場合、Ｓ１１７では主装置であるスキャナー３（装置名：スキャナーＡ）及び従装置であるプリンター４（装置名：プリンターＡ）の装置情報が取得される。
【００６３】
続いて、携帯端末２は、Ｓ１１７で取得した装置情報に含まれる主装置及び従装置の位置座標、並びにＳ１１４及びＳ１１５で特定した自機の位置及び姿勢に基づいて、ｍ番目のデータ処理の主装置及び従装置のリアルタイム画像における位置座標を算出する（Ｓ１１８）。Ｓ１１８で算出された位置座標は、Ｓ１１９でデータフロー情報をリアルタイム画像に重ね合わせて表示する際に用いられる。
【００６４】
続いて、携帯端末２は、公知のＡＲ技術を用いて、ｍ番目のデータ処理に伴うデータフロー情報Ａ２をリアルタイム画像に重ね合わせて表示する（Ｓ１１９）。図１１は、Ｓ１１９で表示されたデータフロー情報Ａ２の一例を示す概略図である。図１１の例におけるデータフロー情報Ａ２は、ｍ番目のデータ処理の主装置を始点とし、従装置を終点とする矢印形状からなるアノテーション画像であり、リアルタイム画像中の主装置及び従装置と関連付けて表示されている。
【００６５】
図１５は、データフロー情報Ａ２の他の例を示す概略図である。図１５の例によるデータフロー情報Ａ２は、ｍ番目のデータ処理の主装置と従装置との間に配置された雲状の立体からなるアノテーション画像である。ただし、本実施形態に係るデータフロー情報は図１１、１５の例に限定されず、主装置及び従装置に付した連続番号（例：主装置＝１、従装置＝２）を示す吹き出しや、主装置から従装置へのデータフローを示すアニメーション等であってもよい。また、リアルタイム画像中の主装置及び従装置を同一色で強調表示することをもってデータフロー情報とすることもできる。
【００６６】
なお、Ｓ１１９では、ＡＲサーバー１等に記録されている各データ処理の使用履歴（例：使用回数、使用時期等）に応じてデータフロー情報の表示サイズや表示色等を変化させることとしてもよい。また、過去の使用頻度が一定水準を超えているデータ処理に対応するデータフロー情報のみを表示することで表示内容を簡略化することもできる。
【００６７】
続いて、携帯端末２は、Ｓ１１４で取得したデータ処理情報に含まれる「通信方式」等を参照して、ｍ番目のデータ処理に伴うデータフローの通信方式情報Ａ３をデータフロー情報Ａ１と関連付けて表示する（Ｓ１２０）。図１１は、Ｓ１２０で表示された通信方式情報Ａ３の一例を示す概略図である。図１１の例における通信方式情報Ａ３は、ｍ番目のデータ処理に伴うデータフローの通信方式（Ｂｌｕｅｔｏｏｔｈ）を示す記号からなるアノテーション画像であり、矢印形状からなるデータフロー情報Ａ２の中点近傍に表示されている。
【００６８】
続いて、携帯端末２は、公知のＡＲ技術を用いて、ｍ番目のデータ処理を実行したり、当該データ処理の操作ガイダンスを表示したりするための操作指示を受け付けるための操作ボタンＢをリアルタイム画像に重ね合わせて表示する（Ｓ１２１）。図１１は、Ｓ１２１で表示された操作ボタンＢの一例を示す概略図である。図１１の例による操作ボタンＢは、矢印形状からなるデータフロー情報Ａ２に隣接するように配置されており、ユーザーはこの操作ボタンＢにタッチすることにより当該データ処理の操作ガイダンスＡ４を表示させることができる。
【００６９】
図１２は、リアルタイム画像上に表示されたデータ処理の操作ガイダンスＡ４の一例を示す概略図である。図１２の例において、操作ガイダンスＡ４はリアルタイム画像における当該データ処理（「Ｃｏｐｙ」）の主装置（「スキャナーＡ」）と関連付けて表示されている。なお、ユーザーが携帯端末２に操作指示を与える方法は操作ボタンにタッチすることに限定されず、リアルタイム画像中の主装置から従装置に向かって指をスライドしたり、携帯端末２に搭載されたマイクに向かって音声を入力したりすることにより操作指示を与えることとしてもよい。
【００７０】
その後、携帯端末２は、ｍ＋１番目のデータ処理についての処理（Ｓ１１４〜Ｓ１２１）に移行し、Ｓ１１２で取得した一覧中の全てのデータ処理についての処理を完了したら（Ｓ１１３のＹＥＳ）ＡＲ画像表示処理を終了する（エンド）。
【００７１】
以上のように、本実施形態に係る表示システムによると、携帯端末２から所定距離内に存在し、かつ、携帯端末２から見た特定方向に存在するデータ処理装置により実行可能なデータ処理に伴うデータの流れを示すデータフロー情報Ａ２が携帯端末２の表示部２３に表示されるよって、本実施形態に係る表示システムによると、ネットワークＮ上の各々のデータ処理装置の物理的な位置関係を容易に、かつ、直感的に把握することができるため、ネットワークＮ上の複数のデータ処理装置を用いて各種データ処理を実行する際のユーザーの負担が大幅に軽減されることになる。
【００７２】
本発明は、上記実施形態のみに限定されることなく、特許請求の範囲内において、種々改変されることができる。例えば、上記実施形態において、携帯端末は複数のデータ処理装置どうしの組み合わせにより実現可能なデータ処理に伴うデータフロー情報を表示しているが、携帯端末と各データ処理装置との組み合わせにより実行可能なデータ処理が存在する場合には当該データ処理に伴うデータフロー情報を表示することもできる。図１６は、携帯端末２とスキャナー３及びプリンター４との各組み合わせにより実行可能なデータ処理に伴うデータフロー情報Ａ２の一例を示す概略図である。
【００７３】
図１６の例では、携帯端末２とプリンター４の組み合わせにより画像データのプリントを実行可能であり、スキャナー３と携帯端末２の組み合わせにより原稿画像のスキャンを実行可能である。そのため、本例では、スキャン（「Ｓｃａｎ」）及びプリント（「Ｐｒｉｎｔ」）に対応するデータフロー情報Ａ２として、リアルタイム画像中のスキャナー３から表示領域の下辺に至る矢印形状、及び表示領域の下辺からリアルタイム画像中のプリンター４に至る矢印形状からなるアノテーション画像をそれぞれ表示している。ただし、図１６のようにリアルタイム画像の表示領域の下辺を始点又は終点とする矢印形状の代わりに、リアルタイム画像上の所定位置に携帯端末２に対応するアイコンを表示し、そのアイコンを始点又は終点とする矢印形状からなるアノテーション画像を表示することとしてもよい。
【００７４】
また、本発明に係る携帯端末は上記実施形態に示したスマートフォン等に限定されず、現実空間の景色にＡＲ画像を重ね合わせて表示するヘッドマウントディスプレイ等のゴーグル型の表示装置であってもよい。さらに、上記実施形態では２つのデータ処理装置により実現されるデータ処理に伴うデータフロー情報を表示することとしたが、本発明に係るデータフロー情報は３つ以上のデータ処理装置により実現されるデータ処理に伴うデータフローを示すものであってもよい。
【符号の説明】
【００７５】
１        ＡＲサーバー、
１１      制御部、
１１ａ    状態取得部、
１１ｂ    ログイン認証部、
１１ｃ    装置検出部、
１１ｄ    データ抽出部、
１２      記憶部、
１３      通信インターフェース、
２        携帯端末、
２１      制御部、
２２      記憶部、
２３      表示部、
２４      入力部、
２５      撮影部、
２６      位置特定部、
２７      姿勢特定部、
２８      通信インターフェース、
３        データ処理装置（スキャナー）、
４        データ処理装置（プリンター）、
５        データ処理装置（プリンター）、
６        データ処理装置（ファイルサーバー）、
Ａ１      状態情報、
Ａ２      データフロー情報、
Ａ３      通信方式情報、
Ａ４      操作ガイダンス情報、
Ｂ        操作ボタン、
Ｉ        アイコン、
Ｎ        ネットワーク、
Ｔ１      装置情報テーブル、
Ｔ２      データ処理テーブル。
【図１】
0005989347.tif 000002
【図３】
0005989347.tif 000003
【図４】
0005989347.tif 000004
【図５】
0005989347.tif 000005
【図６】
0005989347.tif 000006
【図７】
0005989347.tif 000007
【図８】
0005989347.tif 000008
【図９】
0005989347.tif 000009
【図１０】
0005989347.tif 000010
【図１３】
0005989347.tif 000011
【図１４】
0005989347.tif 000012
【図２】
0005989347.tif 000013
【図１１】
0005989347.tif 000014
【図１２】
0005989347.tif 000015
【図１５】
0005989347.tif 000016
【図１６】
0005989347.tif 000017