(57)【要約】【課題】入出力装置に行わせる操作の指定を、端末装置から直感的に行うことができる端末装置、操作指定方法、プログラム及び情報処理システムを提供することを課題とする。【解決手段】自装置の位置を特定する位置特定手段と、撮影を行う撮影手段と、撮影手段による撮影方向を特定する方向特定手段と、入出力装置の位置情報、自装置の位置及び撮影方向に基づき、撮影手段により撮影された画像に含まれる入出力装置を特定する特定手段と、表示手段が表示する該入出力装置に含まれる画像に対するユーザからの操作を受け付ける操作手段と、入出力装置が含まれる画像に対するユーザからの操作に基づき、入出力装置に行わせる操作の要求を入出力装置に対して行う要求処理手段と、を有することで課題を解決する。【選択図】  図１
2016066347.tif 000002
【特許請求の範囲】
【請求項１】
自装置の位置を特定する位置特定手段と、
撮影を行う撮影手段と、
前記撮影手段による撮影方向を特定する方向特定手段と、
入出力装置の位置情報、前記自装置の位置及び前記撮影方向に基づき、前記撮影手段により撮影された画像に含まれる前記入出力装置を特定する特定手段と、
表示手段が表示する前記入出力装置が含まれる画像に対するユーザからの操作を受け付ける操作手段と、
前記入出力装置が含まれる画像に対するユーザからの操作に基づき、前記入出力装置に行わせる操作の要求を前記入出力装置に対して行う要求処理手段と、
を有する端末装置。
【請求項２】
前記特定手段で前記入出力装置を特定された画像に補助線を合成して表示手段に表示させる画像合成手段を有し、
前記操作手段は、前記表示手段が表示する前記入出力装置が含まれる画像に合成された前記補助線に対するユーザからの操作を受け付け、
前記要求処理手段は、前記補助線に対するユーザからの操作に基づき、前記入出力装置に行わせる操作の要求を前記入出力装置に対して行う
ことを特徴とする請求項１記載の端末装置。
【請求項３】
前記画像合成手段は、前記入出力装置から自装置へのデータ送信を伴う前記入出力装置に行わせる操作の要求をユーザから受け付け可能である場合に、前記撮影手段により撮影された画像に映った前記入出力装置の画像から前記画像の外側への方向の片矢印線を入出力用の補助線として合成すること
を特徴とする請求項２記載の端末装置。
【請求項４】
前記画像合成手段は、前記自装置から入出力装置へのデータ送信を伴う前記入出力装置に行わせる操作の要求をユーザから受け付け可能である場合に、前記撮影手段により撮影された画像の外側から前記画像に映った前記入出力装置の画像への方向の片矢印線を入出力用の補助線として合成すること
を特徴とする請求項２又は３記載の端末装置。
【請求項５】
前記画像合成手段は、前記入出力装置から自装置へのデータ送信を伴う前記入出力装置に行わせる操作の要求及び前記自装置から入出力装置へのデータ送信を伴う前記入出力装置に行わせる操作の要求をユーザから受け付け可能である場合に、前記撮影手段により撮影された画像に映った前記入出力装置の画像と前記画像の外側との方向の両矢印線を入出力用の補助線として合成すること
を特徴とする請求項２乃至４何れか一項記載の端末装置。
【請求項６】
前記画像合成手段は、前記入出力装置から自装置へのデータ送信を伴う前記入出力装置に行わせる複数種類の操作の要求をユーザから受け付け可能である場合に、前記撮影手段により撮影された画像に映った前記入出力装置の画像から前記画像の外側への方向の片矢印線を前記複数種類分、前記入出力用の補助線として合成すること
を特徴とする請求項３又は５記載の端末装置。
【請求項７】
前記画像合成手段は、前記自装置から入出力装置へのデータ送信を伴う前記入出力装置に行わせる複数種類の操作の要求をユーザから受け付け可能である場合に、前記撮影手段により撮影された画像の外側から前記画像に映った前記入出力装置の画像への方向の片矢印線を前記複数種類分、前記入出力用の補助線として合成すること
を特徴とする請求項４又は５記載の端末装置。
【請求項８】
前記画像合成手段は、入出力用の補助線の前記入出力装置の画像と反対側に自装置の画像を合成して表示すること
を特徴とする請求項２乃至７何れか一項記載の端末装置。
【請求項９】
自装置の位置を特定する位置特定ステップと、
撮影を行う撮影ステップと、
前記撮影ステップにおける撮影方向を特定する方向特定ステップと、
入出力装置の位置情報、前記自装置の位置及び前記撮影方向に基づき、撮影手段により撮影された画像に含まれる前記入出力装置を特定する特定ステップと、
表示手段が表示する前記入出力装置が含まれる画像に対するユーザからの操作を受け付ける操作ステップと、
前記入出力装置が含まれる画像に対するユーザからの操作に基づき、前記入出力装置に行わせる操作の要求を前記入出力装置に対して行う要求処理ステップと、
を有する端末装置の操作指定方法。
【請求項１０】
コンピュータを、
自装置の位置を特定する位置特定手段、
撮影を行う撮影手段、
前記撮影手段による撮影方向を特定する方向特定手段、
入出力装置の位置情報、前記自装置の位置及び前記撮影方向に基づき、前記撮影手段により撮影された画像に含まれる前記入出力装置を特定する特定手段と、
表示手段が表示する前記入出力装置が含まれる画像に対するユーザからの操作を受け付ける操作手段と、
前記入出力装置が含まれる画像に対するユーザからの操作に基づき、前記入出力装置に行わせる操作の要求を前記入出力装置に対して行う要求処理手段、
として機能させるためのプログラム。
【請求項１１】
入出力装置に対して操作の要求を行う端末装置と、前記入出力装置の位置情報を管理する情報処理装置と、を有する情報処理システムであって、
前記端末装置の位置を特定する位置特定手段と、
撮影を行う撮影手段と、
前記撮影手段による撮影方向を特定する方向特定手段と、
入出力装置の位置情報、自装置の位置及び前記撮影方向に基づき、前記撮影手段により撮影された画像に含まれる前記入出力装置を特定する特定手段と、
表示手段が表示する前記入出力装置が含まれる画像に対するユーザからの操作を受け付ける操作手段と、
前記入出力装置が含まれる画像に対するユーザからの操作に基づき、前記入出力装置に行わせる操作の要求を前記入出力装置に対して行う要求処理手段と、
を有することを特徴とする情報処理システム。
【請求項１２】
入出力装置に対して操作の要求を行う端末装置で実行されるプログラムと、前記入出力装置の位置情報を管理する情報処理装置と、を有する情報処理システムであって、
前記端末装置の位置を特定する位置特定手段と、
撮影を行う撮影手段と、
前記撮影手段による撮影方向を特定する方向特定手段と、
入出力装置の位置情報、自装置の位置及び前記撮影方向に基づき、前記撮影手段により撮影された画像に含まれる前記入出力装置を特定する特定手段と、
表示手段が表示する前記入出力装置が含まれる画像に対するユーザからの操作を受け付ける操作手段と、
前記入出力装置が含まれる画像に対するユーザからの操作に基づき、前記入出力装置に行わせる操作の要求を前記入出力装置に対して行う要求処理手段と、
を有することを特徴とする情報処理システム。
【請求項１３】
入出力装置と、前記入出力装置に対して操作の要求を行う端末装置と、前記入出力装置の位置情報を管理する情報処理装置と、を有する情報処理システムであって、
前記端末装置の位置を特定する位置特定手段と、
撮影を行う撮影手段と、
前記撮影手段による撮影方向を特定する方向特定手段と、
入出力装置の位置情報、自装置の位置及び前記撮影方向に基づき、前記撮影手段により撮影された画像に含まれる前記入出力装置を特定する特定手段と、
表示手段が表示する前記入出力装置が含まれる画像に対するユーザからの操作を受け付ける操作手段と、
前記入出力装置が含まれる画像に対するユーザからの操作に基づき、前記操作の要求を前記入出力装置に対して行う要求処理手段と、
前記操作の要求に基づき、入出力の処理を行う入出力手段と、
を有することを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は端末装置、操作指定方法、プログラム及び情報処理システムに関する。
【背景技術】
【０００２】
従来、画像形成装置などの処理装置を直感的に操作する携帯端末があった。この携帯端末は自端末の特定の方向を撮像する撮像部と、撮像部が撮像した映像に所定の処理装置を遠隔操作するための操作画面を合成して表示部に表示させる制御部とを備えていた（例えば特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
例えばユーザは携帯電話、スマートフォン、タブレット端末などの様々な端末装置からＬＡＮ等のネットワークに接続されたプリンタ、複合機、プロジェクタ等の入出力装置を操作する場合がある。このような場合、ユーザは操作対象となる入出力装置及びその入出力装置に行わせる操作を端末装置から指定する必要があった。
【０００４】
しかしながら、従来の端末装置は入出力装置に行わせる操作の指定を直感的に行うことができず、間違いやすいという問題があった。なお、特許文献１の携帯端末は処理装置に行わせる操作の指定を直感的に行わせるものではない。
【０００５】
本発明の一実施形態は、入出力装置に行わせる操作の指定を、端末装置から直感的に行うことができる端末装置、操作指定方法、プログラム及び情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本願請求項１は、自装置の位置を特定する位置特定手段と、撮影を行う撮影手段と、前記撮影手段による撮影方向を特定する方向特定手段と、入出力装置の位置情報、前記自装置の位置及び前記撮影方向に基づき、前記撮影手段により撮影された画像に含まれる前記入出力装置を特定する特定手段と、前記表示手段が表示する前記入出力装置が含まれる画像に対するユーザからの操作を受け付ける操作手段と、前記入出力装置が含まれる画像に対するユーザからの操作に基づき、前記入出力装置に行わせる操作の要求を前記入出力装置に対して行う要求処理手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明の一実施形態によれば、入出力装置に行わせる操作の指定を、端末装置から直感的に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る入出力システムの一例の構成図である。
【図２】本実施形態に係るコンピュータの一例のハードウェア構成図である。
【図３】本実施形態に係る携帯端末の一例のハードウェア構成図である。
【図４】本実施形態に係る入出力装置の一例のハードウェア構成図である。
【図５】本実施形態に係る携帯端末の一例の処理ブロック図である。
【図６】ＭＦＰの一例の処理ブロック図である。
【図７】プロジェクタの一例の処理ブロック図である。
【図８】ＩＷＢの一例の処理ブロック図である。
【図９】本実施形態に係る情報処理装置の一例の処理ブロック図である。
【図１０】情報処理装置が管理する機器情報の一例の構成図である。
【図１１】本実施形態に係る入出力システムの処理を表した一例のシーケンス図である。
【図１２】機器情報の取得リクエストに対する処理の一例のフローチャートである。
【図１３】ユーザ操作に伴う携帯端末の一例の画面遷移図である。
【図１４】入出力用の補助線が矢印線である画面の一例のイメージ図である。
【図１５】入出力用の補助線が矢印線である画面の他の例のイメージ図である。
【図１６】入出力用の補助線が矢印線である画面の他の例のイメージ図である。
【図１７】カメラにより撮影された画像に矢印線を合成する処理の一例のフローチャートである。
【図１８】入出力用の補助線と携帯端末の画像とが表示された画面の一例のイメージ図である。
【図１９】入出力用の補助線が複数表示された画面の一例のイメージ図である。
【図２０】入出力用の補助線が複数表示された画面の他の例のイメージ図である。
【図２１】機器毎の機能情報を表した一例の構成図である。
【図２２】ユーザ操作に伴う携帯端末の一例の画面遷移図である。
【図２３】ユーザ操作に伴う携帯端末の他の例の画面遷移図である。
【図２４】ユーザ操作に伴う携帯端末の他の例の画面遷移図である。
【図２５】ユーザ操作に伴う携帯端末の他の例の画面遷移図である。
【図２６】複数台の入出力装置が映った画面の一例のイメージ図である。
【図２７】入出力装置が映った画面の一例のイメージ図である。
【図２８】入出力装置が映った画面の他の例のイメージ図である。
【図２９】本実施形態に係る通信システムの一例の構成図である。
【図３０】本実施形態に係る仲介機の一例のハードウェア構成図である。
【図３１】本実施形態の処理の一例を説明するシーケンス図である。
【発明を実施するための形態】
【０００９】
次に、本発明の実施の形態について、詳細に説明する。本実施形態の入出力システム１は情報処理システムの一例である。
［第１の実施形態］
＜システム構成＞
図１は本実施形態に係る入出力システムの一例の構成図である。図１の入出力システム１は、携帯端末１０と、１台以上の入出力装置１２と、情報処理装置１４と、を有する構成を一例として示している。入出力システム１は、携帯端末１０と、１台以上の入出力装置１２と、情報処理装置１４と、がＬＡＮ等のネットワークＮ１に接続されている。
【００１０】
携帯端末１０は、ユーザが操作するスマートフォン、タブレット端末、携帯電話、ＰＣなどの端末装置である。入出力装置１２は携帯端末１０から操作される電子機器の一例である。入出力装置１２はプロジェクタ、インタラクティブホワイトボード、ＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ：複合機）などの電子機器である。
【００１１】
情報処理装置１４は後述の入出力装置１２に関する機器情報を管理し、携帯端末１０に機器情報を提供する。情報処理装置１４は複数のコンピュータに分散して構成するようにしてもよい。
【００１２】
図１の入出力システム１において、ユーザは携帯端末１０から操作対象の入出力装置１２の指定と、その入出力装置１２に行わせる操作の指定とを行う。例えば入出力装置１２がＭＦＰである場合、ユーザは携帯端末１０から印刷データをＭＦＰに送信して印刷を行わせる操作の指定を携帯端末１０で行うことができる。また、ユーザはＭＦＰでスキャンした画像データを携帯端末１０に送信して保存させる操作の指定を携帯端末１０で行うことができる。
【００１３】
また、入出力装置１２がインタラクティブホワイトボード（以下、ＩＷＢと呼ぶ）である場合、ユーザは携帯端末１０から画像データやアプリケーションデータをＩＷＢに送信して表示を行わせる操作の指定を携帯端末１０で行うことができる。また、ユーザはＩＷＢにおいて手書きされた内容の画像データを携帯端末１０に送信して保存させる操作の指定を携帯端末１０で行うことができる。さらに、入出力装置１２がプロジェクタである場合、ユーザは携帯端末１０から画像データやアプリケーションデータをプロジェクタに送信して投影を行わせる操作の指定を携帯端末１０で行うことができる。
【００１４】
＜ハードウェア構成＞
《コンピュータ》
情報処理装置１４は例えば図２に示すようなハードウェア構成のコンピュータにより実現される。図２は本実施形態に係るコンピュータの一例のハードウェア構成図である。
【００１５】
図２のコンピュータ５００は入力装置５０１、表示装置５０２、外部Ｉ／Ｆ５０３、ＲＡＭ５０４、ＲＯＭ５０５、ＣＰＵ５０６、通信Ｉ／Ｆ５０７及びＨＤＤ５０８などを備え、それぞれがバスＢで相互に接続されている。なお、入力装置５０１及び表示装置５０２は必要なときに接続して利用する形態であってもよい。
【００１６】
入力装置５０１はキーボードやマウス、タッチパネルなどを含み、ユーザが各操作信号を入力するのに用いられる。表示装置５０２はディスプレイ等を含み、コンピュータ５００による処理結果を表示する。
【００１７】
通信Ｉ／Ｆ５０７はコンピュータ５００を各種ネットワークに接続するインタフェースである。これにより、コンピュータ５００は通信Ｉ／Ｆ５０７を介してデータ通信を行うことができる。
【００１８】
また、ＨＤＤ５０８は、プログラムやデータを格納している不揮発性の記憶装置の一例である。格納されるプログラムやデータには、コンピュータ５００全体を制御する基本ソフトウェアであるＯＳ、及びＯＳ上において各種機能を提供するアプリケーションソフトウェア（以下、単にアプリケーションと呼ぶ）などがある。なお、コンピュータ５００はＨＤＤ５０８に替え、記憶媒体としてフラッシュメモリを用いるドライブ装置（例えばソリッドステートドライブ：ＳＳＤ）を利用するものであってもよい。
【００１９】
外部Ｉ／Ｆ５０３は、外部装置とのインタフェースである。外部装置には、記録媒体５０３ａなどがある。これにより、コンピュータ５００は外部Ｉ／Ｆ５０３を介して記録媒体５０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体５０３ａにはフレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、ＵＳＢメモリなどがある。
【００２０】
ＲＯＭ５０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ５０５にはコンピュータ５００の起動時に実行されるＢＩＯＳ、ＯＳ設定、及びネットワーク設定などのプログラムやデータが格納されている。ＲＡＭ５０４はプログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）の一例である。
【００２１】
ＣＰＵ５０６は、ＲＯＭ５０５やＨＤＤ５０８などの記憶装置からプログラムやデータをＲＡＭ５０４上に読み出し、処理を実行することで、コンピュータ５００全体の制御や機能を実現する演算装置である。
【００２２】
情報処理装置１４は例えば図２に示すコンピュータ５００のハードウェア構成により後述するような各種処理を実現できる。
【００２３】
《端末装置》
携帯端末１０は例えば図３に示すハードウェア構成の端末装置により実現される。図３は本実施形態に係る携帯端末の一例のハードウェア構成図である。図３の端末装置６００は例えばＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３、ＥＥＰＲＯＭ６０４、ＣＭＯＳセンサ６０５、加速度・方位センサ６０６、位置センサ６０７、メディアドライブ６０８を備えている。
【００２４】
ＣＰＵ６０１は端末装置６００全体の動作を制御する。ＲＯＭ６０２は基本入出力プログラムなどを記憶している。ＲＡＭ６０３はＣＰＵ６０１のワークエリアとして使用される。ＥＥＰＲＯＭ６０４はＣＰＵ６０１の制御にしたがってデータの読み出し又は書き込みを行う。ＣＭＯＳセンサ６０５は、ＣＰＵ６０１の制御に従って被写体を撮像し画像データを得る。加速度・方位センサ６０６は地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等である。位置センサ６０７は例えば地球上の位置を割り出すＧＰＳ（全地球測位システム）機能等である。
【００２５】
メディアドライブ６０８は、フラッシュメモリ等の記録メディア６２０に対するデータの読み出し又は書き込み（記憶）を制御する。メディアドライブ６０８は、既に記録されていたデータが読み出され又は新たにデータが書き込まれて記憶する記録メディア６２０を着脱自在な構成となっている。
【００２６】
なお、ＥＥＰＲＯＭ６０４には、ＣＰＵ６０１が実行するＯＳ、ネットワーク設定に必要なアソシエーション情報等が記憶されている。本発明の実施形態における各種処理を実行するためのアプリケーションは、ＥＥＰＲＯＭ６０４又は記録メディア６２０などに記憶されている。
【００２７】
また、ＣＭＯＳセンサ６０５は光を電荷に変換して被写体の画像を電子化する電荷結合素子である。ＣＭＯＳセンサ６０５は被写体を撮像することができるのであれば、例えばＣＣＤ（Charge  Coupled  Device）センサであってもよい。
【００２８】
さらに、端末装置６００は音声入力部６０９、音声出力部６１０、アンテナ６１１、通信部６１２、無線ＬＡＮ通信部６１３、近距離無線通信用アンテナ６１４、近距離無線通信部６１５、ディスプレイ６１６、タッチパネル６１７及びバスライン６１９を備える。
【００２９】
音声入力部６０９は音声を音声信号に変換する。音声出力部６１０は音声信号を音声に変換する。通信部６１２はアンテナ６１１を利用して無線通信信号により最寄りの基地局装置と通信を行う。無線ＬＡＮ通信部６１３はアクセスポイントとＩＥＥＥ８０４１１規格に準拠する無線ＬＡＮ通信を行う。近距離無線通信部６１５は近距離無線通信用アンテナ６１４を利用した近距離無線通信を行う。
【００３０】
ディスプレイ６１６は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ等である。タッチパネル６１７は、ディスプレイ６１６上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ６１６上におけるタッチ位置を検出する。バスライン６１９は上記各部を電気的に接続するためのアドレスバスやデータバス等である。
【００３１】
また、端末装置６００は専用の電池６１８を備えている。端末装置６００は電池６１８によって駆動される。なお、音声入力部６０９は音声を入力するマイクが含まれる。音声出力部６１０は音声を出力するスピーカが含まれている。
【００３２】
携帯端末１０は例えば図３に示す端末装置６００のハードウェア構成により後述するような各種処理を実現できる。
【００３３】
《入出力装置》
入出力装置１２は例えば図４に示すハードウェア構成により実現される。図４は本実施形態に係る入出力装置の一例のハードウェア構成図である。図４の入出力装置１２は例えばＣＰＵ７０１、ＲＡＭ７０２、ＲＯＭ７０３、通信部７０４、操作キー７０５、入力部７０６、出力部７０７及びバスライン７１０を備える。
【００３４】
ＣＰＵ７０１は、入出力装置１２全体の動作を制御する。ＲＡＭ７０２は、ＣＰＵ７０１のワークエリアとして使用される。ＲＯＭ７０３は、基本入出力プログラムを記憶している。
【００３５】
通信部７０４はネットワークＮ１を介して有線又は無線によるデータ通信を行う。操作キー７０５は入出力装置１２に設けられているハードキーやソフトキー等である。入力部７０６は入力リクエストにより入力対象のファイルを取得（入力）する。例えば入力部７０６は読み取り（スキャン）リクエストにより原稿をスキャンして、原稿の画像データを取得する。
【００３６】
また、出力部７０７は出力リクエストを受信した出力対象のファイルを出力する。例えば出力部７０７は印刷、投影、表示などの出力リクエストにより、出力対象のファイルを印刷、投影、表示する。
【００３７】
＜ソフトウェア構成＞
《携帯端末》
本実施形態に係る携帯端末１０は例えば図５に示す処理ブロックで実現される。図５は本実施形態に係る携帯端末の一例の処理ブロック図である。携帯端末１０はプログラムを搭載して実行することで、通信部２１、表示部２２、操作部２３、位置特定部２４、方向特定部２５、撮影部２６、画像合成部２７、記憶部２８、リクエスト処理部２９を実現している。
【００３８】
通信部２１は、ネットワークＮ１を介して入出力装置１２、情報処理装置１４と通信を行う。表示部２２はＵＩ（ユーザインタフェース）を表示し、ユーザに対してＵＩを提供する。操作部２３はユーザの操作を受け付ける。位置特定部２４は携帯端末１０や入出力装置１２の位置を特定する。方向特定部２５は撮影部２６により撮影している方向を特定する。
【００３９】
撮影部２６はカメラ（ＣＭＯＳセンサ６０５）が向けられた方向を撮影する。画像合成部２７は撮影部２６が撮影した画像に、後述の情報を合成する。記憶部２８は通信結果などを記憶する。リクエスト処理部２９は入出力装置１２、情報処理装置１４にリクエストを送信したり、リクエストの結果を受信したりする。
【００４０】
《入出力装置》
ここでは本実施形態に係る入出力装置１２の一例であるＭＦＰ１２ｍ、プロジェクタ１２ｐ、ＩＷＢ１２ｉの処理ブロックについて説明する。
【００４１】
ＭＦＰ１２ｍは、例えば図６に示すような処理ブロックで実現される。図６はＭＦＰの一例の処理ブロック図である。ＭＦＰ１２ｍはプログラムを実行することにより、通信部４１、印刷部４２、スキャン部４３、リクエスト処理部４４を実現している。
【００４２】
通信部４１は、ネットワークＮ１を介して携帯端末１０と通信を行う。印刷部４２は印刷データを用紙などの印刷媒体に印刷する。スキャン部４３は原稿から画像データを読み取る（スキャンする）。また、リクエスト処理部４４は携帯端末１０からリクエストを受信したり、リクエストの結果を送信したりする。
【００４３】
プロジェクタ１２ｐは、例えば図７に示すような処理ブロックで実現される。図７はプロジェクタの一例の処理ブロック図である。プロジェクタ１２ｐはプログラムを実行することにより、通信部５１、投影部５２、リクエスト処理部５３を実現している。
【００４４】
通信部５１は、ネットワークＮ１を介して携帯端末１０と通信を行う。投影部５２は画像データやアプリケーションデータを投影する。また、リクエスト処理部５３は携帯端末１０からリクエストを受信したり、リクエストの結果を送信したりする。
【００４５】
ＩＷＢ１２ｉは、例えば図８に示すような処理ブロックで実現される。図８はＩＷＢの一例の処理ブロック図である。ＩＷＢ１２ｉはプログラムを実行することにより、通信部６１、入力部６２、表示部６３、画像合成部６４、リクエスト処理部６５を実現する。
【００４６】
通信部６１は、ネットワークＮ１を介して携帯端末１０と通信を行う。入力部６２は例えばタッチペンなどによる入力を受け付ける。表示部６３は、例えば画像データやアプリケーションデータを表示する。また、リクエスト処理部６５は携帯端末１０からリクエストを受信したり、リクエストの結果を送信したりする。
【００４７】
《情報処理装置》
本実施形態に係る情報処理装置１４は例えば図９に示す処理ブロックで実現される。図９は本実施形態に係る情報処理装置の一例の処理ブロック図である。情報処理装置１４はプログラムを実行することにより、通信部８１、機器情報管理部８２、機器情報検索部８３、リクエスト処理部８４を実現している。
【００４８】
通信部８１は、ネットワークＮ１を介して携帯端末１０と通信を行う。機器情報管理部８２は、後述の機器情報を管理する。機器情報検索部８３は機器情報管理部８２が管理する後述の機器情報から条件に合致する機器情報を検索する。また、リクエスト処理部８４は携帯端末１０からリクエストを受信したり、リクエストの結果を送信したりする。
【００４９】
図１０は情報処理装置が管理する機器情報の一例の構成図である。図１０の機器情報は機器名、緯度、経度、標高、ＩＰアドレス、入力機能、出力機能をデータ項目として有している。機器名は入出力装置１２を識別する識別情報の一例であり、例えば入出力装置１２の名称である。緯度、経度、標高は位置情報の一例であり、入出力装置１２が設置されている位置の位置情報である。ＩＰアドレスは入出力装置１２にネットワークＮ１を介して接続するための接続情報の一例である。
【００５０】
入力機能は入出力装置１２に入力機能があるか無いかを示す情報であり、例えば入力機能がある場合に「Ｙｅｓ」が設定され、入力機能が無い場合に「Ｎｏ」が設定される情報である。出力機能は入出力装置１２に出力機能があるか無いかを示す情報であり、出力機能がある場合に「Ｙｅｓ」が設定され、出力機能が無い場合に「Ｎｏ」が設定される情報である。
【００５１】
携帯端末１０は情報処理装置１４に機器情報をリクエストし、リクエストの結果として図１０に示すような機器情報を取得できる。
【００５２】
＜処理の詳細＞
以下では、本実施形態に係る入出力システム１の処理の詳細について説明する。
【００５３】
図１の入出力システム１において、携帯端末１０は例えば図１１に示すように入出力装置１２に行わせる操作の指定を行う。図１１は本実施形態に係る入出力システムの処理を表した一例のシーケンス図である。
【００５４】
ステップＳ１１において、管理者は図１０に示したような機器情報を情報処理装置１４に登録する。情報処理装置１４の機器情報管理部８２は管理者に登録された機器情報を管理する。
【００５５】
ステップＳ１２において、ユーザは入出力装置１２に行わせる操作の指定を携帯端末１０から行う入出力操作を開始する。ユーザが入出力操作を開始すると、携帯端末１０の位置特定部２４はステップＳ１３において携帯端末１０の位置（自己位置）を特定する。
【００５６】
ステップＳ１４において、携帯端末１０のリクエスト処理部２９は機器情報の取得リクエストを情報処理装置１４に送信する。ステップＳ１５において、携帯端末１０のリクエスト処理部２９は情報処理装置１４から図１０に示したような機器情報を取得する。
【００５７】
ステップＳ１６において、ユーザは携帯端末１０のカメラを操作する。ユーザによるカメラの操作を受け付けると、携帯端末１０の撮影部２６はカメラが向けられた方向を撮影する。また、ステップＳ１７において、携帯端末１０の方向特定部２５はカメラが向けられた方向を特定する。
【００５８】
ステップＳ１８において、携帯端末１０の画像合成部２７は特定した自己位置、カメラが向けられた方向、取得した機器情報から、カメラにより撮影された画像に入出力装置１２が映っているか判定する。
【００５９】
カメラにより撮影された画像に入出力装置１２が映っていると判定すれば、画像合成部２７はステップＳ１９において、カメラにより撮影された画像に後述の情報（入出力用の補助線）を合成した入出力装置１２の特定結果を表示部２２に表示させる。なお、カメラにより撮影された画像に合成する情報（入出力用の補助線）の詳細は後述する。
【００６０】
ステップＳ２０において、ユーザはカメラにより撮影された画像に合成した情報（入出力用の補助線）に対して後述のようにフリックなどの操作を行うことで、入出力装置１２に行わせる操作を指定できる。
【００６１】
ステップＳ２１において携帯端末１０のリクエスト処理部２９はユーザにより指定された入出力装置１２に行わせる操作（データ入出力）のリクエストを入出力装置１２に送信する。入出力装置１２は携帯端末１０から受信したリクエストの処理（印刷、投影、表示やスキャンなどのデータ入出力）を行う。ステップＳ２２において、携帯端末１０のリクエスト処理部２９はステップＳ２１のリクエストの結果を受信する。
【００６２】
ステップＳ１４の機器情報の取得リクエストを携帯端末１０から受信した情報処理装置１４は例えば図１２に示すように機器情報を携帯端末１０へ送信する。図１２は機器情報の取得リクエストに対する処理の一例のフローチャートである。
【００６３】
ステップＳ３１において、情報処理装置１４のリクエスト処理部８４は機器情報の取得リクエストに含まれる携帯端末１０の自己位置を受信する。情報処理装置１４の機器情報検索部８３はステップＳ３２において、機器情報管理部８２が管理する機器情報の位置情報と、携帯端末１０の自己位置とに基づき、携帯端末１０の周辺（所定距離内）の入出力装置１２の機器情報を検索する。ステップＳ３３において、情報処理装置１４のリクエスト処理部８４は機器情報の取得リクエストの結果として、携帯端末１０の周辺にある入出力装置１２の機器情報を携帯端末１０に送信する。
【００６４】
このように、図１２の機器情報の取得リクエストに対する処理によれば、携帯端末１０の周辺にある入出力装置１２の機器情報に絞り込んで携帯端末１０に送信するため、通信時間の短縮や携帯端末１０における処理負担の軽減が図れる。
【００６５】
さらに、図１２の機器情報の取得リクエストに対する処理はステップＳ３２で携帯端末１０の周辺の入出力装置１２の機器情報を検索したあと、検索した入出力装置１２から更に接続可能な入出力装置１２に絞り込んでもよい。接続可能な入出力装置１２の絞り込みは例えば機器情報に含まれるＩＰアドレスを指定したピング（ｐｉｎｇ）等を利用して行うことができる。
【００６６】
図１１のシーケンス図における処理において、入出力装置１２の方向にカメラが向けられた携帯端末１０の画面遷移は例えば図１３のようになる。図１３はユーザ操作に伴う携帯端末の一例の画面遷移図である。
【００６７】
図１１のステップＳ１６において入出力装置１２の方向にカメラが向けられた携帯端末１０は例えば図１３の画面１００１を表示する。画面１００１には入出力装置１２の一例としてＩＷＢ１２ｉの画像１００５が表示されている。
【００６８】
図１１のステップＳ１７〜Ｓ１９の処理により、携帯端末１０はカメラにより撮影された画像にＩＷＢ１２ｉが映っているため、カメラにより撮影された画像を表示する画面１００１に線１００６を合成した画面１００２を表示する。線１００６は入出力用の補助線の一例である。
【００６９】
例えばユーザは図１３の画面１００３に示すように、線１００６に沿って下方からＩＷＢ１２ｉの画像１００５の方向へフリック操作を行うことで、携帯端末１０からＩＷＢ１２ｉへ画像データ等を送信して表示を行わせる操作の指定を行うことができる。
【００７０】
また、ユーザは図１３の画面１００３に示すように、線１００６に沿ってＩＷＢ１２ｉの画像１００５から下方の方向へフリック操作を行うことで、ＩＷＢ１２ｉから携帯端末１０へ画像データ等を送信させる操作の指定を行うことができる。
【００７１】
図１３に示すように、本実施形態に係る携帯端末１０はカメラで撮影した画像に映るＩＷＢ１２ｉの画像１００５から画面の外側（図１３では下方）に線１００６を入出力用の補助線として合成する。
【００７２】
そして、本実施形態に係る携帯端末１０は線１００６を画面の外側からＩＷＢ１２ｉの画像１００５の方向へなぞる操作をユーザから受け付けると、携帯端末１０からＩＷＢ１２ｉへ画像データ等を送信してＩＷＢ１２ｉに表示を行わせる。
【００７３】
また、本実施形態に係る携帯端末１０は線１００６をＩＷＢ１２ｉの画像１００５から画面の外側の方向へなぞる操作をユーザから受け付けると、ＩＷＢ１２ｉが表示している画像データ等の携帯端末１０への送信をＩＷＢ１２ｉに行わせる。
【００７４】
このように、本実施形態の入出力システム１によれば、携帯端末１０のＵＩに表示されたＩＷＢ１２ｉの画像１００５から画面の外側の方向へなぞる操作など、直感的な操作により、入出力装置１２に行わせる操作の指定を、簡単に行うことができる。
［第２の実施形態］
第１の実施形態の入出力システム１はカメラにより撮影された画像に入出力用の補助線として線１００６を合成している。第２の実施形態の入出力システム１は線１００６に替えて矢印線を入出力用の補助線として合成するものである。なお、第２の実施形態の入出力システム１は一部を除いて第１の実施形態の入出力システム１と同様であるため、適宜説明を省略する。
【００７５】
図１４は入出力用の補助線が矢印線である画面の一例のイメージ図である。図１４はカメラにより撮影された画像を表示する画面１０１０に矢印線１０１１が入出力用の補助線として合成されている。
【００７６】
図１４の矢印線１０１１は両矢印線であり、矢印線１０１１に沿って下方からＩＷＢ１２ｉの画像１００５の方向へのフリック操作と、ＩＷＢ１２ｉの画像１００５から下方の方向へのフリック操作と、が可能であることを示している。
【００７７】
図１５は入出力用の補助線が矢印線である画面の他の例のイメージ図である。図１５はカメラにより撮影された画像を表示する画面１０２０に矢印線１０２２が入出力用の補助線として合成されている。図１５の矢印線１０２２は片矢印線であり、矢印線１０２２に沿って下方からプロジェクタ１２ｐの画像１０２１の方向へのフリック操作が可能であることを示している。なお、プロジェクタ１２ｐは携帯端末１０から送信した画像データ等の出力が可能な入出力装置１２の一例である。
【００７８】
図１６は入出力用の補助線が矢印線である画面の他の例のイメージ図である。図１６はカメラにより撮影された画像を表示する画面１０３０に矢印線１０３２が入出力用の補助線として合成されている。図１６の矢印線１０３２は片矢印線であり、矢印線１０３２に沿ってスキャナの画像１０３１から下方の方向へのフリック操作が可能であることを示している。なお、スキャナは携帯端末１０への画像データ等の入力が可能な入出力装置１２の一例である。
【００７９】
入出力用の補助線として矢印線を合成する場合、携帯端末１０の画像合成部２７は図１１のステップＳ１８、Ｓ１９において、図１７に示すような処理を行う。図１７はカメラにより撮影された画像に矢印線を合成する処理の一例のフローチャートである。
【００８０】
ステップＳ５１において、携帯端末１０の画像合成部２７は特定した自己位置、カメラが向けられた方向、取得した機器情報から、カメラにより撮影された画像に映っている入出力装置１２を特定する。
【００８１】
ステップＳ５２において、画像合成部２７はステップＳ５１で特定した入出力装置１２の機器情報に含まれる入力機能及び出力機能の情報に基づき、特定した入出力装置１２が可能な入出力機能を判定する。
【００８２】
入力機能及び出力機能の両方が可能であれば、画像合成部２７はステップＳ５３において図１４の矢印線１０１１のように入出力装置１２の方向と下方向とに矢印を表示する両矢印線を表示する。
【００８３】
出力機能が可能であり、入力機能が可能でなければ、画像合成部２７はステップＳ５４において図１５の矢印線１０２２のように入出力装置１２の方向に矢印を表示する片矢印線を表示する。入力機能が可能であり、出力機能が可能でなければ、画像合成部２７はステップＳ５５において図１６の矢印線１０３２のように下方向に矢印を表示する片矢印線を表示する。
【００８４】
第２の実施形態の入出力システム１によれば、ユーザは入出力装置１２が可能な入出力機能を矢印により直感的に認識できる。
［第３の実施形態］
第１及び第２の実施形態の入出力システム１はカメラにより撮影された画像に、入出力用の補助線が一つ表示されている。第３の実施形態の入出力システム１はカメラにより撮影された画像に追加合成する情報を、第１及び第２の実施形態の入出力システム１と変化させるものである。なお、第３の実施形態の入出力システム１は一部を除いて第１又は第２の実施形態の入出力システム１と同様であるため、適宜説明を省略する。
【００８５】
図１８は入出力用の補助線と携帯端末の画像とが表示された画面の一例のイメージ図である。図１８はＩＷＢ１２ｉの画像１００５が表示されている画面１０４０に、携帯端末１０の画像１０４１と入出力用の補助線としての線１０４２とが合成されている。携帯端末１０の画像１０４１は事前に用意しておいた携帯端末１０の画像であっても、ＣＧ等による作図であってもよい。
【００８６】
図１８の画面１０４０に示すように、線１０４２はＩＷＢ１２ｉの画像１００５と携帯端末１０の画像１０４１とを結ぶように作図される。ユーザは、線１０４２に沿って携帯端末１０の画像１０４１からＩＷＢ１２ｉの画像１００５の方向へフリック操作を行うことで、携帯端末１０からＩＷＢ１２ｉへ画像データ等を送信して表示を行わせる操作の指定であることを、より直感的に認識できる。
【００８７】
また、ユーザは、線１０４２に沿ってＩＷＢ１２ｉの画像１００５から携帯端末１０の画像１０４１の方向へフリック操作を行うことで、ＩＷＢ１２ｉから携帯端末１０へ画像データ等を送信させる操作の指定であることを、より直感的に認識できる。
【００８８】
図１９は入出力用の補助線が複数表示された画面の一例のイメージ図である。図１９はＭＦＰ１２ｍの画像１０５１が表示されている画面１０５０に、入出力用の補助線としての複数本の矢印線１０５２が合成されている。図１９の画面１０５０に示すように、矢印線１０５２はＭＦＰ１２ｍの入力機能、出力機能ごとにそれぞれ合成されている。
【００８９】
矢印線１０５２−１はＭＦＰ１２ｍのスキャン機能を利用するためのものであり、ＭＦＰ１２ｍの画像１０５１から下方の方向へのフリック操作により、ＭＦＰ１２ｍから携帯端末１０への画像データ等の入力が可能であることを示している。
【００９０】
矢印線１０５２−２はＭＦＰ１２ｍのメール機能を利用するためのものであり、下方からＭＦＰ１２ｍの画像１０５１の方向へのフリック操作により、携帯端末１０からＭＦＰ１２ｍへ画像データ等を送信してメール送信することが可能であることを示している。
【００９１】
矢印線１０５２−３はＭＦＰ１２ｍのＦＡＸ機能を利用するためのものであり、下方からＭＦＰ１２ｍの画像１０５１の方向へのフリック操作により、携帯端末１０からＭＦＰ１２ｍへ画像データ等を送信してＦＡＸ送信することが可能であることを示している。
【００９２】
矢印線１０５２−４はＭＦＰ１２ｍのプリント機能を利用するためのものであり、下方からＭＦＰ１２ｍの画像１０５１の方向へのフリック操作により、携帯端末１０からＭＦＰ１２ｍへ送信した画像データ等を印刷することが可能であることを示している。
【００９３】
なお、図１９の画面１０５０に合成した矢印線１０５２の表示形態は一例であり、例えば図２０に示すように入出力用の補助線を表示してもよい。図２０は入出力用の補助線が複数表示された画面の他の例のイメージ図である。
【００９４】
図２０の画面１０６０は図１９の画面１０５０の複数本の矢印線１０５２−１〜１０５２−４の位置を、ＭＦＰ１２ｍの画像１０５１の上下左右に配置したものである。図２０の画面１０６０は、図１９の画面１０５０よりも矢印線１０５２−１〜１０５２−４の位置が離れているため、矢印線１０５２−１〜１０５２−４に対するフリック操作が容易となる。
【００９５】
例えば図２０において矢印線１０５２−４は左方からＭＦＰ１２ｍの画像１０５１の方向へのフリック操作により、携帯端末１０からＭＦＰ１２ｍへ送信した画像データ等を印刷することが可能であることを示している。
【００９６】
図１９の画面１０５０又は図２０の画面１０６０を表示するためには、図２１に示したような機器毎の機能情報が必要となる。図２１は機器毎の機能情報を表した一例の構成図である。図２１の機能情報は、入出力装置１２毎に、その入出力装置１２が有する入力機能及び出力機能が登録されている。例えば図２１の機能情報は機器名「ＭＦＰ１」の入出力装置１２が入力機能としてスキャンが登録され、出力機能としてプリント、メール及びＦＡＸが登録されている例を示している。
【００９７】
第３の実施形態の入出力システム１によれば、ユーザは入出力装置１２が有する複数の機能から入出力装置１２に行わせる一の機能の指定を、直感的な操作により簡単に行うことができる。
［第４の実施形態］
第１〜第３の実施形態の入出力システム１はカメラにより撮影された画像に入出力用の補助線を合成し、その入出力用の補助線をなぞる操作により、入出力装置１２に行わせる操作の指定を行うものである。
【００９８】
第４の実施形態の入出力システム１は、入出力用の補助線をなぞる操作によりユーザが入出力装置１２に行わせる操作の指定を行ったあと、ユーザに必要な設定を行わせるものである。
【００９９】
図２２はユーザ操作に伴う携帯端末の一例の画面遷移図である。図２２（Ａ）は図１３の画面１００３において、線１００６に沿ってＩＷＢ１２ｉの画像１００５から下方の方向へフリック操作を行う様子を表している。
【０１００】
線１００６に沿ってＩＷＢ１２ｉの画像１００５から下方の方向へフリック操作を受け付けると、図２２（Ａ）から図２２（Ｂ）に画面遷移する。図２２（Ｂ）の画面１０７０はＩＷＢ１２ｉから携帯端末１０へ送信する画像データ等の保存先のフォルダをユーザに選択させるものである。
【０１０１】
このように、第４の実施形態の入出力システム１は、入出力用の補助線をなぞる操作によりユーザが入出力装置１２に行わせる操作の指定を行ったあと、携帯端末１０における画像データ等の保存先をユーザに選択させることができる。
【０１０２】
図２３はユーザ操作に伴う携帯端末の他の例の画面遷移図である。図２３（Ａ）は図１３の画面１００３において、線１００６に沿ってＩＷＢ１２ｉの画像１００５から下方の方向へフリック操作を行う様子を表している。
【０１０３】
線１００６に沿ってＩＷＢ１２ｉの画像１００５から下方の方向へフリック操作を受け付けると、図２３（Ａ）の画面１００３には図２３（Ｂ）の画面１０８０のようにファイルイメージ１１００が表示される。例えばユーザがファイルイメージ１１００にタッチすると、図２３（Ｂ）から図２３（Ｃ）に画面遷移する。
【０１０４】
図２３（Ｃ）の画面１０９０はＩＷＢ１２ｉから携帯端末１０へ送信する画像データ等のファイル情報をユーザに設定させるものである。画面１０９０ではファイル情報の一例として、格納条件、解像度、場所、ファイル形式、元データｏｒ表示データを示す情報をユーザに設定させる例を示している。なお、元データｏｒ表示データを示す情報はＩＷＢ１２ｉから携帯端末１０へ送信する画像データ等が、ＩＷＢ１２ｉに表示されている表示データか、その表示データに変換する前の元データか、を示すものである。
【０１０５】
このように、第４の実施形態の入出力システム１は、入出力用の補助線をなぞる操作によりユーザが入出力装置１２に行わせる操作の指定を行ったあと、ＩＷＢ１２ｉから携帯端末１０へ送信する画像データ等のファイル情報をユーザに設定させることができる。
【０１０６】
なお、図２３において、ファイルイメージ１１００は例えば線１００６に沿ってＩＷＢ１２ｉの画像１００５から下方の方向へ短い距離のフリック操作を受け付けた場合に表示するようにしてもよい。一方、長い距離のフリック操作を受け付けた場合は、ファイルイメージ１１００を表示せず、画像データ等のファイル情報のデフォルト値を利用するようにしてもよい。
【０１０７】
図２４はユーザ操作に伴う携帯端末の他の例の画面遷移図である。図２４（Ａ）は図１３の画面１００３において、線１００６に沿って下方からＩＷＢ１２ｉの画像１００５の方向へフリック操作を行う様子を表している。
【０１０８】
線１００６に沿って下方からＩＷＢ１２ｉの画像１００５の方向へフリック操作を受け付けると、図２４（Ａ）から図２４（Ｂ）に画面遷移する。図２４（Ｂ）の画面１１０５は携帯端末１０からＩＷＢ１２ｉへ送信する画像データ等のファイルをユーザに選択させるものである。
【０１０９】
図２４（Ｂ）の画面１１０５からＩＷＢ１２ｉへ送信する画像データ等のファイルが選択されると、図２４（Ｂ）から図２４（Ｃ）に画面遷移する。図２４（Ｃ）の画面１１１０は図２４（Ｂ）において選択されたファイルのＩＷＢ１２１での出力方法を追加又は表示から選択させるものである。
【０１１０】
このように、第４の実施形態の入出力システム１は、入出力用の補助線をなぞる操作によりユーザが入出力装置１２に行わせる操作の指定を行ったあと、ＩＷＢ１２ｉへ送信するファイル及びそのファイルの出力方法をユーザに選択させることができる。
【０１１１】
図２５はユーザ操作に伴う携帯端末の他の例の画面遷移図である。図２５（Ａ）は図１３の画面１００３において、線１００６に沿って下方からＩＷＢ１２ｉの画像１００５の方向へフリック操作を行う様子を表している。
【０１１２】
線１００６に沿って下方からＩＷＢ１２ｉの画像１００５の方向へフリック操作を受け付けると、図２５（Ａ）の画面１００３には図２５（Ｂ）の画面１１２０のようにファイルイメージ１１００が表示される。例えばユーザがファイルイメージ１１００にタッチすると、図２５（Ｂ）から図２５（Ｃ）に画面遷移する。
【０１１３】
図２５（Ｃ）の画面１１３０は携帯端末１０からＩＷＢ１２ｉへ送信する画像データ等のファイルの出力情報をユーザに設定させるものである。画面１１３０では出力情報の一例として、ファイルの表示方法として追加ｏｒ表示を示す情報、ファイルパスをユーザに設定させる例を示している。
【０１１４】
このように、第４の実施形態の入出力システム１は、入出力用の補助線をなぞる操作によりユーザが入出力装置１２に行わせる操作の指定を行ったあと、携帯端末１０からＩＷＢ１２ｉへ送信するファイルの出力情報をユーザに設定させることができる。
【０１１５】
なお、図２５において、ファイルイメージ１１００は例えば線１００６に沿って下方からＩＷＢ１２ｉの画像１００５の方向へ短い距離のフリック操作を受け付けた場合に表示するようにしてもよい。一方、長い距離のフリック操作を受け付けた場合は、ファイルイメージ１１００を表示せず、ファイルの出力情報のデフォルト値を利用するようにしてもよい。
［第５の実施形態］
第１〜第４の実施形態の入出力システム１はカメラにより撮影された画像に１台の入出力装置１２が映っていた例である。第５の実施形態の入出力システム１はカメラにより撮影された画像に２台の入出力装置１２が映っていた例である。
【０１１６】
図２６は複数台の入出力装置が映った画面の一例のイメージ図である。例えば図１１のステップＳ１７〜Ｓ１９の処理により、携帯端末１０はカメラにより撮影された画像にＭＦＰ１２ｍ及びプロジェクタ１２ｐが映っているため、矢印線１２０３及び１２０４を合成した画面１２００を表示する。なお、矢印線１２０３及び１２０４は入出力用の補助線の一例であって、線１００６等であってもよい。入出力用の補助線を画面１２００に合成する処理は前述したため、説明を省略する。
【０１１７】
このように、本実施形態の入出力システム１によれば、カメラにより撮影された画像に複数台の入出力装置１２が映っていた場合であっても、入出力装置１２の画像のそれぞれに対して入出力用の補助線を合成できる。
［第６の実施形態］
第１〜第５の実施形態の入出力システム１はカメラにより撮影された画像に補助線を合成する例である。第６の実施形態の入出力システム１はカメラにより撮影された画像に補助線を合成せずに表示する例である。
【０１１８】
図２７は入出力装置が映った画面の一例のイメージ図である。例えば図１１のステップＳ１９の処理により、携帯端末１０は、「フリック操作で機器を操作できます」等のメッセージを表示する（もちろん、メッセージを表示しなくても良い）。または、図２８のように、例えば図１１のステップＳ１９の処理により、携帯端末１０は、カメラにより撮影された画像に含まれる入出力装置１２を示す図形を合成した画面を表示する。
【０１１９】
このように、本実施形態の入出力システム１によれば、カメラにより撮影された画像に補助線を合成せずに入出力装置１２を操作可能とする。
［第７の実施形態］
上記実施例では、情報処理装置１４が機器を管理している例を示したが、情報処理装置１４を用いない場合のシステムについて説明する。
【０１２０】
図２９は本実施形態に係る通信システムの一例の構成図である。図２９に示す通信システム２は、仲介機９０、１台以上の携帯端末１０、ＭＦＰ（複合機）１２ｍ、インタラクティブホワイトボード（ＩＷＢ）１２ｉ、プロジェクタ１２ｐを有する構成を一例として示している。
【０１２１】
通信システム２は、仲介機９０、ＭＦＰ１２ｍ、ＩＷＢ１２ｉ、プロジェクタ１２ｐがＬＡＮ等のネットワークＮ１に接続されている。また、通信システム２は仲介機９０が無線ＬＡＮ通信及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）  Ｌｏｗ  Ｅｎｅｒｇｙ）通信により１台以上の携帯端末１０とアクセス可能である。
【０１２２】
図２９では仲介機９０とＢＬＥ通信が可能なエリアを点線で囲いＢＬＥ圏として図示している。図２９ではＢＬＥ圏が部屋の中に存在している。また、図２９では仲介機９０と無線ＬＡＮ通信が可能なエリアを点線で囲い無線ＬＡＮ圏として図示している。図２９では無線ＬＡＮ圏が部屋の大きさを越えて存在している。なお、図２９のＢＬＥ圏及び無線ＬＡＮ圏の大きさは一例であって、無線ＬＡＮ圏がＢＬＥ圏の大きさ以上であればよい。また、図２９のネットワークＮ１は有線ＬＡＮ通信又は無線ＬＡＮ通信の何れを利用してもよい。
【０１２３】
仲介機９０は例えば無線ＬＡＮルータにより実現される。仲介機９０はＢＬＥ圏に存在する携帯端末１０とＢＬＥ通信が可能である。仲介機９０はＢＬＥ圏内に入った携帯端末１０にＢＬＥ通信を利用してアクセス設定情報（接続情報）を提供する。なお、ＢＬＥ通信は近距離無線通信の一例である。
【０１２４】
携帯端末１０はユーザが操作する端末装置であり、例えばスマートフォン、携帯電話、ノートＰＣ、タブレット端末等である。携帯端末１０はＢＬＥ通信及び無線ＬＡＮ通信を利用して仲介機９０とアクセス可能である。
【０１２５】
ＭＦＰ１２ｍ、ＩＷＢ１２ｉ及びプロジェクタ１２ｐは携帯端末１０と通信を行う電子機器の一例である。ＭＦＰ１２ｍは撮像機能、画像形成機能などを備える。ＩＷＢ１２ｉは画像表示装置の一例である。プロジェクタ１２ｐは画像投影装置の一例である。なお、図２９に示すように、ＭＦＰ１２ｍ等の電子機器はＢＬＥ圏の外に設置してもよい。
【０１２６】
＜ハードウェア構成＞
《仲介機》
仲介機９０は、例えば図３３０に示すようなハードウェア構成により実現される。図３０は本実施形態に係る仲介機の一例のハードウェア構成図である。
【０１２７】
仲介機９０は表示部８０１、外部Ｉ／Ｆ８０３、ＲＡＭ８０４、ＲＯＭ８０５、ＣＰＵ８０６、無線ＬＡＮ通信Ｉ／Ｆ８０７、近距離無線通信Ｉ／Ｆ８０８、ＨＤＤ８０９などを備え、それぞれがバスＢで相互に接続されている。
【０１２８】
表示部８０１は、ＬＥＤ等を利用して仲介機９０の状態などを表示する。無線ＬＡＮ通信Ｉ／Ｆ８０７は携帯端末１０やプロジェクタ１２ｐなどの電子機器と無線ＬＡＮ通信を行う。また、近距離無線通信Ｉ／Ｆ８０８は携帯端末１０と近距離無線通信を行う。
【０１２９】
また、ＨＤＤ８０９はプログラムやデータを格納している不揮発性の記憶装置の一例である。格納されるプログラムやデータには仲介機９０全体を制御する基本ソフトウェアであるＯＳ、ＯＳ上において各種機能を提供するアプリケーションソフトウェア（以下、アプリケーションと呼ぶ）などがある。なお、仲介機９０はＨＤＤ８０９に替え、記憶媒体としてフラッシュメモリを用いるドライブ装置（例えばソリッドステートドライブ：ＳＳＤ）を利用するものであってもよい。
【０１３０】
外部Ｉ／Ｆ８０３は、外部装置とのインタフェースである。外部装置には、記録媒体８０３ａなどがある。これにより、仲介機９０は外部Ｉ／Ｆ８０３を介して記録媒体８０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体８０３ａにはフレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、ＵＳＢメモリなどがある。
【０１３１】
ＲＯＭ８０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ８０５には仲介機９０の起動時に実行されるＢＩＯＳ、ＯＳ設定、及びネットワーク設定などのプログラムやデータが格納されている。ＲＡＭ８０４はプログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）の一例である。
【０１３２】
ＣＰＵ８０６は、ＲＯＭ８０５やＨＤＤ８０９などの記憶装置からプログラムやデータをＲＡＭ８０４上に読み出し、処理を実行することで、仲介機９０全体の制御や機能を実現する演算装置である。仲介機９０は例えば図３０に示すハードウェア構成により、後述するような各種処理を実現できる。
【０１３３】
次に、図３１を用いて本実施形態の処理の一例を説明する。まず、携帯端末１０が、仲介機９０の近距離無線通信の通信範囲に侵入すると（ステップＳ１０１）、携帯端末１０と仲介機９０とが近距離無線通信を開始する（ステップＳ１０２）。例えば、携帯端末１０と仲介機９０とが、ＢＬＥ通信においてペアリングを行い、ＢＬＥ通信を用いた通信を行うことが出来きる状態となる。
【０１３４】
携帯端末１０と仲介機９０による近距離無線通信が開始されると、仲介機９０は、近距離無線通信を介して携帯端末１０に対して無線ＬＡＮの接続情報（無線ＬＡＮのＳＳＩＤやパスワード）を送信する（ステップＳ１０３）。携帯端末１０は、受信した無線ＬＡＮの接続情報を用いて仲介機９０に対して無線ＬＡＮへの接続要求を送信する（ステップＳ１０４）。仲介機９０は、無線ＬＡＮへの接続要求を受信すると、正しい接続情報（ＳＳＩＤやパスワード）用いた要求であるか判断する。正しい接続情報を用いた要求であると判断されたとき、仲介機９０は、携帯端末１０の無線ＬＡＮへのアクセスを許可し、携帯端末１０は無線ＬＡＮを介した通信を開始する（ステップＳ１０５）。
【０１３５】
携帯端末１０は、無線ＬＡＮを介した通信ができる状態になったとき、無線ＬＡＮに接続されている機器に対して問い合わせを送信する（ステップＳ１０６〜ステップＳ１０９）。例えば、無線ＬＡＮ内の全てのＩＰアドレスに対して問い合わせを送信する。この問い合わせには、図１０に示すような機器情報（機器名、機器の位置、機器の有する機能等を示す情報）の送信要求が含まれる。
【０１３６】
携帯端末１０は、無線ＬＡＮに接続された各機器から無線ＬＡＮを介して応答を受信する（ステップＳ１１０〜ステップＳ１１３）。この応答には、前述の機器情報が含まれる。そして、携帯端末１０は、受信した応答に基づき図１０に示すような機器情報を記憶する（ステップＳ１１４）。
【０１３７】
その後、本実施形態では、図１１のステップＳ１２以降が実施される。なお、図１１のステップＳ１４〜ステップＳ１５において、携帯端末１０が情報処理装置１４から機器の情報を取得する記載があるが、本実施形態では既に各機器から機器の情報を応答として取得しているため、ステップＳ１４〜ステップＳ１５の処理は不要である。
【０１３８】
以上のようなシステム構成とすることで、情報処理装置１４を設置しなくとも前述の実施形態のシステムと同様の効果を得ることができる。
【０１３９】
＜まとめ＞
以上、本実施形態に係る入出力システム１によれば、携帯端末１０のＵＩに表示された入出力装置１２の画像に、入出力用の補助線を合成して表示することで、入出力装置１２に行わせる操作の指定を、携帯端末１０から直感的に行うことができる。
【０１４０】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。携帯端末１０は特許請求の範囲に記載した端末装置の一例である。ＭＦＰ１２ｍ、プロジェクタ１２ｐ及びＩＷＢ１２ｉは入出力装置の一例である。
【符号の説明】
【０１４１】
１    入出力システム
１０    携帯端末
１２    入出力装置
１４    情報処理装置
１２ｍ    ＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ：複合機）
１２ｐ    プロジェクタ
１２ｉ    ＩＷＢ（インタラクティブホワイトボード）
２１    通信部
２２    表示部
２３    操作部
２４    位置特定部
２５    方向特定部
２６    撮影部
２７    画像合成部
２８    記憶部
２９    リクエスト処理部
４１    通信部
４２    印刷部
４３    スキャン部
４４    リクエスト処理部
５１    通信部
５２    投影部
５３    リクエスト処理部
６１    通信部
６２    入力部
６３    表示部
６４    画像合成部
６５    リクエスト処理部
８１    通信部
８２    機器情報管理部
８３    機器情報検索部
８４    リクエスト処理部
９０    仲介機
５００    コンピュータ
５０１    入力装置
５０２    表示装置
５０３、８０３    外部Ｉ／Ｆ
５０３ａ    記録媒体
５０４、８０４    ＲＡＭ
５０５、８０５    ＲＯＭ
５０６、８０６    ＣＰＵ
５０７    通信Ｉ／Ｆ
５０８、８０９    ＨＤＤ
６００    端末装置
６０１    ＣＰＵ
６０２    ＲＯＭ
６０３    ＲＡＭ
６０４    ＥＥＰＲＯＭ
６０５    ＣＭＯＳセンサ
６０６    加速度・方位センサ
６０７    位置センサ
６０８    メディアドライブ
６０９    音声入力部
６１０    音声出力部
６１１    アンテナ
６１２    通信部
６１３    無線ＬＡＮ通信部
６１４    近距離無線通信用アンテナ
６１５    近距離無線通信部
６１６    ディスプレイ
６１７    タッチパネル
６１８    電池
６１９    バスライン
６２０    記録メディア
７０１    ＣＰＵ
７０２    ＲＡＭ
７０３    ＲＯＭ
７０４    通信部
７０５    操作キー
７０６    入力部
７０７    出力部
７１０    バスライン
８０１    表示部
８０７    無線ＬＡＮ通信Ｉ／Ｆ
８０８    近距離無線通信Ｉ／Ｆ
１００６、１０４２    線
１０１１、１０２２、１０３２、１０５２、１２０３、１２０４    矢印線
Ｂ    バス
Ｎ１    ネットワーク
【先行技術文献】
【特許文献】
【０１４２】
【特許文献１】特開２０１２−９００７７号公報
【図１】
2016066347.tif 000003
【図２】
2016066347.tif 000004
【図３】
2016066347.tif 000005
【図４】
2016066347.tif 000006
【図５】
2016066347.tif 000007
【図６】
2016066347.tif 000008
【図７】
2016066347.tif 000009
【図８】
2016066347.tif 000010
【図９】
2016066347.tif 000011
【図１０】
2016066347.tif 000012
【図１１】
2016066347.tif 000013
【図１２】
2016066347.tif 000014
【図１３】
2016066347.tif 000015
【図１４】
2016066347.tif 000016
【図１５】
2016066347.tif 000017
【図１６】
2016066347.tif 000018
【図１７】
2016066347.tif 000019
【図１８】
2016066347.tif 000020
【図１９】
2016066347.tif 000021
【図２０】
2016066347.tif 000022
【図２１】
2016066347.tif 000023
【図２２】
2016066347.tif 000024
【図２３】
2016066347.tif 000025
【図２４】
2016066347.tif 000026
【図２５】
2016066347.tif 000027
【図２６】
2016066347.tif 000028
【図２７】
2016066347.tif 000029
【図２８】
2016066347.tif 000030
【図２９】
2016066347.tif 000031
【図３０】
2016066347.tif 000032
【図３１】
2016066347.tif 000033