(57)【特許請求の範囲】
【請求項１】
ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムであって、
前記画像形成装置は、
前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信する受信手段と、
ユーザーから、前記端末装置を経由しないで直接、操作を受け付けるユーザーインターフェース手段と、
受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にする制御手段とを備え、
前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて動作し、
前記画像形成装置及び前記端末装置は、それぞれ、
撮像手段と、
前記撮像手段による撮影画像を解析して、撮像視野内に存在するユーザーの操作体による仮想的な操作であるジェスチャ操作の内容を推定する画像解析手段とを備え、
前記フラグ情報は、前記端末装置において、前記ジェスチャ操作が有効であるか否かを示し、
前記ユーザーインターフェース手段は、前記画像形成装置が備える前記画像解析手段から、ユーザーのジェスチャ操作の内容を受け取り、
前記制御手段は、前記フラグ情報がジェスチャ操作が有効であることを示す場合、前記画像形成装置が備える前記画像解析手段による解析を停止することにより、又は、前記ユーザーインターフェース手段により受け取った前記ジェスチャ操作の内容を破棄することにより、前記画像形成装置に対するジェスチャ操作を無効とし、前記フラグ情報がジェスチャ操作が無効であることを示す場合、前記画像形成装置に対するジェスチャ操作を有効とする
ことを特徴とする操作システム。
【請求項２】
ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムであって、
前記画像形成装置は、
前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信する受信手段と、
ユーザーから、前記端末装置を経由しないで直接、操作を受け付けるユーザーインターフェース手段と、
受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にする制御手段とを備え、
前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて動作し、
前記端末装置が撮像手段を備えない場合、又は、前記端末装置が撮像手段を備えるが、当該撮像手段による撮像が無効である場合、前記フラグ情報は、さらに、撮像が無効であることを示し、
前記ユーザーインターフェース手段は、ユーザーの操作体による接触により、ユーザーの操作を受け付けるとともに、ユーザーに対して操作ガイドを表示する操作パネルであり、
前記制御手段は、前記フラグ情報が撮像が無効であることを示す場合、前記操作パネルに対する接触及び前記操作パネルによる表示を無効にする
ことを特徴とする操作システム。
【請求項３】
前記フラグ情報は、さらに、当該端末装置において、ユーザーに対する操作ガイドが有効か否かを示し、
前記ユーザーインターフェース手段は、さらに、ユーザーに対して、操作ガイドを行い、
前記制御手段は、受信した前記フラグ情報が操作ガイドが有効であることを示す場合、前記ユーザーインターフェース手段による操作ガイドを無効にし、前記フラグ情報が操作ガイドが無効であることを示す場合、前記ユーザーインターフェース手段による操作ガイドを有効にする
ことを特徴とする請求項１又は２に記載の操作システム。
【請求項４】
前記画像形成装置は、さらに、前記操作ガイドの内容を表現する音声情報を基にして、音声信号を生成する音声処理手段を備え、
前記ユーザーインターフェース手段は、さらに、生成された前記音声信号を変換して、音波を出力するスピーカーを備え、
前記フラグ情報は、さらに、当該端末装置において、音声による操作ガイドが有効か否かを示し、
前記制御手段は、前記フラグ情報が音声による操作ガイドが有効であることを示す場合、前記音声信号の生成及び前記音波の出力を停止する
ことを特徴とする請求項３に記載の操作システム。
【請求項５】
前記ユーザーインターフェース手段は、さらに、発光により、操作ガイドを行い、
前記フラグ情報は、さらに、当該端末装置において、表示による操作ガイドが有効か否かを示し、
前記制御手段は、前記フラグ情報が表示による操作ガイドが有効であることを示す場合、前記ユーザーインターフェース手段による発光を停止する
ことを特徴とする請求項３に記載の操作システム。
【請求項６】
前記ユーザーインターフェース手段は、接触によりユーザーの操作を受け付ける操作パネルであり、
前記制御手段は、前記フラグ情報が前記ジェスチャ操作が有効であることを示す場合、さらに、前記操作パネルに対する接触による操作の受け付けを無効とする
ことを特徴とする請求項１に記載の操作システム。
【請求項７】
前記端末装置は、音波を変換して音声信号を生成し、生成された音声信号を解析して、ユーザーの発する音声を認識しユーザーの操作内容を推定することにより、ユーザーの操作を受け付け、
前記ユーザーインターフェース手段は、さらに、音波を変換して音声信号を生成し、
前記画像形成装置は、さらに、生成された音声信号を解析して、ユーザーの発する音声を認識しユーザーの操作内容を推定する音声処理手段とを備え、
前記ユーザーインターフェース手段は、さらに、前記音声処理手段から、ユーザーの前記操作内容を受け取り、
前記フラグ情報は、さらに、前記端末装置による音声操作が有効であるか否かを示し、
前記制御手段は、前記フラグ情報が音声操作が有効であることを示す場合、前記画像形成装置が備える前記音声処理手段による解析を停止することにより、又は、前記ユーザーインターフェース手段により受け取った前記操作内容を破棄することにより、前記画像形成装置に対する音声操作を無効とする
ことを特徴とする請求項１又は２に記載の操作システム。
【請求項８】
ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムにおける前記画像形成装置であって、
前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信する受信手段と、
ユーザーから、前記端末装置を経由しないで直接、操作を受け付けるユーザーインターフェース手段と、
受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にする制御手段とを備え、
前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて動作し、
前記画像形成装置及び前記端末装置は、それぞれ、
撮像手段と、
前記撮像手段による撮影画像を解析して、撮像視野内に存在するユーザーの操作体による仮想的な操作であるジェスチャ操作の内容を推定する画像解析手段とを備え、
前記フラグ情報は、前記端末装置において、前記ジェスチャ操作が有効であるか否かを示し、
前記ユーザーインターフェース手段は、前記画像形成装置が備える前記画像解析手段から、ユーザーのジェスチャ操作の内容を受け取り、
前記制御手段は、前記フラグ情報がジェスチャ操作が有効であることを示す場合、前記画像形成装置が備える前記画像解析手段による解析を停止することにより、又は、前記ユーザーインターフェース手段により受け取った前記ジェスチャ操作の内容を破棄することにより、前記画像形成装置に対するジェスチャ操作を無効とし、前記フラグ情報がジェスチャ操作が無効であることを示す場合、前記画像形成装置に対するジェスチャ操作を有効とする
ことを特徴とする画像形成装置。
【請求項９】
ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムにおける前記画像形成装置であって、
前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信する受信手段と、
ユーザーから、前記端末装置を経由しないで直接、操作を受け付けるユーザーインターフェース手段と、
受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にする制御手段とを備え、
前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて動作し、
前記端末装置が撮像手段を備えない場合、又は、前記端末装置が撮像手段を備えるが、当該撮像手段による撮像が無効である場合、前記フラグ情報は、さらに、撮像が無効であることを示し、
前記ユーザーインターフェース手段は、ユーザーの操作体による接触により、ユーザーの操作を受け付けるとともに、ユーザーに対して操作ガイドを表示する操作パネルであり、
前記制御手段は、前記フラグ情報が撮像が無効であることを示す場合、前記操作パネルに対する接触及び前記操作パネルによる表示を無効にする
ことを特徴とする画像形成装置。
【請求項１０】
ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムにおける前記画像形成装置において用いられる制御方法であって、
受信手段により、前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信し、
ユーザーインターフェース手段により、ユーザーから、前記端末装置を経由しないで直接、操作を受け付け、
制御手段により、受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にし、前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて、前記画像形成装置を動作させ、
前記画像形成装置及び前記端末装置は、それぞれ、
撮像手段と、
前記撮像手段による撮影画像を解析して、撮像視野内に存在するユーザーの操作体による仮想的な操作であるジェスチャ操作の内容を推定する画像解析手段とを備え、
前記フラグ情報は、前記端末装置において、前記ジェスチャ操作が有効であるか否かを示し、
前記ユーザーインターフェース手段により、前記画像形成装置が備える前記画像解析手段から、ユーザーのジェスチャ操作の内容を受け取り、
前記制御手段により、前記フラグ情報がジェスチャ操作が有効であることを示す場合、前記画像形成装置が備える前記画像解析手段による解析を停止することにより、又は、前記ユーザーインターフェース手段により受け取った前記ジェスチャ操作の内容を破棄することにより、前記画像形成装置に対するジェスチャ操作を無効とし、前記フラグ情報がジェスチャ操作が無効であることを示す場合、前記画像形成装置に対するジェスチャ操作を有効とする
ことを特徴とする制御方法。
【請求項１１】
ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムにおける前記画像形成装置において用いられる制御方法であって、
受信手段により、前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信し、
ユーザーインターフェース手段により、ユーザーから、前記端末装置を経由しないで直接、操作を受け付け、
制御手段により、受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にし、前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて、前記画像形成装置を動作させ、
前記端末装置が撮像手段を備えない場合、又は、前記端末装置が撮像手段を備えるが、当該撮像手段による撮像が無効である場合、前記フラグ情報は、さらに、撮像が無効であることを示し、
前記ユーザーインターフェース手段は、ユーザーの操作体による接触により、ユーザーの操作を受け付けるとともに、ユーザーに対して操作ガイドを表示する操作パネルであり、
前記制御手段により、前記フラグ情報が撮像が無効であることを示す場合、前記操作パネルに対する接触及び前記操作パネルによる表示を無効にする
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作技術に関する。
【背景技術】
【０００２】
スキャナー、ファクシミリ、プリンター、複写機等の機能を統合した複合機（以下、ＭＦＰ（Multifunction Peripheral）と呼ぶ。）が普及している。
特許文献１によると、ゲーム装置である端末装置が備えるカメラの撮像方向の実空間に、マーカーが配置されている。マーカーは、長方形の紙に描かれた矢印である。ゲーム装置は、撮像された実画像に対して、パターンマッチング等の画像処理を行うことによって、当該実画像に含まれるマーカーを検出する。実画像中にマーカーが検出された場合、仮想空間がマーカーの中心を原点としたＸＹＺ座標系によって定義される。ゲーム装置の表示部には、撮像された実画像に、仮想空間上の仮想キャラクタが重ね合わされて表示される。これにより、仮想キャラクタがあたかも実空間に存在するような感覚をユーザーに与えることができる。
【０００３】
ＭＦＰにおいて、ユーザーの操作を受け付ける場合に、上記の技術を応用することができる。ＭＦＰは、ユーザーの操作を受け付ける操作部を備える。端末装置は、当該端末装置が備えるカメラにより撮影された実画像における現実のＭＦＰを表す画像と仮想的に操作部を表す画像とを合成して表示する。
さらに、端末装置は、仮想的に操作部を表す画像により、ユーザーに対して、操作方法をガイドする。端末装置のカメラは、ユーザーの動作を撮影し、得られた実画像に対して画像処理を施して、ユーザーの操作を推定し、推定した操作の内容をＭＦＰに対して出力する。ＭＦＰは、端末装置からユーザーの操作の内容を受け取り、受け取った操作の内容に基づいて処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−６９１２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の応用例において、ＭＦＰの現実の操作部に対して、ユーザーが第１の操作を行うと、現実の操作部は、第１の操作を受け付ける。このとき、端末装置は、ＭＦＰに対するユーザーの第１の操作を、第２の操作として認識し、ＭＦＰに対して、第２の操作の内容を出力する。ＭＦＰは、端末装置から第２の操作の内容を受け取る。ＭＦＰは、第１の操作の内容に応じた処理を行い、さらに、第２の操作の内容に応じた処理を行う。
【０００６】
この場合、第１の操作と第２の操作は、同一の操作である。このため、ＭＦＰが、第１の操作の内容に応じた処理及び第２の操作の内容に応じた処理の両方を行うならば、その処理結果は、ユーザーの意図しないものとなる。ここで、ＭＦＰが、同一の第１の操作及び第２の操作を受け付けることを、ユーザーの操作が衝突すると言う。
このような問題を解決するために、本発明は、画像形成装置に対するユーザーの操作と、端末装置に対するユーザーの操作とが衝突しないようにできる画像形成装置及び操作システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一態様は、ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムであって、前記画像形成装置は、前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信する受信手段と、ユーザーから、前記端末装置を経由しないで直接、操作を受け付けるユーザーインターフェース手段と、受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にする制御手段とを備え、前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて動作し、前記画像形成装置及び前記端末装置は、それぞれ、撮像手段と、前記撮像手段による撮影画像を解析して、撮像視野内に存在するユーザーの操作体による仮想的な操作であるジェスチャ操作の内容を推定する画像解析手段とを備え、前記フラグ情報は、前記端末装置において、前記ジェスチャ操作が有効であるか否かを示し、前記ユーザーインターフェース手段は、前記画像形成装置が備える前記画像解析手段から、ユーザーのジェスチャ操作の内容を受け取り、前記制御手段は、前記フラグ情報がジェスチャ操作が有効であることを示す場合、前記画像形成装置が備える前記画像解析手段による解析を停止することにより、又は、前記ユーザーインターフェース手段により受け取った前記ジェスチャ操作の内容を破棄することにより、前記画像形成装置に対するジェスチャ操作を無効とし、前記フラグ情報がジェスチャ操作が無効であることを示す場合、前記画像形成装置に対するジェスチャ操作を有効とすることを特徴とする。
また、本発明の別の一態様は、ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムであって、前記画像形成装置は、前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信する受信手段と、ユーザーから、前記端末装置を経由しないで直接、操作を受け付けるユーザーインターフェース手段と、受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にする制御手段とを備え、前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて動作し、前記端末装置が撮像手段を備えない場合、又は、前記端末装置が撮像手段を備えるが、当該撮像手段による撮像が無効である場合、前記フラグ情報は、さらに、撮像が無効であることを示し、前記ユーザーインターフェース手段は、ユーザーの操作体による接触により、ユーザーの操作を受け付けるとともに、ユーザーに対して操作ガイドを表示する操作パネルであり、前記制御手段は、前記フラグ情報が撮像が無効であることを示す場合、前記操作パネルに対する接触及び前記操作パネルによる表示を無効にすることを特徴とする。
【発明の効果】
【０００８】
この態様によると、画像形成装置に対するユーザーの操作と、端末装置に対するユーザーの操作が衝突しないようにできる。
ここで、前記フラグ情報は、さらに、当該端末装置において、ユーザーに対する操作ガイドが有効か否かを示し、前記ユーザーインターフェース手段は、さらに、ユーザーに対して、操作ガイドを行い、前記制御手段は、受信した前記フラグ情報が操作ガイドが有効であることを示す場合、前記ユーザーインターフェース手段による操作ガイドを無効にし、前記フラグ情報が操作ガイドが無効であることを示す場合、前記ユーザーインターフェース手段による操作ガイドを有効にしてもよい。
【０００９】
ここで、前記ユーザーインターフェース手段は、前記操作ガイドを表示する操作パネルであり、前記端末装置は、さらに、撮像手段と、前記撮像手段による撮影画像を解析して、撮像視野内に存在する前記操作パネルにより表示されている内容を検出する画像解析手段と、前記操作ガイドとして、検出された当該内容を表す操作パネル画像を生成する画像生成手段と、ユーザーが表示面を通じて前記操作パネルに重畳して視認できる状態で、生成した前記操作パネル画像を表示する表示手段とを備え、前記フラグ情報は、当該端末装置において、表示による操作ガイドが有効か否かを示し、前記制御手段は、前記フラグ情報が表示による操作ガイドが有効であることを示す場合、前記操作パネルによる表示を停止してもよい。
【００１０】
ここで、前記画像形成装置は、さらに、前記操作ガイドの内容を表現する音声情報を基にして、音声信号を生成する音声処理手段を備え、前記ユーザーインターフェース手段は、生成された前記音声信号を変換して、音波を出力するスピーカーであり、前記フラグ情報は、当該端末装置において、音声による操作ガイドが有効か否かを示し、前記制御手段は、前記フラグ情報が音声による操作ガイドが有効であることを示す場合、前記音声信号の生成及び前記音波の出力を停止してもよい。
【００１１】
ここで、前記ユーザーインターフェース手段は、発光により、操作ガイドを行い、前記フラグ情報は、当該端末装置において、表示による操作ガイドが有効か否かを示し、前記制御手段は、前記フラグ情報が表示による操作ガイドが有効であることを示す場合、前記ユーザーインターフェース手段による発光を停止してもよい。
ここで、前記端末装置は、さらに、撮像手段と、前記撮像手段による撮影画像を解析して、撮像視野内に存在するユーザーの操作体による仮想的な操作であるジェスチャ操作の内容を推定する画像解析手段とを備え、前記フラグ情報は、前記端末装置において、前記ジェスチャ操作が有効であるか否かを示し、前記ユーザーインターフェース手段は、接触によりユーザーの操作を受け付ける操作パネルであり、前記制御手段は、前記フラグ情報が前記ジェスチャ操作が有効であることを示す場合、前記操作パネルに対する接触による操作の受け付けを無効としてもよい。
【００１３】
ここで、前記端末装置は、音波を変換して音声信号を生成し、生成された音声信号を解析して、ユーザーの発する音声を認識しユーザーの操作内容を推定することにより、ユーザーの操作を受け付け、前記ユーザーインターフェース手段は、音波を変換して音声信号を生成し、前記画像形成装置は、さらに、生成された音声信号を解析して、ユーザーの発する音声を認識しユーザーの操作内容を推定する音声処理手段とを備え、前記ユーザーインターフェース手段は、前記音声処理手段から、ユーザーの前記操作内容を受け取り、前記フラグ情報は、前記端末装置による音声操作が有効であるか否かを示し、前記制御手段は、前記フラグ情報が音声操作が有効であることを示す場合、前記画像形成装置が備える前記音声処理手段による解析を停止することにより、又は、前記ユーザーインターフェース手段により受け取った前記操作内容を破棄することにより、前記画像形成装置に対する音声操作を無効としてもよい。
【図面の簡単な説明】
【００１５】
【図１】実施の形態としてのＭＦＰ１００及びグラス端末２００の外観斜視図である。
【図２】ＭＦＰ１００の構成を示すブロック図である。
【図３】グラス端末２００の駆動制御部２０１の構成を示すブロック図である。
【図４】表示面２０６に表示される画像の一例を示す。
【図５】操作者の手によるボタン操作の判断方法の一例を示す。
【図６】ＭＦＰ１００及び駆動制御部２０１における動作を示すシーケンス図（その１）である。
【図７】ＭＦＰ１００及び駆動制御部２０１における動作を示すシーケンス図（その２）である。
【図８】ＭＦＰ１００及び駆動制御部２０１における動作を示すシーケンス図（その３）である。
【図９】変形例（１）として、駆動制御部２０１の撮像部２０３が無効である場合において、表示面２０６に表示される画像の一例を示す。
【図１０】駆動制御部２０１の撮像部２０３が無効である場合において、ＭＦＰ１００及び駆動制御部２０１における動作を示すシーケンス図である。
【図１１】変形例（２）として、駆動制御部２０１がフラグ情報を通知する場合におけるＭＦＰ１００及び駆動制御部２０１における動作を示すシーケンス図である。
【発明を実施するための形態】
【００１６】
１．実施の形態１
本発明に係る実施の形態１としての操作システム１０について説明する。
１．１  操作システム１０
操作システム１０は、図１に示すように、ＭＦＰ１００及びグラス端末２００から構成されている。グラス端末２００は、眼鏡型の端末装置である。
【００１７】
ユーザーから操作開始の指示を受け付けると、グラス端末２００は、現実の空間を撮影して映像を生成する。映像がＭＦＰ１００における操作パネルを表す場合、グラス端末２００は、映像の中で、ＭＦＰ１００の操作パネルの位置及びその内容を特定する。グラス端末２００は、特定した内容に基づいて、ユーザーに対して操作をガイドするための操作パネル画像を生成する。次に、特定した位置に基づいて、ユーザーがＭＦＰ１００の操作パネルに重畳して視認できるように、生成した操作パネル画像を表示する。グラス端末２００は、ユーザーの操作を受け付け、受け付けた操作内容をＭＦＰ１００に対して送信する。ＭＦＰ１００は、操作内容を受信し、受信した操作内容に従って動作する。
【００１８】
グラス端末２００は、グラス端末２００におけるユーザーによる操作又はユーザーに対する操作ガイドが有効か否かを示すフラグ情報をＭＦＰ１００に対して送信する。ＭＦＰ１００は、受信したフラグ情報が有効であることを示す場合、ＭＦＰ１００におけるユーザーからの操作又はユーザーに対する操作ガイドを無効にする。ＭＦＰ１００は、受信したフラグ情報が無効であることを示す場合、ＭＦＰ１００におけるユーザーからの操作又はユーザーに対する操作ガイドを有効にする。
【００１９】
１．２  ＭＦＰ１００
ＭＦＰ１００は、スキャナー、ファクシミリ、プリンター、複写機等の機能を備えた画像形成装置である。
ＭＦＰ１００は、図２に示すように、スキャナー１０１、画像処理部（画像解析手段）１０２、通信部１０３、無線通信部（受信手段）１０４、撮像部（撮像手段）１０５、メモリ部１０６、ＣＰＵ（Central Processing Unit ）１０７、プリントエンジン１０８、ハードディスク１０９、操作パネル（ユーザーインターフェース手段）１１０、音声処理部（音声処理手段）１１１、マイク（ユーザーインターフェース手段）１１２、スピーカー（ユーザーインターフェース手段）１１３、ＬＥＤ駆動制御部１１４、ＬＥＤ（ユーザーインターフェース手段）１１５、アンテナ１１７及びバス１１６から構成されている。
【００２０】
スキャナー１０１、画像処理部１０２、通信部１０３、無線通信部１０４、撮像部１０５、メモリ部１０６、ＣＰＵ１０７、プリントエンジン１０８、ハードディスク１０９、操作パネル１１０、音声処理部１１１及びＬＥＤ駆動制御部１１４は、それぞれ、バス１１６に接続されている。
（１）メモリ部１０６及びＣＰＵ１０７
メモリ部１０６は、複数の制御プログラムを記憶している。各制御プログラムは、所定の機能を達成するために、ＣＰＵ１０７に対する指令を示す命令コードが複数個組み合わされて構成されたコンピュータープログラムである。
【００２１】
ＣＰＵ１０７は、フェッチ部、解読部、実行部、レジスタファイル、命令カウンタなどから構成されている。フェッチ部は、メモリ部１０６に記憶されている制御プログラムから、制御プログラムに含まれる各命令コードを１個ずつ読み出す。解読部は、読み出した命令コードを解読する。実行部は、解読結果に従って動作する。
ＣＰＵ１０７が、メモリ部１０６に記憶されている制御プログラムに従って動作することにより、ＭＦＰ１００は、その一部の機能を達成する。従って、メモリ部１０６及びＣＰＵ１０７は、図２に示すように、機能的に主制御部（制御手段）１２１及び情報記憶部１２２を構成する。主制御部１２１は、入力部（ユーザーインターフェース手段）１２３を含む。
【００２２】
（２）情報記憶部１２２
情報記憶部１２２は、グラス端末２００において、フラグ情報として、ジェスチャ操作が有効か否かを示すジェスチャ操作フラグを記憶するための領域を有している。
（３）スキャナー１０１及びプリントエンジン１０８
スキャナー１０１は、原稿を読み取り、画像データを生成する。生成した画像データを、メモリ部１０６又はハードディスク１０９に書き込む。
【００２３】
プリントエンジン１０８は、メモリ部１０６又はハードディスク１０９に記憶されている画像データを印刷する。プリントエンジン１０８は、一例として、回転駆動可能に設置された感光体ドラムの周囲に帯電チャージャー、露光部、現像器、転写部、残留トナーのクリーナーを配置した構成である。露光部は、帯電チャージャーによって所定の電位に均一に帯電された感光体ドラムの表面に露光して、入力画像に応じた静電潜像を形成する。この静電潜像は、現像器で現像され、トナー画像とされる。記録用シートが転写部へ搬送され、記録用シートは、ここでトナー画像を転写され、定着器で定着が施された後、ＭＦＰ１００の上部に排出される。
【００２４】
（４）通信部１０３、無線通信部１０４、アンテナ１１７、ハードディスク１０９及び操作パネル１１０
通信部１０３は、ネットワークを介して、外部の装置と接続されている。通信部１０３は、外部の装置との間で情報の送受信を行う。
無線通信部１０４は、アンテナ１１７を介して、無線によりグラス端末２００との間で情報の送受信を行う。
【００２５】
アンテナ１１７は、電波を受信し、出力する。
ハードディスク１０９は、長期保存用のデータを格納する。
操作パネル１１０は、ユーザーから操作を受け付け、ユーザーに対する操作ガイドを行うユーザーインターフェース手段である。操作パネル１１０は、利用者の操作を受け付ける。また、操作パネル１１０は、ユーザーに対して操作ガイドを行うための操作パネル画像を表示する。操作パネル画像は、複数の選択肢をそれぞれ示す複数の選択肢画像を含む。一例として、選択肢画像は、コピーを指示するための画像、ファクシミリ送信を指示するための画像、原稿のスキャンを指示するための画像等である。それぞれの選択肢画像がユーザーにより選択されると、選択された選択肢画像に対応する処理が行われる。
【００２６】
グラス端末２００において、ジェスチャ操作が無効である場合、操作パネル１１０は、ユーザーによるタッチ操作を受け付ける。操作パネル１１０は、タッチ位置を検出し、検出したタッチ位置を主制御部１２１に対して出力する。
（５）撮像部１０５及び画像処理部１０２
撮像部１０５は、現実の空間を撮影して、映像を生成する。生成した映像を画像処理部１０２に対して出力する。
【００２７】
画像処理部１０２は、撮像部１０５から映像を受け取る。受け取った映像の各フレーム画像を解析して、ユーザーのジェスチャによる操作内容を推定する。推定した操作内容を示す操作信号を生成し、生成した操作信号を入力部１２３に対して出力する。詳細については、後述する画像処理部２０２と同様であるので、ここでは、説明を省略する。
（６）音声処理部１１１、マイク１１２及びスピーカー１１３
マイク１１２は、音波を受けて振動する振動板に伴って、磁界内でコイルが振動することにより、音声信号を生成する。次に、生成した音声信号を音声処理部１１１に対して出力する。マイク１１２が受け取る音波は、一例として、ユーザーの指示を表す音声である。ユーザーの音声は、例えば、「コピー」、「スキャン」、「ファクシミリ」等である。
【００２８】
スピーカー１１３は、音声処理部１１１から音声信号を受け取り、受け取った音声信号に従って振動板を振動させて、音波を出力する。
音声処理部１１１は、マイク１１２から受け取った音声信号を解析して、ユーザーの音声を認識し、ユーザーの操作内容を推定する。推定した操作内容を示す操作信号を生成し、生成した操作信号を主制御部１２１の入力部１２３に対して出力する。
【００２９】
また、音声処理部１１１は、主制御部１２１から音声メッセージを表した音声情報を受け取る。ここで、音声メッセージは、ユーザーに対する操作ガイダンスを表す。音声メッセージは、例えば、「ＣＯＰＹボタンを押してください」、「操作に誤りがあります」、「印刷が完了しました」等である。音声処理部１１１は、受け取った音声情報を基にして、音声信号を生成し、生成した音声信号をスピーカー１１３に対して出力する。
【００３０】
（７）ＬＥＤ駆動制御部１１４及びＬＥＤ１１５
ＬＥＤ駆動制御部１１４は、主制御部１２１からの指示により、ＬＥＤ１１５に対して、点灯し、消灯し、点滅し、表示色を変更するように、制御する。
ＬＥＤ１１５は、ＬＥＤ駆動制御部１１４の制御により、点灯し、消灯し、点滅し、表示色を変更する。
【００３１】
（８）主制御部１２１
主制御部１２１の入力部１２３は、操作パネル１１０、画像処理部１０２及び音声処理部１１１から、ユーザーの入力を示す操作信号を受け取る。操作信号を受け取ると、主制御部１２１は、操作信号に応じた処理を行う。
主制御部１２１は、グラス端末２００から、操作開始信号及びジェスチャ操作フラグを受信する。ここで、操作開始信号は、ユーザーによりグラス端末２００に対する操作が開始されたことを示す信号である。また、ジェスチャ操作フラグは、グラス端末２００において、ユーザーによるジェスチャ操作が有効であるか否かを示すフラグである。
【００３２】
操作開始信号及びジェスチャ操作フラグを受信すると、主制御部１２１は、操作パネル１１０の表示をＯＦＦにするように、操作パネル１１０を制御する。また、主制御部１２１は、受信したジェスチャ操作フラグを情報記憶部１２２に書き込む。
主制御部１２１は、受信し、情報記憶部１２２に記憶しているジェスチャ操作フラグにより、グラス端末２００において、ジェスチャ操作が有効か否かを判断する。
【００３３】
（ジェスチャ操作が有効である場合）
グラス端末２００において、ジェスチャ操作が有効である場合、主制御部１２１は、操作パネル１１０の操作機能をＯＦＦにするように、操作パネル１１０を制御する。
また、この場合、主制御部１２１は、グラス端末２００から、操作の内容を受信する。操作の内容を受信すると、主制御部１２１は、受信した操作の内容に応じた処理を行う。
【００３４】
（ジェスチャ操作が無効である場合）
グラス端末２００において、ジェスチャ操作が無効である場合、主制御部１２１は、操作パネル１１０の操作機能をＯＮにするように、操作パネル１１０を制御する。
グラス端末２００において、ジェスチャ操作が無効である場合、主制御部１２１は、操作パネル１１０から、ユーザーによるタッチ位置を受け取る。次に、主制御部１２１は、タッチ位置をグラス端末２００に対して送信する。
【００３５】
また、この場合、主制御部１２１は、グラス端末２００から、操作の内容を受信する。操作の内容を受信すると、主制御部１２１は、受信した操作の内容に応じた処理を行う。
１．３  グラス端末２００
グラス端末２００は、ヘッドマウントディスプレィ（ＨＭＤ）とも呼ばれる。グラス端末２００は、操作パネル画像を表示するとともにユーザーの操作を受け付ける眼鏡型の拡張現実表示端末である。グラス端末２００は、一例として、表示面に表示される操作パネル画像とともに、透明な表示面を介して外部の景色などを見ることができる透過型の表示装置として構成されている。
【００３６】
グラス端末２００は、図１に示すように、一対のレンズ２４１ａ及び２４１ｂと、レンズ２４１ａ及び２４１ｂの外周縁を支持するレンズ枠２４２と、レンズ枠２４２の両端部に、蝶番により回動可能に支持された一対のテンプル（つる）２４３ａ及び２４３ｂとから構成されている。一対のテンプル２４３ａ及び２４３ｂのうち、一方のテンプル２４３ｂのレンズ枠２４２に近接する側には、駆動制御部２０１が設けられている。
【００３７】
駆動制御部２０１は、図３に示すように、画像処理部（画像解析手段、画像生成手段）２０２、撮像部（撮像手段）２０３、アンテナ２０４、無線通信部（送信手段）２０５、ＣＰＵ２０７、メモリ部２０８、操作部２０９、音声処理部（音声処理手段、音声生成手段）２１０、マイク（音声入力手段）２１１、スピーカー（音声出力手段）２１２、バス２１３及び表示機構２１４（表示手段）から構成されている。
【００３８】
（１）ＣＰＵ２０７及びメモリ部２０８
メモリ部２０８は、複数の制御プログラムを記憶している。各制御プログラムは、所定の機能を達成するために、ＣＰＵ２０７に対する指令を示す命令コードが複数個組み合わされて構成されたコンピュータープログラムである。
ＣＰＵ２０７は、フェッチ部、解読部、実行部、レジスタファイル、命令カウンタなどから構成されている。フェッチ部は、メモリ部２０８に記憶されている制御プログラムから、制御プログラムに含まれる各命令コードを１個ずつ読み出す。解読部は、読み出した命令コードを解読する。実行部は、解読結果に従って動作する。
【００３９】
ＣＰＵ２０７がメモリ部２０８に記憶されている制御プログラムに従って動作することにより、駆動制御部２０１は、その一部の機能を達成する。従って、ＣＰＵ２０７及びメモリ部２０８は、図３に示すように、機能的に主制御部２２１及び情報記憶部（記憶手段）２２２を構成する。主制御部２２１は、入力部２２３を含む。
（２）情報記憶部２２２
情報記憶部２２２は、グラス端末２００におけるユーザーによる操作又はユーザーに対する操作ガイドが有効か否かを示すフラグ情報を記憶している。フラグ情報の一例は、ジェスチャ操作が有効か否かを示すジェスチャ操作フラグである。ここで、ジェスチャ操作は、グラス端末２００の表示面に表示される操作パネル画像に対する仮想的なユーザーの操作である。
【００４０】
（３）撮像部２０３及び画像処理部２０２
撮像部２０３は、現実の空間を撮影して、映像を生成する。生成した映像を画像処理部２０２に対して出力する。
画像処理部２０２は、撮像部２０３から映像を受け取る。受け取った映像の各フレーム画像を解析して、映像フレーム内における操作パネル１１０に対応するオブジェクトの位置及び当該オブジェクトにおいて表されている内容を検出する。また、検出された内容に基づいて、当該内容を表す操作パネル画像を生成する。
【００４１】
また、画像処理部２０２は、映像の各フレーム画像を解析して、ユーザーのジェスチャによる操作内容を推定する。推定した操作内容を示す操作信号を生成し、生成した操作信号を入力部２２３に対して出力する。
具体的には、図５に示すように、画像処理部２０２は、映像の各フレーム画像を解析する。これにより、フレーム画像がユーザーの手元３０１等である操作体を示すオブジェクトを含んでいるか否かを判断する。フレーム画像がユーザーの手元を示すオブジェクトを含んでいるか否かの判断は、当該オブジェクトと、予め記憶している複数のユーザーの手元を写した複数のサンプル画像とを照合することにより行う。フレーム画像がユーザーの手元を示すオブジェクトを含んでいる場合、画像処理部２０２は、そのオブジェクトから肌色の部分３０２を抽出する。次に、画像処理部２０２は、時系列に抽出した肌色の部分３１１が、肌色の部分３１２のように、一度、下がり、その直後に、肌色の部分３１３のように、上がる動きをしている場合に、ボタンを押す操作をしたと判断する。
【００４２】
（４）アンテナ２０４及び無線通信部２０５
アンテナ２０４は、電波を受信し、出力する。
無線通信部２０５は、アンテナ２０４を介して、無線によりＭＦＰ１００との間で情報の送受信を行う。
（５）操作部２０９
操作部２０９は、複数のボタンから構成されている。ユーザーにより、これらのボタンが押下されると、各ボタンに対応する操作信号を生成する。次に、生成した操作信号を主制御部２２１に対して出力する。複数のボタンのうちの、一つのボタンの押下は、グラス端末２００に対する操作の開始を示す。このボタンが押下されると、操作部２０９は、グラス端末２００に対する操作の開始を示す操作開始信号を生成する。
【００４３】
（６）音声処理部２１０、マイク２１１及びスピーカー２１２
マイク２１１は、音波を受けて振動する振動板に伴って、磁界内でコイルが振動することにより、音声信号を生成する。次に、生成した音声信号を音声処理部２１０に対して出力する。マイク２１１が受け取る音波は、一例として、ユーザーの指示を表す音声である。ユーザーの音声は、例えば、「コピー」、「スキャン」、「ファクシミリ」等である。
【００４４】
スピーカー２１２は、音声処理部２１０から音声信号を受け取り、受け取った音声信号に従って振動板を振動させて、音波を出力する。
音声処理部２１０は、マイク２１１から受け取った音声信号を解析する。次に、解析結果を用いて、ユーザーの音声を認識し、ユーザーの指示を特定する。ユーザーの指示は、例えば、コピーの指示、スキャンの指示、ファクシミリによる送信の指示等である。特定した指示を示す操作信号を生成し、生成した操作信号を主制御部２２１に対して出力する。
【００４５】
また、音声処理部２１０は、主制御部２２１から音声メッセージを表した音声情報を受け取る。ここで、音声メッセージは、ユーザーに対する操作ガイダンス等を表す。音声メッセージは、例えば、「ＣＯＰＹボタンを押してください」、「操作に誤りがあります」、「印刷が完了しました」等である。音声処理部２１０は、受け取った音声情報を基にして、音声信号を生成し、生成した音声信号をスピーカー２１２に対して出力する。
【００４６】
（７）表示機構２１４
表示機構２１４は、レーザー光源、レーザー制御部及び走査部を備えている。
レーザー光源は、レーザー光を出射する。
走査部は、レーザー光源から出射されるレーザー光を走査して、レーザー光をレンズ２４１ｂ上の表示面（表示部）２０６に照射する。
【００４７】
レーザー制御部は、主制御部２２１の制御により、レーザー光が操作パネル画像を形成するように、レーザー光源によるレーザー光の出射、及び、走査部による走査を制御する。
レンズ２４１ｂ上の透過型の表示面２０６には、偏向板が張り付けられている。偏向板は、走査部により走査されたレーザー光をユーザーの眼に向かう方向に偏向する。
【００４８】
このように、表示機構２１４は、画像処理部２０２により検出された、操作パネル１１０に対応するオブジェクトの位置を用いて、ユーザーが表示面２０６を通じて、操作パネル１１０に重畳して視認できる状態で、画像処理部２０２により生成された操作パネル画像を表示面２０６に表示する。
（８）主制御部２２１
主制御部２２１の入力部２２３は、操作部２０９、画像処理部２０２及び音声処理部２１０から、ユーザーの操作を示す操作信号を受け取る。操作信号を受け取ると、主制御部２２１は、操作信号に応じた処理を行う。
【００４９】
操作信号として、操作部２０９から、ユーザーによるグラス端末２００に対する操作の開始を示す操作開始信号を受け取った場合、主制御部２２１は、操作開始信号をＭＦＰ１００に対して送信する。
また、主制御部２２１は、情報記憶部２２２からジェスチャ操作フラグを読み出し、読み出したジェスチャ操作フラグを、ＭＦＰ１００に対して送信する。
【００５０】
主制御部２２１は、画像処理部２０２から、生成された操作パネル画像を受け取る。次に、主制御部２２１は、ユーザーがＭＦＰ１００の操作パネル１１０に重畳して視認できるように、生成した操作パネル画像を、表示するよう、表示機構２１４を制御する。
（ジェスチャ操作が有効である場合）
主制御部２２１は、入力部２２３が受け取ったユーザーの操作を示す操作信号を用いて、仮想的な操作パネルの画面を遷移させる。次に、新たな操作パネル画像を生成する。次に、主制御部２２１は、ユーザーがＭＦＰ１００の操作パネルに重畳して視認できるように、生成した操作パネル画像を、表示するよう、表示機構２１４を制御する。また、主制御部２２１は、操作の内容をＭＦＰ１００に対して送信する。
【００５１】
（ジェスチャ操作が無効である場合）
主制御部２２１は、ＭＦＰ１００から、操作パネル１１０におけるユーザーによるタッチ位置を受信する。
主制御部２２１は、タッチ位置と操作の内容との対応を示す対応表を予め記憶している。主制御部２２１は、対応表を用いて、受信したタッチ位置に対応する操作の内容を特定する。次に、特定した操作の内容により、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、主制御部２２１は、ユーザーがＭＦＰ１００の操作パネルに重畳して視認できるように、生成した操作パネル画像を、表示するよう、表示機構２１４を制御する。次に、主制御部２２１は、操作の内容をＭＦＰ１００に対して送信する。
【００５２】
１．４  操作システム１０の動作
操作システム１０の動作について、図６〜図８に示すシーケンス図を用いて説明する。  操作部２０９は、ユーザーからグラス端末２００に対する操作の開始を示す操作を受け付け、操作開始信号を出力する（ステップＳ１０１）。
撮像部２０３は、現実の空間を撮影して、映像を生成する。その撮影先は、ＭＦＰ１００の操作パネル１１０を含む（ステップＳ１０２）。画像処理部２０２は、映像を解析して、操作パネルの内容及び位置を特定する（ステップＳ１０３）。
【００５３】
主制御部２２１は、グラス端末２００の操作の開始を示す操作開始信号を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ１０４）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作開始信号を受信する（ステップＳ１０４）。
【００５４】
主制御部２２１は、情報記憶部２２２からジェスチャ操作が有効か否かを示すジェスチャ操作フラグを読み出し、読み出したジェスチャ操作フラグを無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ１０５）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、ジェスチャ操作フラグを受信する（ステップＳ１０５）。
【００５５】
主制御部２２１は、特定した操作パネルの内容により、操作パネル画像を生成し、生成した操作パネル画像を、ＭＦＰ１００の操作パネルに重畳するように、表示するよう、表示機構２１４を制御する。表示機構２１４は、操作パネル画像を表示する（ステップＳ１０６）。
ジェスチャ操作フラグを受信すると、主制御部１２１は、操作パネル１１０の表示をＯＦＦにする（ステップＳ１０７）。
【００５６】
主制御部１２１は、ジェスチャ操作フラグにより、グラス端末２００におけるジェスチャ操作が有効か否かを判断する（ステップＳ１０８）。
ジェスチャ操作が有効である場合（ステップＳ１０８で「有効」）、主制御部１２１は、操作パネル１１０の操作機能をＯＦＦにする（ステップＳ１１０）。
ジェスチャ操作が無効である場合（ステップＳ１０８で「無効」）、主制御部１２１は、操作パネル１１０の操作機能をＯＮにする（ステップＳ１０９）。
【００５７】
（ジェスチャ操作が有効である場合）
以下に、グラス端末２００におけるジェスチャ操作が有効である場合について、図７に示すシーケンス図を用いて、説明する。
ユーザーは、ジェスチャによる入力を行う。撮像部２０３は、現実の空間を撮影して、映像を生成する。その撮影先は、ユーザーの手を含む（ステップＳ１３１）。
【００５８】
画像処理部２０２は、映像の各フレーム画像を解析して、ユーザーのジェスチャによる操作を特定する（ステップＳ１３２）。
主制御部２２１は、特定された操作により、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、生成した操作パネル画像を、ＭＦＰ１００の操作パネルに重畳するように、表示するよう、表示機構２１４を制御する。表示機構２１４は、新たな操作パネル画像を表示する（ステップＳ１３３）。
【００５９】
主制御部２２１は、操作の内容を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ１３４）。次に、主制御部２２１は、ステップＳ１３１に戻って、処理を繰り返す。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作の内容を受信する（ステップＳ１３４）。
【００６０】
主制御部１２１は、受信した操作の内容に応じた処理を行う（ステップＳ１３５）。
主制御部１２１は、ステップＳ１３４に戻って、処理を繰り返す。
（ジェスチャ操作が無効である場合）
以下に、グラス端末２００におけるジェスチャ操作が無効である場合について、図８に示すシーケンス図を用いて、説明する。
【００６１】
操作パネル１１０は、ユーザーによるタッチ操作を受け付ける（ステップＳ１５１）。操作パネル１１０は、タッチ位置を検出する（ステップＳ１５２）。主制御部１２１は、タッチ位置を、無線通信部１０４及びアンテナ１１７を介して、グラス端末２００に対して送信する（ステップＳ１５３）。
主制御部２２１は、ＭＦＰ１００から、アンテナ２０４及び無線通信部２０５を介して、タッチ位置を受信する（ステップＳ１５３）。
【００６２】
主制御部２２１は、受信したタッチ位置を用いて、操作の内容を特定する。次に、特定した操作の内容により、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、生成した操作パネル画像を、ＭＦＰ１００の操作パネルに重畳するように、表示するよう、表示機構２１４を制御する。表示機構２１４は、操作パネル画像を表示する（ステップＳ１５４）。
【００６３】
主制御部２２１は、操作の内容を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ１５５）。次に、主制御部２２１は、ステップＳ１５３に戻って、処理を繰り返す。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作の内容を受信する（ステップＳ１５５）。主制御部１２１は、受信した操作の内容に応じた処理を行う（ステップＳ１５６）。次に、主制御部１２１は、ステップＳ１５１に戻って、処理を繰り返す。
【００６４】
２．変形例（１）
操作システム１０の変形例としての操作システム１０ａについて説明する。
２．１  操作システム１０ａ
操作システム１０ａは、操作システム１０と類似した構成を有している。ここでは、操作システム１０との相違点を中心として、説明する。
【００６５】
操作システム１０ａは、操作システム１０と同様に、ＭＦＰ１００及びグラス端末２００を含む。
操作システム１０ａのグラス端末２００においては、撮像部２０３が無効となっている場合がある。又は、グラス端末２００は、撮像部２０３を備えていない場合がある。
グラス端末２００の撮像部２０３が無効の場合、又は、グラス端末２００が撮像部２０３を備えていない場合には、グラス端末２００は、撮影によりＭＦＰ１００の操作パネル１１０の位置を知ることができない。また、グラス端末２００においては、ジェスチャ操作も使うことができない。
【００６６】
この場合、図９に示すように、グラス端末２００の表示面２０６に表示される操作パネル画像２３０ａは、ＭＦＰ１００の操作パネル１１０に重畳されない。
また、グラス端末２００は、ジェスチャ操作ではなく、一例として、ユーザーの音声により、操作を受け付ける。
情報記憶部２２２は、フラグ情報として、撮像が無効であることを示すカメラフラグを記憶している。
【００６７】
２．２  操作システム１０ａの動作
操作システム１０ａの動作について、図１０に示すシーケンス図を用いて説明する。  
主制御部２２１は、情報記憶部２２２から、カメラフラグを読み出す。主制御部２２１は、カメラフラグが有効を示すか否かを判断する（ステップＳ２０１）。
カメラフラグが無効を示す場合（ステップＳ２０１で「無効」）、主制御部２２１は、操作パネル画像を生成する。次に、主制御部２２１は、生成した操作パネル画像を表示するよう、表示機構２１４を制御する。表示機構２１４は、新たな操作パネル画像を表示する（ステップＳ２０２）。この場合、操作パネル画像は、ＭＦＰ１００の操作パネル１１０に重畳されない。
【００６８】
主制御部２２１は、カメラである撮像部２０３が無効であることを示すカメラフラグを無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ２０３）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、カメラフラグを受信する（ステップＳ２０３）。
【００６９】
カメラフラグを受信すると、主制御部１２１は、操作パネル１１０の表示をＯＦＦにする（ステップＳ２０９）。次に、主制御部１２１は、操作パネル１１０の操作機能をＯＦＦにする（ステップＳ２１０）。
一方、マイク２１１は、音声入力を受け付け、音声信号に変換して音声処理部２１０に対して出力する（ステップＳ２０４）。ここで、音声入力は、ユーザーの指示を表す音声である。ユーザーの音声は、例えば、「コピー」、「スキャン」、「ファクシミリ」等である。
【００７０】
音声処理部２１０は、マイク２１１から受け取った音声信号を解析する（ステップＳ２０５）。次に、音声処理部２１０は、解析結果を用いて、ユーザーの指示を特定する。次に、特定した指示を示す操作信号を主制御部２２１に対して出力する（ステップＳ２０６）。
主制御部２２１は、音声処理部２１０から受け取った指示に基づいて、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、生成した操作パネル画像を表示するよう、表示機構２１４を制御する。表示機構２１４は、新たな操作パネル画像を表示する（ステップＳ２０７）。
【００７１】
主制御部２２１は、操作の内容を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ２０８）。次に、主制御部２２１は、ステップＳ２０４に戻って、処理を繰り返す。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作の内容を受信する（ステップＳ２０８）。
【００７２】
主制御部１２１は、受信した操作の内容に応じた処理を行う（ステップＳ２１１）。次に、主制御部１２１は、ステップＳ２０８に戻って、処理を繰り返す。
３．変形例（２）
操作システム１０の変形例としての操作システム１０ｂについて説明する。
３．１  操作システム１０ｂ
操作システム１０ｂは、操作システム１０と類似した構成を有している。ここでは、操作システム１０との相違点を中心として、説明する。
【００７３】
操作システム１０ｂは、操作システム１０と同様に、ＭＦＰ１００及びグラス端末２００を含む。
操作システム１０ｂにおいては、グラス端末２００におけるユーザーの操作と、ＭＦＰ１００におけるユーザーの操作とが衝突している場合には、ＭＦＰ１００における操作を停止する。また、グラス端末２００におけるユーザーの操作に対する操作ガイドが、ＭＦＰ１００における操作ガイドと重複している場合には、ＭＦＰ１００における操作ガイドを停止する。
【００７４】
情報記憶部２２２は、フラグ情報として、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを記憶している。
音声操作フラグは、グラス端末２００において、音声操作が有効か否かを示す。
ジェスチャ操作フラグは、グラス端末２００において、ジェスチャ操作が有効か否かを示す。
【００７５】
音声通知フラグは、グラス端末２００において、音声通知が有効か否かを示す。
表示フラグは、グラス端末２００において、表示が有効か否かを示す。
３．２  操作システム１０ｂの動作
操作システム１０ｂの動作について、図１１に示すシーケンス図を用いて説明する。
主制御部２２１は、グラス端末２００の操作の開始を示す操作開始信号を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ３０１）。
【００７６】
次に、主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作開始信号を受信する（ステップＳ３０１）。
主制御部２２１は、情報記憶部２２２から、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを読み出す。次に、読み出した音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ３０２）。
【００７７】
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを受信する（ステップＳ３０２）。
主制御部１２１は、受信した音声操作フラグを用いて、グラス端末２００において、音声操作が有効か否かを判断する（ステップＳ３０３）。
【００７８】
グラス端末２００において、音声操作が有効である場合（ステップＳ３０３で「Ｙｅｓ」）、主制御部１２１は、音声処理部１１１による解析を停止することにより、又は、入力部１２３により受け取った操作内容（操作信号）を破棄することにより、ＭＦＰ１００に対する音声入力（音声操作）を無効（ＯＦＦ）とする（ステップＳ３０５）。グラス端末２００において、音声操作が無効である場合（ステップＳ３０３で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００の音声操作を有効（ＯＮ）とする（ステップＳ３０４）。
【００７９】
主制御部１２１は、受信したジェスチャ操作フラグを用いて、グラス端末２００において、ジェスチャ操作が有効か否かを判断する（ステップＳ３０６）。
グラス端末２００において、ジェスチャ操作が有効である場合（ステップＳ３０６で「Ｙｅｓ」）、主制御部１２１は、画像処理部１０２による解析を停止することにより、又は、入力部１２３により受け取った操作内容を破棄することにより、ＭＦＰ１００に対するジェスチャ操作を無効（ＯＦＦ）とする（ステップＳ３０８）。グラス端末２００において、ジェスチャ操作が無効である場合（ステップＳ３０６で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００に対するジェスチャ操作を有効（ＯＮ）とする（ステップＳ３０７）。
【００８０】
主制御部１２１は、受信した音声通知フラグを用いて、グラス端末２００において、音声通知が有効か否かを判断する（ステップＳ３０９）。
グラス端末２００において、音声通知が有効である場合（ステップＳ３０９で「Ｙｅｓ」）、主制御部１２１は、音声処理部１１１による音声信号の生成を停止することにより及びマイク１１２による音波の出力を停止することにより、ＭＦＰ１００の音声出力を無効（ＯＦＦ）とする（ステップＳ３１１）。グラス端末２００において、音声通知が無効である場合（ステップＳ３０９で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００の音声出力を有効（ＯＮ）とする（ステップＳ３１０）。
【００８１】
主制御部１２１は、受信した表示フラグを用いて、グラス端末２００において、表示が有効か否かを判断する（ステップＳ３１２）。
グラス端末２００において、表示が有効である場合（ステップＳ３１２で「Ｙｅｓ」）、主制御部１２１は、ＬＥＤ駆動制御部１１４に対してＬＥＤ１１５の発光を停止させ、ＬＥＤ１１５が発光を停止することにより、ＭＦＰ１００のＬＥＤ１１５による通知（発光）を無効（ＯＦＦ）とする（ステップＳ３１４）。グラス端末２００において、表示が無効である場合（ステップＳ３１２で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００のＬＥＤ１１５による通知（発光）を有効（ＯＮ）とする（ステップＳ３１３）。
【００８２】
主制御部２２１は、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグの設定変更があるか否かを判断する（ステップＳ３１６）。
設定変更がない場合（ステップＳ３１６で「Ｎｏ」）、主制御部２２１は、ステップＳ３１６に戻って処理を繰り返す。
設定変更がある場合（ステップＳ３１６で「Ｙｅｓ」）、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグの設定変更の通知を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ３１７）。
【００８３】
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、設定変更の通知を受信する（ステップＳ３１７）。
主制御部１２１は、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグの設定変更があるか否かを判断する（ステップＳ３１５）。
設定変更がない場合（ステップＳ３１５で「Ｎｏ」）、主制御部１２１は、ステップＳ３１７に戻って処理を繰り返す。
【００８４】
設定変更がある場合（ステップＳ３１５で「Ｙｅｓ」）、主制御部１２１は、ステップＳ３０３に戻って処理を繰り返す。
４．その他の変形例
本発明について、上記の実施の形態に基づいて説明しているが、上記の実施の形態に限定されない。以下に示すようにしてもよい。
【００８５】
（１）上記の実施の形態及び各変形例において、グラス端末２００は、表示面に表示される操作パネル画像とともに、透明な表示面を介して外部の景色などを見ることができる透過型の表示装置であるとしている。
しかし、これには、限定されない。
グラス端末２００は、非透過型の表示装置であるとしてもよい。この場合、撮像部２０３による映像を、非透過型の表示面に表示する。
【００８６】
また、グラス端末２００に代えて、スマートフォンやタブレットを用いるとしてもよい。
（２）上述したように、各装置は、マイクロプロセッサとメモリとを備えたコンピューターシステムである。前記メモリは、コンピュータープログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータープログラムに従って動作するとしてもよい。
【００８７】
ここで、コンピュータープログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
また、コンピュータープログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。
【００８８】
また、コンピュータープログラムを、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するとしてもよい。
また、コンピュータープログラムを前記記録媒体に記録して移送することにより、又はコンピュータープログラムをネットワーク等を経由して移送することにより、独立した他のコンピューターシステムにより実行するとしてもよい。
【００８９】
（３）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【００９０】
本発明に係る操作システムにおいては、画像形成装置に対するユーザー操作と、端末装置に対するユーザー操作が衝突しないようにできる。このため、端末装置及び画像形成装置から構成される操作システムとして、有用である。
【符号の説明】
【００９１】
１０、１０ａ、１０ｂ    操作システム
１００    ＭＦＰ
１０１    スキャナー
１０２    画像処理部
１０３    通信部
１０４    無線通信部
１０５    撮像部
１０６    メモリ部
１０７    ＣＰＵ
１０８    プリントエンジン
１０９    ハードディスク
１１０    操作パネル
１１１    音声処理部
１１２    マイク
１１３    スピーカー
１１４    ＬＥＤ駆動制御部
１１５    ＬＥＤ
１１６    バス
１１７    アンテナ
１２１    主制御部
１２２    情報記憶部
１２３    入力部
２００    グラス端末
２０１    駆動制御部
２０２    画像処理部
２０３    撮像部
２０４    アンテナ
２０５    無線通信部
２０６    表示面
２０７    ＣＰＵ
２０８    メモリ部
２０９    操作部
２１０    音声処理部
２１１    マイク
２１２    スピーカー
２１３    バス
２１４    表示機構
２２１    主制御部
２２２    情報記憶部
２２３    入力部
２４１ａ、２４１ｂ  レンズ
２４２    レンズ枠
２４３ａ、２４３ｂ  テンプル
【図１】
0006439451.tif 000002
【図２】
0006439451.tif 000003
【図３】
0006439451.tif 000004
【図４】
0006439451.tif 000005
【図５】
0006439451.tif 000006
【図６】
0006439451.tif 000007
【図７】
0006439451.tif 000008
【図８】
0006439451.tif 000009
【図９】
0006439451.tif 000010
【図１０】
0006439451.tif 000011
【図１１】
0006439451.tif 000012