(57)【特許請求の範囲】
【請求項１】
ユーザーが頭部に装着するメガネ型端末によって本体装置を操作する操作システムであって、
前記メガネ型端末は、
ユーザーの前方視界の画像を撮像する視界撮像部と、
ユーザーの眼球の画像を撮像する眼球撮像部と、
ユーザーが視認可能な画面表示部と、
選択項目が配置された画面を生成して前記画面表示部に表示する画面生成部と、
前記眼球撮像部によって撮像された画像に基づいて、前記画面表示部上のユーザーの視点を検出し、ユーザーが視点を合わせた前記選択項目の選択を受け付けると共に、前記眼球撮像部によって撮像された画像に基づいて、前記視界撮像部によって撮像された画像上の視点位置を特定する視点検出部と、
前記視点検出部によって特定された前記視点位置に基づいて、前記視界撮像部によって撮像された画像からサンプルデータを切り出すサンプルデータ切出部と、
前記視点検出部によって選択を受け付けた前記選択項目及び前記サンプルデータ切出部によって切り出された前記サンプルデータを前記本体装置に送信する端末通信部とを具備すると共に、
前記本体装置は、
前記メガネ型端末から受信した前記選択項目に基づく動作を実行する制御部と、
前記メガネ型端末から受信した前記サンプルデータに基づいて、前記メガネ型端末の前記画面表示部に表示する前記選択項目となる設定値候補を特定するサンプルデータ解析部と、
前記設定値候補を前記メガネ型端末に送信する本体通信部とを具備することを特徴とする操作システム。
【請求項２】
前記本体装置は、印刷データを印刷する画像形成装置であり、
前記本体装置の前記サンプルデータ解析部は、前記設定値候補として変更候補フォントを特定し、
前記本体装置の制御部は、前記選択項目として前記メガネ型端末から受信した前記変更候補フォントによって前記印刷データを編集して印刷することを特徴とする請求項１記載の操作システム。
【請求項３】
前記本体装置は、印刷データを印刷する画像形成装置であり、
前記本体装置の前記サンプルデータ解析部は、前記設定値候補として変更候補色を特定し、
前記本体装置の制御部は、前記選択項目として前記メガネ型端末から受信した前記変更候補色によって前記印刷データを編集して印刷することを特徴とする請求項１又は２記載の操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーの頭部に装着されるメガネ型のウェアラブル端末（以下、メガネ型端末と称す）によって本体装置を操作する操作システムに関する。
【背景技術】
【０００２】
近年、視線入力により操作を行うことができるヘッドマウントディスプレイが提案されている（例えば、特許文献１を参照）。このようなヘッドマウントディスプレイは、操作内容に対応するマーカーが表示され、マーカーに対するユーザーの一定時間以上の注視が検出された場合に、マーカーに対応する操作が実行されるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１８０２０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、操作項目の設定値を複数の中から選択する場合、ユーザーの視線によって選択する関係からディスプレイに表示可能な設定値の数は限られ、設定値が多数ある操作には対応することができないという問題があった。
【０００５】
本発明は上記課題に鑑みてなされたものであり、選択可能な設定値が多数ある操作を、メガネ型端末を用いて簡単に行うことができ、利便性を向上させることができる操作システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の操作システムは、ユーザーが頭部に装着するメガネ型端末によって本体装置を操作する操作システムであって、前記メガネ型端末は、ユーザーの前方視界の画像を撮像する視界撮像部と、ユーザーの眼球の画像を撮像する眼球撮像部と、ユーザーが視認可能な画面表示部と、選択項目が配置された画面を生成して前記画面表示部に表示する画面生成部と、前記眼球撮像部によって撮像された画像に基づいて、前記画面表示部上のユーザーの視点を検出し、ユーザーが視点を合わせた前記選択項目の選択を受け付けると共に、前記眼球撮像部によって撮像された画像に基づいて、前記視界撮像部によって撮像された画像上の視点位置を特定する視点検出部と、前記視点検出部によって特定された前記視点位置に基づいて、前記視界撮像部によって撮像された画像からサンプルデータを切り出すサンプルデータ切出部と、前記視点検出部によって選択を受け付けた前記選択項目及び前記サンプルデータ切出部によって切り出された前記サンプルデータを前記本体装置に送信する端末通信部とを具備すると共に、前記本体装置は、前記メガネ型端末から受信した前記選択項目に基づく動作を実行する制御部と、前記メガネ型端末から受信した前記サンプルデータに基づいて、前記メガネ型端末の前記画面表示部に表示する前記選択項目となる設定値候補を特定するサンプルデータ解析部と、前記設定値候補を前記メガネ型端末に送信する本体通信部とを具備することを特徴とする。
さらに、本発明の操作システムにおいて、前記本体装置は、印刷データを印刷する画像形成装置であり、前記本体装置の前記サンプルデータ解析部は、前記設定値候補として変更候補フォントを特定し、前記本体装置の制御部は、前記選択項目として前記メガネ型端末から受信した前記変更候補フォントによって前記印刷データを編集して印刷しても良い。
さらに、本発明の操作システムにおいて、前記本体装置は、印刷データを印刷する画像形成装置であり、前記本体装置の前記サンプルデータ解析部は、前記設定値候補として変更候補色を特定し、前記本体装置の制御部は、前記選択項目として前記メガネ型端末から受信した前記変更候補色によって前記印刷データを編集して印刷しても良い。
【発明の効果】
【０００７】
本発明によれば、ユーザーの視点に基づいて切り出されたサンプルデータ４４によって、ユーザーが選択する選択項目として設定値候補が特定される。従って、多数の選択可能な設定値があっても、メガネ型端末１では、設定値候補を選択することで、ユーザーは所望する操作を簡単に行うことができ、利便性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る操作システムのシステム構成図である。
【図２】図１に示すメガネ型端末の構成を示すブロック図である。
【図３】図１に示す画像形成装置の構成を示すブロック図である。
【図４】図１に示すメガネ型端末における印刷データの印刷動作を示すフローチャートである。
【図５】図１に示す画像形成装置における印刷データの印刷動作を示すフローチャートである。
【図６】図２に示す画面表示部での表示例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。
【００１０】
本実施の形態の操作システムは、図１に示すように、メガネ型端末１と、メガネ型端末１と無線等のネットワークで接続された本体装置である画像形成装置２とを備えている。画像形成装置２は、プリンター、複写機、ＭＦＰ（Multifunction Peripheral/Printer/Product）等の印刷機能を有する装置である。メガネ型端末１は、画像形成装置２で印刷する印刷データの編集を操作する装置である。
【００１１】
メガネ型端末１は、ユーザーが頭部に装着するメガネ型のウェアラブル端末である。図２に示すように、メガネ型端末１は、視界撮像部１１と、眼球撮像部１２と、画面表示部１３と、通信部１４と、記憶部１５と、制御部１６とを備えている。
【００１２】
視界撮像部１１は、図１に示すように、メガネ型端末１の前方側に向けて配置されたＣＣＤカメラやＣＭＯＳカメラ等の固体撮像素子で構成されたカメラであり、ユーザーの前方視界の画像を撮像する。以下、視界撮像部１１によって撮像された画像を視界画像と称す。
【００１３】
眼球撮像部１２は、図１に示すように、メガネ型端末１の後方側に向けて配置されたＣＣＤカメラやＣＭＯＳカメラ等の固体撮像素子で構成されたカメラであり、ユーザーの眼球の画像を撮像する。以下、眼球撮像部１２によって撮像された画像を視点検出画像と称す。
【００１４】
画面表示部１３は、メガネ型端末１をユーザーか装着すると、図１に示すような、ユーザーの眼球の直前に位置するハーフミラー１３ａを表示画面として有し、ハーフミラー１３ａに画像光を投影することでユーザーが視認可能な各種画面を表示する。
【００１５】
通信部１４は、無線ＬＡＮ等の無線通信によって、画像形成装置２と各種データを送受信する機能を有する。
【００１６】
記憶部１５は、半導体メモリ等の記憶手段であり、画像形成装置２から受信した印刷データ一覧や印刷イメージが記憶される。
【００１７】
制御部１６は、視界撮像部１１、眼球撮像部１２、画面表示部１３、通信部１４と、記憶部１５にそれぞれ接続され、メガネ型端末１全体の動作制御を実行する。制御部１６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータ等の情報処理部である。ＲＯＭにはメガネ型端末１の動作制御を行うための制御プログラムが記憶されている。制御部１６のＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、端末全体の制御を行う。また、制御部１６は、画面生成部１６１と、視点検出部１６２と、サンプルデータ切出部１６３としてそれぞれ機能する。
【００１８】
画面生成部１６１は、画像形成装置２から受信した印刷データ一覧が配置された印刷データ一覧画面を生成し、生成した印刷データ一覧画面を画面表示部１３のハーフミラー１３ａに表示させる。また、画面生成部１６１は、画像形成装置２から受信した印刷イメージが配置された印刷データ編集画面を生成し、生成した印刷データ編集画面を画面表示部１３のハーフミラー１３ａに表示させる。
【００１９】
視点検出部１６２は、視点検出画像に基づいて、ハーフミラー１３ａに表示された各種画面におけるユーザーの視点や、視界画像上のユーザーの視点を検出する。
【００２０】
サンプルデータ切出部１６３は、視点検出部１６２によって特定された視点位置が含まれる所定の領域（例えば、指定位置を中心とする予め設定された大きさの矩形領域）をサンプルデータとして切り出す。
【００２１】
次に、図３を参照して、画像形成装置２について説明する。本実施の形態の画像形成装置２は、ＭＦＰ（Multifunction Printer）であり、操作パネル２１と原稿読取部２２と記憶部２３と画像処理部２４と印刷部２５と通信部２６とファクシミリ部２７と制御部２８とを備えている。
【００２２】
操作パネル２１は、タッチパネルと操作ボタンとを備えている。タッチパネルは、各種操作キーや画像形成状況を表示する表示部の表面に透明の感圧センサーが設けられており、表示手段及び入力手段として機能する。タッチパネルは、表示面へのタッチ操作を検知して、タッチ操作が検知された位置に対応する信号を出力することで、表示部に表示した操作キーへの操作を受け付ける。また、操作ボタンは、印刷枚数等の数値を入力するためのテンキー、設定情報を初期化させる指示を入力するためのリセットキー、複写動作を停止させるためのストップキー、印刷動作を開始させる出力指示を入力するためのスタートキー等の各種操作キーを備えている。
【００２３】
原稿読取部２２は、図示しない原稿給紙装置により給紙されてきた原稿や、ユーザーによってプラテンガラスに載置された原稿に対して光を照射し、その反射光等を受光して原稿画像を読み取るスキャナーである。
【００２４】
記憶部２３は、半導体メモリやＨＤＤ等の記憶手段であり、通信部２６を介して受信された文字列を含む文書データや、原稿読取部２２によって読み取られた画像データや、通信部２６、ファクシミリ部２７を介して受信された画像データなどが印刷データとして蓄積される記憶手段である。また、記憶部２３には、複数の異なるフォント（○○明朝、××ゴシック等）が記憶されている。さらに、記憶部２３には、文書データの文字列を他の言語に翻訳するための辞書が記憶されている。
【００２５】
画像処理部２４は、画像データに対して所定の画像処理を行う手段である。画像処理部２４では、例えば、拡大縮小処理や、濃度調整、階調調整等の画像改善処理が行われる。
【００２６】
印刷部２５は、記憶部２３に記憶された画像データを印刷する印刷手段である。印刷部２５は、例えば、記憶部２３から読み出した画像データに基づき感光体ドラムの表面に潜像を形成し、トナーによってその潜像をトナー像とする画像形成を行い、その感光体ドラムから記録紙にトナー像を転写させ、そのトナー像を記録紙に定着させて排紙する。また、印刷部２５は、シアン、マゼンダ、イエロー、ブラック等のトナーを用いてそれぞれトナー像を形成する機能を有し、これらのトナー像を重ね合わせて記録紙に定着させることで、フルカラー印刷に対応している。
【００２７】
通信部２６は、無線ＬＡＮ等の無線通信によって、メガネ型端末１や外部端末と各種データを送受信する機能を有する。他にも、通信部２６は、ＬＡＮケーブル等の有線ケーブルを介して外部端末と各種データを送受信する機能を有している。
【００２８】
ファクシミリ部２７は、モデムを有し、原稿読取部２２によって読み取られた画像データや、記憶部２３に記憶されている画像データからファクシミリ信号を生成し、生成したファクシミリ信号を公衆回線網経由で送信するファクシミリ送信機能と、公衆回線網経由でファクシミリ信号を受信するファクシミリ受信機能とを備えている。
【００２９】
制御部２８は、操作パネル２１、原稿読取部２２、記憶部２３、画像処理部２４、印刷部２５、通信部２６及びファクシミリ部２７にそれぞれ接続されている。制御部２８は、ＲＯＭ、ＲＡＭ等を備えたマイクロコンピュータ等の情報処理部である。ＲＯＭには画像形成装置２の動作制御を行うための制御プログラムが記憶されている。制御部２８は、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、装置全体の制御を行う。また、制御部２８は、印刷データ一覧生成部２８１と、印刷イメージ生成部２８２と、印刷データ編集部２８３と、サンプルデータ解析部２８４として機能する。
【００３０】
印刷データ一覧生成部２８１は、記憶部２３に記憶されている印刷データの中から編集可能な印刷データを特定し、特定した印刷データのファイル名の一覧を印刷データ一覧として生成する。編集可能な印刷データは、文字列を含む文書データである。この文書データは、文字列の色、フォント、言語を編集可能である。
【００３１】
印刷イメージ生成部２８２は、メガネ型端末１からファイル名を通知された印刷データの印刷イメージを生成し、生成した印刷イメージを通信部２６経由でメガネ型端末１に送信する。また、印刷イメージ生成部２８２は、印刷データ編集部２８３によって生成された変更候補印刷データの印刷イメージを生成し、生成した印刷イメージを通信部２６経由でメガネ型端末１に送信する。
【００３２】
印刷データ編集部２８３は、メガネ型端末１からファイル名を通知された印刷データを、サンプルデータ解析部２８４によって特定された変更候補言語、変更候補フォント、変更候補色に変更した変更候補印刷データを生成する。
【００３３】
サンプルデータ解析部２８４は、メガネ型端末１から受信したサンプルデータに基づいて、変更候補言語、変更候補フォント及び変更候補色を特定する。
【００３４】
次に、本実施の形態の操作システムにおける印刷データの印刷動作について図４乃至図６を参照して詳細に説明する。
メガネ型端末１と画像形成装置２との通信が開始されると、画像形成装置２の制御部２８は、印刷データ一覧生成部２８１として機能する。メガネ型端末１と画像形成装置２との通信は、例えば、メガネ型端末１を装着したユーザーが画像形成装置２を視界に捉えることで開始される。この場合、メガネ型端末１の制御部１６は、画像形成装置２の形状を認識する機能を有し、視界画像内の画像形成装置２を認識することで、画像形成装置２との通信を開始させる。なお、メガネ型端末１に画像形成装置２との通信の開始を指示する操作部を設けても良い。また、画像形成装置２の操作パネル２１からメガネ型端末１との通信の開始を指示することもできる。
【００３５】
印刷データ一覧生成部２８１は、記憶部２３に記憶されている印刷データの中から編集可能な印刷データ（文字列を含む文書データ）を特定し、特定した印刷データのファイル名一覧を印刷データ一覧として生成する。そして、印刷データ一覧生成部２８１は、生成した印刷データ一覧を通信部２６経由でメガネ型端末１に送信する（図５、ステップＢ１）。
【００３６】
メガネ型端末１の制御部１６は、画像形成装置２から通信部１４経由で印刷データ一覧を受信すると（図４、ステップＡ１）、画面生成部１６１として機能する。画面生成部１６１は、図６（ａ）に示すような、受信した印刷データ一覧が配置された印刷データ一覧画面３０を生成し、生成した印刷データ一覧画面３０を画面表示部１３のハーフミラー１３ａに表示させる（図４、ステップＡ２）。印刷データ一覧画面３０において、印刷データ一覧のファイル名のそれぞれがユーザーの視点によって選択される選択項目となる。
【００３７】
次に、メガネ型端末１の制御部１６は、視点検出部１６２として機能する。視点検出部１６２は、視点検出画像に基づいて、ハーフミラー１３ａに表示された印刷データ一覧画面３０上のユーザーの視点を検出し、ユーザーの視点による選択項目（ファイル名）の選択を受け付ける。なお、視点検出部１６２は、ユーザーの視点が位置する選択項目を反転表示や枠等によってユーザーに通知し、その選択項目に視点が一定時間留まると、ユーザーの視点が位置する選択項目の選択を受け付ける。そして、点検出部１６２は、選択を受け付けたファイル名を通信部１４経由で画像形成装置２に通知する（図４、ステップＡ３）。
【００３８】
画像形成装置２の制御部２８は、メガネ型端末１から選択を受け付けたファイル名の通知を通信部２６経由で受信すると（図５、ステップＢ２）、印刷イメージ生成部２８２として機能する。印刷イメージ生成部２８２は、ステップＢ２でファイル名を通知された印刷データをバックアップすると共に、ステップＢ２でファイル名を通知された印刷データの印刷イメージを生成し、生成した印刷イメージを通信部２６経由でメガネ型端末１に送信する（図５、ステップＢ３）。そして、制御部２８は、印刷指示の受信と、終了指示の受信と、サンプルデータ４４の受信とを待機する（図５、ステップＢ４、Ｂ５、Ｂ６）。なお、メガネ型端末１に送信する印刷イメージは、メガネ型端末１おける画面表示部１３の解像度に応じて適宜変更すると良い。また、印刷イメージは、印刷データの全ページを対象にして生成するようにしても良いが、ヘッドページ等の代表ページのみとすると、生成に係る処理を軽減することができる共に、メガネ型端末１と画像形成装置２との間の通信トラフィクを軽減することができる。
【００３９】
メガネ型端末１の制御部１６は、画像形成装置２から通信部１４経由で印刷イメージを受信すると（図４、ステップＡ４）、画面生成部１６１として機能する。画面生成部１６１は、図６（ｂ）に示すような、受信した印刷イメージが配置された印刷データ編集画面４０を生成し、生成した印刷データ編集画面４０を画面表示部１３のハーフミラー１３ａに表示させる（図４、ステップＡ５）。印刷データ編集画面４０には、表示された印刷イメージの印刷を画像形成装置２に指示する印刷指示ボタン４１と、編集動作の終了を指示する終了指示ボタン４２とが、ユーザーの視点によって選択される選択項目として配置されている。また、印刷データ編集画面４０には、設定項目（色、フォント、言語）の設定値が選択項目として表示される編集領域４３が配置されている。
【００４０】
次に、メガネ型端末１の制御部１６は、視点検出部１６２として機能する。視点検出部１６２は、印刷指示ボタン４１による印刷指示の選択と、終了指示ボタン４２による終了指示の選択と、視界画像上の視点位置の特定とを待機する（図４、ステップＡ６、Ａ７、Ａ８）。視点検出部１６２は、視点検出画像に基づいて、ハーフミラー１３ａに表示された印刷データ編集画面４０上のユーザーの視点を検出し、ユーザーの視点による選択項目（印刷指示ボタン４１、終了指示ボタン４２）の選択を受け付ける。
【００４１】
ユーザーは、印刷データ編集画面４０の表示された印刷イメージで良い場合、印刷データ編集画面４０上の選択項目である印刷指示ボタン４１に視点を合わせて選択する。視点検出部１６２は、印刷指示ボタン４１による印刷指示が選択されると（図４、ステップＡ６）、印刷指示の通知を通信部１４経由で画像形成装置２に送信し（図４、ステップＡ９）、印刷動作を終了させる。そして、画像形成装置２の制御部２８は、メガネ型端末１から印刷指示の通知を通信部２６経由で受信すると（図５、ステップＢ４）、ステップＢ２でファイル名を通知された印刷データを印刷部２５によって印刷し（図５、ステップＢ７）、印刷動作を終了させる。
【００４２】
ユーザーは、印刷動作を終了させたい場合、印刷データ編集画面４０上の選択項目である終了指示ボタン４２に視点を合わせて選択する。視点検出部１６２は、終了指示ボタン４２による終了指示が選択されると（図４、ステップＡ７）、終了指示の通知を通信部１４経由で画像形成装置２に送信し（図４、ステップＡ１０）、印刷動作を終了させる。そして、画像形成装置２の制御部２８も、メガネ型端末１から終了指示の通知を通信部２６経由で受信すると（図５、ステップＢ５）、印刷動作を終了させる。
【００４３】
一方、印刷データ編集画面４０の表示された印刷イメージでは納得できず、編集したい場合、ユーザーは、自身の周辺、例えば、机の上にある印刷物や物体を変更したい色、フォント、言語のサンプルとして、当該サンプルに視点を移動させ、視点を所定範囲内に所定時間留める。これにより、視点検出部１６２は、視界画像上の視点位置を特定する。なお、視界画像上の視点位置の特定よりも、印刷データ編集画面４０上の選択項目の選択が優先される。視点検出部１６２によって視界画像上の視点位置が特定されると（図４、ステップＡ８）、画像形成装置２の制御部２８は、サンプルデータ切出部１６３として機能する。サンプルデータ切出部１６３は、視点検出部１６２によって特定された視点位置が含まれる所定の領域（例えば、指定位置を中心とする予め設定された大きさの矩形領域）をサンプルデータ４４として切り出し、切り出したサンプルデータ４４を通信部１４経由で画像形成装置２に送信する（図４、ステップＡ１１）。
【００４４】
画像形成装置２の制御部２８は、メガネ型端末１からサンプルデータ４４を通信部２６経由で受信すると（図５、ステップＢ６）、サンプルデータ解析部２８４として機能する。サンプルデータ解析部２８４は、サンプルデータ４４内に文字列が含まれているか否かを判断し（図５、ステップＢ８）、サンプルデータ４４内に文字列が含まれている場合、その言語を変更候補言語として特定すると共に、記憶部２３に記憶されている複数のフォントの内からサンプルデータ４４内の文字列に類似しているものを変更候補フォントとして特定する（図５、ステップＢ９）。類似度が高いものから順位を付けて複数の変更候補フォントが特定される。なお、特定する変更候補フォントの数（Ｍ個）は、適宜設定することができる。
【００４５】
サンプルデータ４４内に文字列が含まれていない場合、サンプルデータ解析部２８４は、サンプルデータ４４内の色を変更候補色として特定する（図５、ステップＢ１０）。サンプルデータ４４内に複数の色が存在する場合、面積の広いものから順位を付けて複数の変更候補色が特定される。なお、特定する変更候補フォントの数（Ｎ個）は、適宜設定することができる。
【００４６】
サンプルデータ解析部２８４によって変更候補言語、変更候補フォント、変更候補色が特定されると、印刷データ編集部２８３として機能する。印刷データ編集部２８３は、特定された変更候補言語、変更候補フォント、変更候補色に変更した変更候補印刷データを生成する（図５、ステップＢ１１）。印刷データ編集部２８３は、印刷データの文字列がサンプルデータ解析部２８４によって特定された変更候補言語と異なる場合には、記憶部２３に記憶されている辞書を用いて、印刷データの文字列を変更候補言語に翻訳して変更した変更候補印刷データを生成する。また、印刷データ編集部２８３は、記憶部２３に記憶されているフォントを用いて、印刷データの文字列を変更候補フォントにそれぞれ変更した変更候補印刷データを生成する。さらに、印刷データ編集部２８３は、印刷データの文字列を変更候補色にそれぞれ変更した変更候補印刷データをそれぞれ生成する。これにより、変更候補フォントに変更したＭ個の変更候補印刷データ、変更候補言語及び変更候補フォントに変更したＭ個の変更候補印刷データ、変更候補色に変更したＮ個の変更候補印刷データ、変更候補言語、変更候補フォント及び変更候補色に変更したＮ×Ｍ個の変更候補印刷データ、もしくは変更候補フォント及び変更候補色に変更したＮ×Ｍ個の変更候補印刷データが生成される。なお、変更候補印刷データは、印刷データの全ページを対象にして生成するようにしても良いが、ヘッドページ等の代表ページのみとすると、生成に係る処理を軽減することができる。また、変更候補印刷データは、順位が１番の変更候補フォント及び変更候補色のみを対象として生成するようにしても良い。
【００４７】
印刷データ編集部２８３によって変更候補印刷データを生成されると、制御部２８は、印刷イメージ生成部２８２として機能する。印刷イメージ生成部２８２は、印刷データ編集部２８３によって生成された変更候補印刷データの印刷イメージ（以下、変更候補イメージと称す）を生成し、変更候補イメージと、当該変更候補イメージの変更候補言語、変更候補フォント、変更候補色とを通信部２６経由でメガネ型端末１に送信する（図５、ステップＢ１２）。なお、印刷データ編集部２８３によって複数の変更候補印刷データが生成される場合には、それぞれの変更候補イメージが生成され、そのメガネ型端末１に送信される。そして、制御部２８は、更新印刷指示の通知と、更新なし印刷指示の通知と、終了指示の受信とを待機する（図５、ステップＢ１３、Ｂ１４、Ｂ１５）。
【００４８】
メガネ型端末１の制御部１６は、画像形成装置２から通信部１４経由で変更候補イメージを受信すると（図４、ステップＡ１２）、画面生成部１６１として機能する。画面生成部１６１は、図６（ｃ）に示すような、受信した変更候補イメージが配置された印刷データ編集画面４０ａを生成し、生成した印刷データ編集画面４０ａを画面表示部１３のハーフミラー１３ａに表示させる（図４、ステップＡ１３）。印刷データ編集画面４０ａには、変更候補イメージと共に、表示された変更候補イメージに対応する変更候補印刷データへの更新、及び表示された変更候補イメージの印刷を画像形成装置２に指示する第１の印刷指示ボタン４１ａと、印刷データを変更することなく、表示された変更候補イメージの印刷を画像形成装置２に指示する第２の印刷指示ボタン４１ｂとが配置されている。また、印刷データ編集画面４０ａの編集領域４３には、変更候補言語、変更候補フォント、変更候補色が選択項目として表示される。変更候補イメージは、類似度が最も高い変更候補フォント、且つ面積が最も広い変更候補色のものが初期値として表示される。
【００４９】
次に、メガネ型端末１の制御部１６は、視点検出部１６２として機能する。視点検出部１６２は、編集領域４３の変更候補の選択と、第１の印刷指示ボタン４１ａによる更新印刷指示の選択と、第２の印刷指示ボタン４１ｂによる更新なし印刷指示の選択と、終了指示ボタン４２による終了指示の選択とを待機する（図４、ステップＡ１４、Ａ１５、Ａ１６、Ａ１７）。
【００５０】
また、印刷データ編集画面４０ａにおいて表示される変更候補イメージに対応する変更候補言語、変更候補フォント、変更候補色は、編集領域４３において、図６（ｃ）に示すように、反転表示や枠等によってユーザーに通知される。そして、ユーザーは、変更候補イメージを他の変更候補言語、変更候補フォント、変更候補色に切替えたい場合、他の変更候補言語、変更候補フォント、変更候補色に視点を合わせて選択する。
【００５１】
視点検出部１６２によって、編集領域４３の他の変更候補の選択が受け付けられると（図４、ステップＡ１４）、制御部１６は、画面生成部１６１として機能し、選択された変更候補言語、変更候補フォント、変更候補色に対応する変更候補イメージの表示に切り換える。（図４、ステップＡ１８）。これにより、ユーザーは、候補として特定された少ない設定値（変更候補言語、変更候補フォント、変更候補色）の中から、視線で所望の設定値を容易に選択することができる。
【００５２】
ユーザーは、印刷データ編集画面４０ａの表示された変更候補イメージで良い場合、印刷データ編集画面４０ａ上の選択項目である第１の印刷指示ボタン４１ａもしくは第２の印刷指示ボタン４１ｂに視点を合わせて選択する。印刷データを表示された変更候補イメージに更新する場合には、第１の印刷指示ボタン４１ａを選択し、印刷データを更新しない場合には、第２の印刷指示ボタン４１ｂを選択する。
【００５３】
視点検出部１６２は、第１の印刷指示ボタン４１ａによる更新印刷指示が選択されると（図４、ステップＡ１５）、表示された変更候補イメージの更新印刷指示の通知を通信部１４経由で画像形成装置２に送信し（図４、ステップＡ１９）、印刷動作を終了させる。そして、画像形成装置２の制御部２８は、メガネ型端末１から更新印刷指示の通知を通信部２６経由で受信すると（図５、ステップＢ１３）、ステップＢ２でファイル名を通知された印刷データを通知された変更候補イメージの変更候補印刷データに更新すると共に（図５、ステップＢ１６）、通知された変更候補イメージの変更候補印刷データを印刷部２５によって印刷し（図５、ステップＢ１７）、印刷動作を終了させる。なお、変更候補印刷データが一部の頁である場合には、ステップＢ１７で制御部２８は印刷データ編集部２８３として機能し、全頁の変更候補印刷データを生成して印刷する。
【００５４】
視点検出部１６２は、第１の印刷指示ボタン４１ａによる更新なし印刷指示が選択されると（図４、ステップＡ１６）、表示された変更候補イメージの更新なし印刷指示の通知を通信部１４経由で画像形成装置２に送信し（図４、ステップＡ２０）、印刷動作を終了させる。そして、画像形成装置２の制御部２８は、メガネ型端末１から更新なし印刷指示の通知を通信部２６経由で受信すると（図５、ステップＢ１４）、ステップＢ２でファイル名を通知された印刷データを更新することなく、通知された変更候補イメージの変更候補印刷データを印刷部２５によって印刷し（図５、ステップＢ１７）、印刷動作を終了させる。
【００５５】
ユーザーは、印刷動作を終了させたい場合、印刷データ編集画面４０ａ上の選択項目である終了指示ボタン４２に視点を合わせて選択する。視点検出部１６２は、終了指示ボタン４２による終了指示が選択されると（図４、ステップＡ１７）、終了指示の通知を通信部１４経由で画像形成装置２に送信し（図４、ステップＡ２１）、印刷動作を終了させる。そして、画像形成装置２の制御部２８も、メガネ型端末１から終了指示の通知を通信部２６経由で受信すると（図５、ステップＢ１５）、印刷動作を終了させる。
【００５６】
なお、本実施の形態では、メガネ型端末において、ユーザーが視点を所定の範囲内に所定時間留めることで、視点を合わせている選択項目の選択や視点位置の特定を行うように構成したが、ユーザーの目の「まばたき」等の動きを併用して、視点を合わせている選択項目の選択や視点位置の特定を行うようにしても良い。また、ユーザーが操作する決定ボタンを設けて、決定ボタンが操作された際に視点を合わせている選択項目の選択や視点位置の特定を行うようにしても良い。さらに、加速度センサー等のユーザーの所定動作を検出する動作検出部を設け、所定動作が検出された際に視点を合わせている選択項目の選択や視点位置の特定を行うようにしても良い。
【００５７】
以上説明したように、本実施の形態によれば、ユーザーが頭部に装着するメガネ型端末１によって本体装置である画像形成装置２を操作する操作システムであって、メガネ型端末１は、ユーザーの前方視界の画像を撮像する視界撮像部１１と、ユーザーの眼球の画像を撮像する眼球撮像部１２と、ユーザーが視認可能な画面表示部１３と、選択項目が配置された画面を生成して画面表示部１３に表示する画面生成部１６１と、眼球撮像部１２によって撮像された画像に基づいて、画面表示部１３上のユーザーの視点を検出し、ユーザーが視点を合わせた選択項目の選択を受け付けると共に、眼球撮像部１２によって撮像された画像に基づいて、視界撮像部１１によって撮像された画像上の視点位置を特定する視点検出部１６２と、視点検出部１６２によって特定された視点位置に基づいて、視界撮像部１１によって撮像された画像からサンプルデータ４４を切り出すサンプルデータ切出部１６３と、視点検出部１６２によって選択を受け付けた選択項目及びサンプルデータ切出部１６３によって切り出されたサンプルデータ４４を画像形成装置２に送信する通信部１４とを備えると共に、画像形成装置２は、メガネ型端末１から受信した選択項目に基づく動作を実行する制御部２８と、メガネ型端末１から受信したサンプルデータ４４に基づいて、メガネ型端末１の画面表示部１３に表示する選択項目となる設定値候補を特定するサンプルデータ解析部２８４と、設定値候補をメガネ型端末１に送信する通信部２６とを備えている。
この構成により、ユーザーの視点に基づいて切り出されたサンプルデータ４４によって、ユーザーが選択する選択項目として設定値候補が特定される。従って、多数の選択可能な設定値があっても、メガネ型端末１では、設定値候補を選択することで、ユーザーは所望する操作を簡単に行うことができ、利便性を向上させることができる。
【００５８】
さらに、本実施の形態において、本体装置は、印刷データを印刷する画像形成装置２であり、画像形成装置２のサンプルデータ解析部２８４は、設定値候補として変更候補フォントを特定し、画像形成装置２の制御部２８（印刷データ編集部２８３）は、選択項目としてメガネ型端末１から受信した変更候補フォントによって印刷データを編集して印刷する。
この構成により、メガネ型端末１で、変更候補フォントを選択することで、ユーザーは印刷データを簡単に編集することができ、利便性を向上させることができる。
【００５９】
さらに、本実施の形態において、本体装置は、印刷データを印刷する画像形成装置２であり、画像形成装置２のサンプルデータ解析部２８４は、設定値候補として変更候補色を特定し、画像形成装置２の制御部２８（印刷データ編集部２８３）は、選択項目としてメガネ型端末１から受信した変更候補色によって印刷データを編集して印刷する。
この構成により、メガネ型端末１で、変更候補色を選択することで、ユーザーは印刷データを簡単に編集することができ、利便性を向上させることができる。
【００６０】
なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。
【符号の説明】
【００６１】
１  メガネ型端末
２  画像形成装置
１１  視界撮像部
１２  眼球撮像部
１３  画面表示部
１３ａ  ハーフミラー
１４  通信部
１５  記憶部
１６  制御部
２１  操作パネル
２２  原稿読取部
２３  記憶部
２４  画像処理部
２５  印刷部
２６  通信部
２７  ファクシミリ部
２８  制御部
３０  印刷データ一覧画面
４０、４０ａ  印刷データ編集画面
４１  印刷指示ボタン
４１ａ  第１の印刷指示ボタン
４１ｂ  第２の印刷指示ボタン
４２  終了指示ボタン
４３  編集領域
４４  サンプルデータ
１６１  画面生成部
１６２  視点検出部
１６３  サンプルデータ切出部
２８１  印刷データ一覧生成部
２８２  印刷イメージ生成部
２８３  印刷データ編集部
２８４  サンプルデータ解析部
【図１】
0006304144.tif 000002
【図２】
0006304144.tif 000003
【図３】
0006304144.tif 000004
【図４】
0006304144.tif 000005
【図５】
0006304144.tif 000006
【図６】
0006304144.tif 000007