(57)【要約】【課題】視線検出技術を採用した画像形成装置において、ユーザの利便性を向上させた画像形成装置の提供。【解決手段】視線検出装置を用いての操作者の視線検出に応じ、操作者の視線が向いているハードキー４０１やソフトキーを、表示、音声、振動などにより操作者に報知する。報知制御部３４０は、表示ランプ、スピーカ、振動発生装置、さらに各ハードキー４０１を光らせる発光用ＬＥＤ４０２などを制御し、操作者の視線が向いているハードキー４０１やソフトキーを操作者に報知する。表示制御部３４１は表示部４１０を制御してステータスとして報知する、あるいは操作者の視線が向いているソフトキーの表示を変更するなどして報知する。こうして、操作者の視線が向いているハードキー４０１やソフトキーを報知することにより、操作者が視線入力により実行させたかった動作と、実際に行われた動作との間にずれが生じ難くなり、ユーザの利便性が向上する。【選択図】図５
2020116779.tif 000002
【特許請求の範囲】
【請求項１】
記録材に画像を形成可能な画像形成装置であって、
ユーザの視線による入力が可能な複数の操作子を有する操作部と、
ユーザの顔を撮像する撮像部と、
前記撮像部にユーザの顔を撮像させた撮像結果に基づいて当該ユーザの視線を検出し、検出したユーザの視線による前記操作子に対する視線入力を受け付ける制御部と、
前記制御部によるユーザの視線検出に基づいて、前記複数の操作子のうちのいずれかの操作子にユーザの視線が向いているかをユーザに報知する報知手段と、を備える、
ことを特徴とする画像形成装置。
【請求項２】
前記制御部は、所定時間以上に亘って前記複数の操作子のうちのいずれかの操作子にユーザの視線が向いている場合に、ユーザの視線が向いている操作子に対する視線入力を受け付ける、
ことを特徴とする請求項１に記載の画像形成装置。
【請求項３】
前記撮像部は、前記操作部に設けられている、
ことを特徴とする請求項１又は２に記載の画像形成装置。
【請求項４】
前記報知手段は、前記操作部に設けられている、
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像形成装置。
【請求項５】
前記操作部は、ユーザに対し正面を向くように調整可能である、
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像形成装置。
【請求項６】
前記報知手段は、ユーザの視線が向いている操作子を音声ガイドにより案内する音発生手段である、
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像形成装置。
【請求項７】
前記操作部は、ユーザがタッチ操作可能な表示手段を有し、
前記操作子は、物理的に設けられたハードキーと前記表示手段に表示されたソフトキーであり、
前記報知手段は、ユーザの視線がソフトキーに向いている場合に、ユーザの視線が向いているソフトキーの色を、ユーザの視線が向いていないソフトキーの色と異なる色に変更することにより報知する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像形成装置。
【請求項８】
前記操作部は、ユーザがタッチ操作可能な表示手段を有し、
前記操作子は、物理的に設けられたハードキーと前記表示手段に表示されたソフトキーであり、
前記報知手段は、ユーザの視線がハードキーに向いている場合に、ユーザの視線が向いているハードキーを光により報知する発光手段である、
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像形成装置。
【請求項９】
記録材に画像を形成可能な画像形成装置であって、
物理的に設けられたハードキーと、表示手段とを有する操作部と、
ユーザの視線を検出可能な視線検出手段と、
前記視線検出手段によるユーザの視線検出に基づいて、ユーザの視線が前記ハードキーに向いている場合に、前記ハードキーに予め割り当てられた機能を前記表示手段に表示させる制御部と、を備える、
ことを特徴とする画像形成装置。
【請求項１０】
前記制御部は、前記ハードキーに予め割り当てられた機能を対応させたソフトキーを前記表示手段に表示させて、ユーザの視線が前記ハードキーから前記ソフトキーに移動した場合に、視線が移動した先の前記ソフトキーの機能を実行する、
ことを特徴とする請求項９に記載の画像形成装置。
【請求項１１】
前記表示手段を露出させるように設けられたパネルカバーを備え、
前記撮像部は、前記パネルカバーに設けられている、
ことを特徴とする請求項７乃至１０のいずれか１項に記載の画像形成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線検出技術を採用したプリンタ、複写機、ファクシミリあるいは複合機などの画像形成装置に関する。
【背景技術】
【０００２】
最近では操作者（ユーザ）の利便性を向上すべく、操作者の視線を検出する視線検出技術を採用した画像形成装置が提案されている（特許文献１）。従来の装置では、表示装置に向けられた操作者の視線を検出することに応じて、表示装置に表示された表示を変更する制御が行われている（所謂、視線入力）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８‐４９５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来では視線検出技術を採用しているにも関わらず、操作者の思惑と装置により実際に行われた表示変更などの動作との間にずれが生じやすく、画像形成装置としての使い勝手が良くなかった。そこで、画像形成装置において視線検出技術を採用した構成であって、操作者にとってより使い勝手のよいつまりユーザの利便性のより高いものが望まれていたが、未だそのようなものは提案されていない。
【０００５】
本発明は上記問題に鑑みてなされ、視線検出技術を採用した画像形成装置において、ユーザの利便性を向上させた画像形成装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像形成装置は、記録材に画像を形成可能な画像形成装置であって、ユーザの視線による入力が可能な複数の操作子を有する操作部と、ユーザの顔を撮像する撮像部と、前記撮像部にユーザの顔を撮像させた撮像結果に基づいて当該ユーザの視線を検出し、検出したユーザの視線による前記操作子に対する視線入力を受け付ける制御部と、前記制御部によるユーザの視線検出に基づいて、前記複数の操作子のうちのいずれかの操作子にユーザの視線が向いているかをユーザに報知する報知手段と、を備える、ことを特徴とする。
【０００７】
本発明に係る画像形成装置は、記録材に画像を形成可能な画像形成装置であって、物理的に設けられたハードキーと、表示手段とを有する操作部と、ユーザの視線を検出可能な視線検出手段と、前記視線検出手段によるユーザの視線検出に基づいて、ユーザの視線が前記ハードキーに向いている場合に、前記ハードキーに予め割り当てられた機能を前記表示手段に表示させる制御部と、を備える、ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、視線検出技術を採用した画像形成装置において、ユーザの利便性を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像形成装置を示す概略図。
【図２】操作パネルを示す概略図。
【図３】カメラにより撮影された操作者の目の映像を示す模式図。
【図４】操作者の視線検出について説明するための、眼球を示す模式図。
【図５】制御部について説明するための制御ブロック図。
【図６】視線入力処理の前半処理を示すフローチャート。
【図７】図６に示した前半処理に後続する後半処理を示すフローチャート。
【図８】視線補正について説明する図。
【図９】視線入力操作について説明する図。
【図１０】視線入力操作の一例を示す図。
【発明を実施するための形態】
【００１０】
＜画像形成装置＞
まず、本実施形態の画像形成装置について、図１を用いて説明する。図１に示す画像形成装置５０は、電子写真方式のタンデム型のフルカラープリンタである。画像形成装置５０は、装置本体５０ａに接続された原稿読取装置６０１あるいは装置本体５０ａに接続されたコンピュータ等の外部端末（不図示）から送られる画像データに基づいて、トナー像を記録材Ｐ（用紙、ＯＨＰシートなどのシート材など）に形成する。
【００１１】
原稿読取装置６０１は、原稿を載置可能な原稿台を有し、原稿台に載置された原稿を読み取り可能な読取装置６１０と、原稿を読取装置６１０へ搬送する原稿搬送装置６１１（Ａｕｔｏ  Ｄｏｃｕｍｅｎｔ  Ｆｅｅｄｅｒ）とを有する。読取装置６１０には、主に不図示の第１読取部、原稿台ガラス、流し読みガラスとが設けられている。原稿搬送装置６１１は、読取装置６１０の原稿台ガラスに対して開閉可能になっている。原稿台ガラスに載置された原稿は、原稿台ガラスと対向して原稿搬送装置６１１に設けられる圧板部により押さえられ、原稿のコピーやスキャンの開始に応じて動作する第１読取部により画像が読み取られる。他方、原稿搬送装置６１１には、主に不図示の第２読取部や原稿搬送部とが設けられている。不図示のトレイ上に載置された原稿は、コピーやスキャンの開始に応じて動作する原稿搬送部によって読取装置６１０の流し読みガラス上へ送られて第１読取部により第１面の画像が読み取られ、第２読取部により第１面と反対の第２面の画像が読み取られる。そして、第１読取部や第２読取部により読み取られた画像は、画像データとして後述するレーザスキャナ６による感光ドラムａ〜ｄ上への静電潜像の形成に用いられる。
【００１２】
画像形成装置５０は、イエロー、マゼンタ、シアン、ブラックの画像を形成可能な画像形成部１０を備えている。画像形成部１０は、中間転写ベルト５８の周方向に沿って配列された画像形成ユニット１ａ、１ｂ、１ｃ、１ｄを有している。画像形成ユニット１ａ〜１ｄはそれぞれ、回転可能な感光ドラムａ〜ｄと、帯電器６０と、現像器５９とを有している。感光ドラムａ〜ｄは対応する帯電器６０で帯電された後に、レーザスキャナ６から発せられる画像データに対応したレーザ光により走査露光される。これにより、感光ドラムａ〜ｄの表面に画像データに応じた静電潜像が形成される。そして、感光ドラムａ〜ｄに形成された静電潜像は、現像器５９により現像剤を用いてトナー像に現像される。感光ドラムａ〜ｄに形成された各トナー像は、中間転写ベルト５８の内周側にて各感光ドラムａ〜ｄに対向して配置された一次転写ローラ２ａ〜２ｄに一次転写バイアスが印加されることにより、一次転写ニップ部Ｎ１で中間転写ベルト５８に一次転写される。
【００１３】
無端ベルト状の中間転写ベルト５８は、二次転写内ローラ５１と張架ローラ５２、５３とによって張架されている。二次転写内ローラ５１と中間転写ベルト５８を挟んで対向する位置には二次転写外ローラ３ａが配置され、中間転写ベルト５８上のトナー像を記録材Ｐに二次転写するための二次転写ニップ部Ｎ２を形成している。
【００１４】
画像形成装置５０の下部には、記録材Ｐが載置された給紙カセット４が配置されている。記録材Ｐは、給送ローラ８により給紙カセット４から１枚ずつ搬送路４５に供給される。給紙カセット４から供給された記録材Ｐは、搬送路４５を通って一対のレジストローラ９に送られる。レジストローラ９は、記録材Ｐを一旦受け止めて記録材Ｐの斜行を補正したうえで、各画像形成ユニット１ａ〜１ｄにおける中間転写ベルト５８へのトナー像の形成タイミングにあわせて、記録材Ｐを二次転写ニップ部Ｎ２に搬送する。そして、二次転写外ローラ３ａに二次転写バイアスが印加されることにより、中間転写ベルト５８上のトナー像が二次転写ニップ部Ｎ２で記録材Ｐに二次転写される。その後、記録材Ｐは定着前搬送路３０を介して定着装置４０に向けて搬送される。定着装置４０では、記録材Ｐが定着ニップ部を形成するローラ対により挟持搬送されることに伴い、トナー像が加熱、加圧されて記録材Ｐに定着される。
【００１５】
記録材Ｐの片面だけにトナー像を形成する場合、定着装置４０を通過した記録材Ｐは、正回転する排紙ローラ対１１により排紙トレイ１２上に排出される。他方、記録材Ｐの両面にトナー像を形成する場合、定着装置４０を通過した記録材Ｐは正回転する排紙ローラ対１１により搬送されるが、その搬送方向後端が反転ポイント４２に達すると、両面搬送路４７に向けスイッチバック搬送される。即ち、記録材Ｐの搬送方向後端が反転ポイント４２に達すると、切り換えフラッパ４６が切り換えられると共に、排紙ローラ対１１の回転が正回転から逆回転に変わり、記録材Ｐは排紙トレイ１２上に排出されることなく、両面搬送路４７に送られる。両面搬送路４７に送られた記録材Ｐは、搬送ローラ対１３により搬送路４５に戻され、片面へのトナー像形成時と同様の過程を経て、他方の面にもトナー像が形成される。そして、両面にトナー像が定着された記録材Ｐは、正回転する排紙ローラ対１１により排紙トレイ１２上に排出される。
【００１６】
図１に示すように、本実施形態の画像形成装置５０は、人感センサ４５０を備えている。人感センサ４５０は、例えば画像形成装置５０の周囲の温度変化を検出可能な赤外線を用いた温度変化検出方式のセンサである。即ち、操作者が画像形成装置５０に近付いて人感センサ４５０により発せられる赤外線を横切るなどして周囲温度が変化した場合に、人感センサ４５０は操作者の所在を検出し得る。本実施形態の場合、操作者が画像形成装置５０の前面側、詳しくは操作者が操作パネル７００の前面に相対する位置にいるときにその所在を検出できるように、人感センサ４５０は操作パネル７００に配置されている。本実施形態では人感センサ４５０の検出可能範囲を、例えば人感センサ４５０を頂点とし、人感センサ４５０の前方において略５００ｍｍ程度で半径略３００ｍｍになる円錐状の範囲内とした。なお、人感センサ４５０は赤外線を用いた温度変化検出方式の熱センサに限らず、人の所在を検出できるセンサであればどのような方式のセンサを用いてもよい。
【００１７】
＜操作パネル＞
また、本実施形態の画像形成装置５０は操作パネル７００を備えている。操作パネル７００は、操作者が操作可能な操作子を有するもので、操作者が操作しやすいように装置本体５０ａの前面側に配置されている。操作パネル７００は、例えばチルト機構やバリアングル機構などによって上下左右に角度調整可能に装置本体５０ａに設けられている。そのため、操作者は自身の顔と操作パネル７００の前面とが相対するように、操作パネル７００の向きを調整可能となっている。図２に、操作部としての操作パネル７００の一例を示す。図２に示すように、操作パネル７００は物理的に設けられたハードキー４０１を有するハード部４００と、各種情報や後述のソフトキー４０３を含む各種画面を表示可能な表示部４１０と、内部に設けられた不図示の基板等を覆うパネルカバー７１０とを有する。パネルカバー７１０は、ハード部４００と表示部４１０とを表面に露出させるように設けられている。本実施形態の場合、後述するように、操作パネル７００のハード部４００と表示部４１０とは、ユーザの視線による入力操作が可能なユーザインターフェースとして機能する。
【００１８】
＜ハード部＞
ハード部４００には、例えばプリントキー、コピーキー、テンキー、ストップキー、スタートキー、パワー（オンオフ）スイッチなどの、各種機能が割り当てられた物理的な操作子であるハードキー４０１が設けられている。本実施形態の場合、ハードキー４０１は例えば透過性のキーやボタンの裏側に発光用ＬＥＤ４０２（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）が配置されたバックライト付きの操作子である。即ち、ハードキー４０１を個別に光らせるために、発光用ＬＥＤ４０２が各ハードキー４０１に配置されている。なお、操作者が一見して各ハードキー４０１を区別できれば、発光用ＬＥＤ４０２の代わりに、ランプなどの発光素子が各ハードキー４０１の近傍に配設されていてもよい。
【００１９】
上記したハードキー４０１にはそれぞれ、操作者による操作に応じて実行する各種機能が予め割り当てられていてもよい。一例として、プリントキーには、通常印刷に関する各種データの入力機能が割り当てられている。コピーキーには、画像形成装置５０を複写機として使用する場合（複写モードと呼ぶ）における、複写印刷に関する各種データの入力機能が割り当てられている。具体的には、プリントキーやコピーキーが操作された場合、各種データの入力機能として例えば表示部４１０に各種データの入力を行うための入力画面を表示する機能が実行される。テンキーには、例えば印刷枚数などの数値を入力する入力機能が割り当てられている。ストップキーには、例えば実行中の画像形成ジョブを強制的に停止させる機能が割り当てられている。スタートキーには、複写モード時の原稿画像の読み取り動作を含め、画像形成ジョブの実行開始を指示する機能が割り当てられている。パワースイッチには、画像形成装置５０の電源をオンオフする機能が割り当てられている。
【００２０】
＜表示部＞
表示部４１０は、例えばハードキー４０１の操作に応じて入力された各種データや、装置の動作状況（ステータスなどと呼ばれる）といった各種情報、各種データを入力する入力画面などの各種画面を適宜に表示し得る。また、本実施形態の場合、表示部４１０はハードキー４０１などを模した仮想の操作子としてソフトキー４０３が表示可能である。図２ではソフトキー４０３として、例えば複写用のコピーボタン（ＣＯＰＹ）、原稿読み取り開始用のスキャンボタン（ＳＣＡＮ）、ＦＡＸ送信用のボタン（ＦＡＸ）、これら以外の機能に関する設定画面などを表示させる設定ボタン（設定）等を例に示した。ソフトキー４０３が表示されている場合、操作者によるソフトキー４０３に対する表示部４１０へのタッチ操作に応じて、ソフトキー４０３に予め割り当てられている各種機能が実行される。つまり、表示部４１０は操作者によるタッチ操作可能なタッチパネル方式のディスプレイである。
【００２１】
詳しくは後述するように、本実施形態の場合、操作者は実際にハードキー４０１に触れて操作せずとも、ハードキー４０１に視線を向けることで、実際に触れて操作した場合と同様にハードキー４０１を操作可能としている（所謂、視線入力）。また、表示部４１０にソフトキー４０３が表示されている場合に、操作者はソフトキー４０３へのタッチ操作を行わずとも、操作したいソフトキー４０３に視線を向けることで、タッチ操作した場合と同様に操作可能、つまり視線入力可能としている。そうするために、本実施形態の画像形成装置５０には、操作者の視線を検出するために用いる視線検出装置５００が操作パネル７００の一部であるパネルカバー７１０に設けられている。視線検出装置５００が操作パネル７００に設けられることで、操作パネル７００の角度調整にあわせて操作者の視線をより正しく検出可能な位置に調整され得る。
【００２２】
＜視線検出装置＞
図２に示すように、視線検出装置５００は、カメラ５１０と近赤外線光源５２０とを有する。撮像部としてのカメラ５１０は、例えば赤外光による撮影が可能なオートフォーカス（ＡＦ）デジタルカメラであり、ＣＭＯＳセンサやＣＣＤセンサなどの撮像素子を有している。照射部としての近赤外線光源５２０は、例えば不可視光の近赤外線光を照射可能な照明装置であり、複数の近赤外線ＬＥＤなどの発光素子を有している。近赤外線光源５２０は画像形成装置５０の前面で操作パネル７００を操作する操作者に向け近赤外線光を照射可能に配置され、カメラ５１０は近赤外線光源５２０から照射される近赤外線光を受けた操作者の顔（より詳くは目）を撮影可能に配置されている。
【００２３】
また、操作パネル７００には、表示ランプ４２０、カメラ位置表示部４２１、スピーカ４３０、振動発生装置４４０が設けられている。カメラ位置表示部４２１は、カメラ５１０の撮影中に点灯することでカメラ５１０を操作者に見させるために所定位置に配置された、例えば単色（例えば赤色）のＬＥＤ等である。表示ランプ４２０は、例えば装置の動作状況を光で操作者に知らせるための複数色のＬＥＤ等である。表示ランプ４２０は、例えば装置が使用可能な状態であるときに緑色に点灯され、紙詰まりや故障などにより装置が使用不可の状態であるときに赤色に点灯される。スピーカ４３０は、例えば音声ガイドによる操作の案内や警告音などを発生可能な音発生手段である。表示ランプ４２０やスピーカ４３０が位置調整可能な操作パネル７００に設けられると、操作者に対する報知が視覚や音により適切に行われやすくなるので、好ましい。さらに、操作パネル７００には振動発生装置４４０が設けられており、振動発生装置４４０はハードキー４０１を個別に振動させ得る。
【００２４】
＜視線検出について＞
ここで、上記した視線検出装置５００を用いた操作者の視線検出について、図３及び図４を用いて簡単に説明する。視線検出装置５００を用いた操作者の視線検出を可能とするためには、カメラ５１０により撮影された操作者のデータ（詳しくは目のデータ）を解析する必要がある。そこで、このデータの解析を行うために、後述する制御部３００（詳しくは視線検出部３３０、図５参照）が設けられている。即ち、本実施形態では、視線検出装置５００と後述する制御部３００（詳しくは視線検出部３３０）とにより、操作者の視線を検出可能な視線検出手段が構成されている。
【００２５】
視線検出は、角膜反射法や強膜反射法などの一般的に知られている視線検出法を採用してよく、本実施形態では角膜反射法を採用した。角膜反射法は、近赤外線光が照射された操作者の目の角膜Ｋｍ表面の反射光の反射点７６１（プルキニエ像）の反射点中心７６１ｐと、眼球７５０の瞳孔７６０の瞳孔中心７６０ｐとを特定して、操作者の視線を検出する方式である。つまり、反射点中心７６１ｐの位置を基準点に、瞳孔中心７６０ｐの位置が捉えられることにより、操作者の視線の向きが検出され得る。瞳孔中心７６０ｐの位置を捉える方法には明瞳孔法と暗瞳孔法の二つがあり、明瞳孔法は瞳孔を明るくして位置を捉える方法であり、暗瞳孔法は瞳孔を暗くして位置を捉える方法である。本実施形態では、暗瞳孔法を採用した。
【００２６】
反射点中心７６１ｐの位置と瞳孔中心７６０ｐの位置の特定は、まず近赤外線光を照射した目の瞳孔７６０と虹彩７６２と反射点７６１とに、カメラ５１０により撮影されたデータをピクセル単位で分割し、各ピクセルでの輝度を比較する。各ピクセルでの輝度は、瞳孔＜虹彩＜反射点の順で検出される。この検出結果に従って、瞳孔７６０と虹彩７６２と反射点７６１の輝度の違いにより各々の境界を捉えた画像の白黒二値化が行われ、瞳孔７６０と反射点７６１の輪郭から中心を求め、瞳孔中心７６０ｐと反射点中心７６１ｐの位置を特定する。
【００２７】
反射点中心７６１ｐと瞳孔中心７６０ｐの位置が特定されると、これらに基づき視線ベクトルＧｂが求められる。視線ベクトルＧｂは、予め登録済みの眼球モデル情報に基づく角膜曲率半径Ｒｋ、瞳孔半径Ｒｄ、角膜曲率中心Ｋｃから瞳孔中心７６０ｐまでの距離Ｄｋｄに基づき求められる（図４参照）。角膜曲率中心Ｋｃと瞳孔中心７６０ｐは、瞳孔中心７６０ｐ及び反射点中心７６１ｐの二点、角膜曲率半径Ｒｋ、瞳孔半径Ｒｄ、角膜曲率中心Ｋｃから瞳孔中心７６０ｐまでの距離Ｄｋｄから求められる。角膜曲率中心Ｋｃと瞳孔中心７６０ｐとがわかれば、これらを結ぶ視線ベクトルＧｂを得ることができる。視線ベクトルＧｂが得られることで、以降、カメラ５１０を介して瞳孔７６０の動きを捉えることができ、もって操作者の視線を検出可能となる。ここで、視線とは操作者が目で見ている方向であり、その視線が注がれるところが視点である。本実施形態では、この視線を検出することで、操作者が操作パネル７００上のいずれの領域を見ているかを検出している。つまり、本実施形態では、視線を検出することで視点を検出していることになる。このように、操作者の視点を検出することにより、操作者が操作パネル７００上の領域のうちいずれの領域を見ているかを検出することができる。なお、本実施形態の場合、角膜曲率半径Ｒｋ、瞳孔半径Ｒｄ、距離Ｄｋｄは一般的な平均値を用いてよい。
【００２８】
なお、瞳孔中心７６０ｐと反射点中心７６１ｐの位置を特定した後に、視線補正（キャリブレーションなどと呼ばれる）を行うのが好ましい。視線補正は、より小さい誤差で操作者の視線検出を行うために行われる。
【００２９】
＜制御部＞
図１に示すように、本実施形態の画像形成装置５０は制御部３００を有している。制御部３００について、図１や図２を参照しながら図５を用いて説明する。なお、制御部３００には、図示した以外にも例えば上述した画像形成ユニット１ａ〜１ｄ、各種ローラを駆動するモータ、一次転写バイアスや二次転写バイアスを印加する電源、定着装置４０などの各種機器が接続され、制御部３００によって制御されている。しかし、ここでは発明の本旨でないので、それらの図示及び説明を省略する。
【００３０】
図５に示すように、制御部３００は、ＣＰＵ３１０（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのメモリ３２０を有する。記憶手段としてのメモリ３２０には、例えば視線入力プログラム（後述する図６及び図７参照）や画像形成ジョブなどの各種プログラム、後述する視線プロファイル情報やソフトキー表示用の画像データなどの各種データが記憶され得る。ＣＰＵ３１０は、メモリ３２０に記憶されている各種プログラムを実行可能である。なお、メモリ３２０は、各種プログラムの実行に伴う演算処理結果などを一時的に記憶することもできる。
【００３１】
本実施形態の場合、ＣＰＵ３１０は視線入力プログラムを実行することにより、操作者の視線入力に関する画像形成装置５０の各種動作を制御し得る。なお、視線入力プログラムはソフトウェアプログラムの形態に限られず、例えばＤＳＰ（ディジタル・シグナル・プロセッサ）によって処理されるマイクロプログラムの形態などでも実施可能である。即ち、ＣＰＵ３１０は画像形成ジョブなどの制御プログラムを実行して画像形成動作などの各種制御を行うものを併用してよいが、これに限らず、視線入力プログラムを実行するのに専用に用意されたものを用いてもよい。
【００３２】
このＣＰＵ３１０に対し、例えばデータバス及びアドレスバス等を介し、ハードキー４０１、発光用ＬＥＤ４０２、表示部４１０、表示ランプ４２０、スピーカ４３０、振動発生装置４４０、人感センサ４５０、視線検出装置５００が接続されている。ＣＰＵ３１０は、例えば操作者によるハードキー４０１の操作や表示部４１０へのタッチ操作により入力された各種データを取得して、メモリ３２０に記憶し得る。
【００３３】
本実施形態の場合、ＣＰＵ３１０は、上述した人感センサ４５０による操作者の所在を検出した場合に、視線入力プログラム（図６及び図７参照）をメモリ３２０から読み出して実行する。制御部３００は、視線入力プログラムの実行時、視線検出部３３０、報知制御部３４０、表示制御部３４１、機能実行部３５０、情報作成部３６０などとして機能し得る。
【００３４】
視線検出部３３０は、視線検出装置５００からカメラ５１０により撮影されたデータを取得し、取得したデータを解析する。これにより、視線検出装置５００を用いた操作者の視線検出が可能となる。また、視線検出部３３０は、視線補正を実行し得る。これにより、より正確な視線検出を行うことが可能となる。こうして、本実施形態では、視線検出部３３０により視線検出装置５００を用いた操作者の視線検出が実現される。報知制御部３４０は、操作者の視線を検出したことを、報知手段としての表示ランプ４２０、スピーカ４３０、振動発生装置４４０、さらには発光用ＬＥＤ４０２などにより、操作者に報知する制御を実行する。表示制御部３４１は、報知手段（表示手段）として表示部４１０を制御し得る。表示制御部３４１は、上記したソフトキー４０３やステータスや各種画面を表示部４１０に表示させる。本実施形態の場合、表示制御部３４１は操作者の視線を検出したことをステータスとして報知したり、あるいは検出した操作者の視線に基づいて視線が向いているソフトキー４０３の表示を変更するなどして報知したりし得る。
【００３５】
機能実行部３５０は、操作者によるハードキー４０１やソフトキー４０３の操作により、これら操作子に予め割り当てられている各種機能を実行する。これらハードキー４０１やソフトキー４０３に対する操作者の操作は、直接的な操作に限らず、上記した操作者の視線検出に基づく視線入力による間接的な操作であってもよい。情報作成手段としての情報作成部３６０は、後述するように、操作者毎（ユーザ毎）の視線に関する情報である視線プロファイル情報を作成し、作成した視線プロファイル情報をメモリ３２０に記憶する。
【００３６】
＜視線入力プログラム＞
次に、本実施形態の視線入力プログラムについて、図３乃至図５を参照しながら図６及び図７を用いて説明する。ここに示す視線入力処理は制御部３００により、人感センサ４５０によって操作者の所在が検出された場合に開始され、人感センサ４５０によって操作者の所在が検出されなくなった場合に終了される。なお、ここでは図示の都合上、視線入力処理の前半処理を図６に示し、前半処理に後続する後半処理を図７に示した。
【００３７】
本実施形態では、まずカメラ５１０により撮影された撮像結果である操作者のデータを解析することで、操作者の視線を検出可能とするための視線検出部３３０を設定したうえで、撮像結果に基づいて操作者の視線を検出する設定モードを実行する。図６に示すように、制御部３００は、カメラ５１０による操作者の撮影を開始する（Ｓ１）。制御部３００は撮影の開始に応じて、表示部４１０に「撮影開始」を表示する（Ｓ２）。また、制御部３００はカメラ位置表示部４２１を点灯して（Ｓ３）、表示部４１０にステータスとして「パネル上の赤色部を見てください。」を表示させる（Ｓ４）。これにより、カメラ５１０を操作者に見させることで、カメラ５１０が操作者の顔を適切に撮影できるようにしている。そして、制御部３００は、カメラ５１０によって撮影され得られたデータに基づいて顔の検出を開始する（Ｓ５）。制御部３００は顔の検出が完了するまで装置を待機させ（Ｓ６のＮＯ）、顔の検出が完了することにより次のステップＳ７の処理に進む（Ｓ６のＹＥＳ）。この顔の検出では、操作者の視線検出を適正に行うことができるようにするために、操作者ごとに異なる目の位置が特定される。なお、操作者は顔が操作パネル７００の正面を向くように、操作パネル７００を位置調整することで、カメラ５１０が顔の検出に好適な位置で操作者の顔を撮影できるようにしている。
【００３８】
上記の顔検出は、一般的なデジタルカメラで採用されている公知の顔認識機能を用いてよい。即ち、カメラ５１０によって撮影され得られたデータに、水平方向バンドパスフィルタ及び垂直方向バンドパスフィルタを作用させて、データからエッジ成分を検出する。そして、検出されたエッジ成分に基づく顔パターンと、メモリ３２０に記憶済みの多様な顔パターンとのパターンマッチングによって、目、鼻、口等の候補群を抽出することで、データが顔であることが認識される。
【００３９】
顔検出が完了すると、制御部３００は近赤外線光源５２０により近赤外線光を照射開始し（Ｓ７）、上述した暗瞳孔法の角膜反射法を用いた視線検出を開始する（Ｓ８）。その際に、制御部３００は、カメラ位置表示部４２１を引き続き点灯した状態に維持し、表示部４１０に「視線検出を開始します。パネル上の赤色部を見てください。」とステータスを表示させる（Ｓ９）。こうして、光が照射された状態で操作者にカメラ５１０を見させて操作者の撮影を行うことで、近赤外線光源５２０により照射される近赤外線光による角膜表面における反射光の像（プルキニエ像）が操作者の目に鮮明に映るようにしている。
【００４０】
そして、制御部３００は視線検出が完了するまで装置を待機させ（Ｓ１０のＮＯ）、視線検出が完了することにより次のステップＳ１１の処理に進む（Ｓ１０のＹＥＳ）。本実施形態の場合、制御部３００は視線検出を完了したことを操作者に伝え、次の視線補正処理に進むための準備として、表示部４１０に「視線検出完了しました。次に視線補正を行います。」とステータスを表示させる（Ｓ１１）。
【００４１】
なお、本実施形態では、表示部４１０に上記したようなステータスを表示することで、操作者の視線検出が可能となったことを操作者に報知するようにしたが、操作者への報知方法はこれに限らない。例えば、表示ランプ４２０を用いてもよい。その場合、設定モードを開始した場合に表示ランプ４２０を「点滅」させ、設定モードを終了し操作者の視線による入力操作が可能となったら表示ランプ４２０を「点灯」させてもよい。あるいは、操作者の視線による入力操作が可能となったことを、スピーカ４３０からの音声により操作者に報知してもよいし、操作パネル７００に設けた振動発生装置４４０を連続あるいは簡潔に振動させて操作者に報知してもよい。
【００４２】
本実施形態では、視線検出の完了後、引き続き視線補正（キャリブレーション）を行って視線プロファイル情報を作成する情報取得モードを実行し得る。即ち、図７に示すように、制御部３００は視線検出の完了後、視線補正（キャリブレーション）を開始する（Ｓ１２）。本実施形態では視線補正の一例として、操作者に複数点を停留視させる方法を用いた。即ち、操作者が操作パネル７００の三つ以上の複数の箇所を見るように順次に誘導し、各箇所を所定時間以上に亘り見るように視線を停留させた状態で、各箇所における瞳孔中心７６０ｐおよび反射点中心７６１ｐの位置関係（図４参照）を得る。そして、得られた瞳孔中心７６０ｐおよび反射点中心７６１ｐの位置関係と、操作パネル７００の各地点の位置関係とに基づき、視線検出結果（Ｓ１０参照）を補正する。こうして視線補正された視線検出結果は、操作者毎に視線プロファイル情報としてメモリ３２０に記憶される。
【００４３】
ここで、視線補正に必要な条件について、図５を参照しながら図８を用いて説明する。操作パネル７００には、視線検出部３３０が操作パネル７００の各箇所を特定できるように、網の目状に分割されたアドレスが予め付されている。本実施形態では、図８に示すように、行方向を「ＡＡ」から「ＫＫ」で示す１０行に振り分け、列方向を「０１」から「１３」で示す１３列に振り分け、「１０行×１３列＝１３０箇所」のアドレスを有している。このアドレスには、三次元空間の絶対座標としてＸ方向、Ｙ方向、Ｚ方向の絶対座標が付されており、視線検出部３３０による計算の基礎データとしてメモリ３２０に記憶されている。
【００４４】
また、操作パネル７００の四隅のうちの３カ所には、視線補正のために操作者に視認させるためのターゲット部としてのマーカ７５１、７５２、７５３が設けられている。ここでは、マーカ７５１が操作パネル７００の左上角部に、マーカ７５２が操作パネル７００の右上角部に、マーカ７５３が操作パネル７００の右下角部にそれぞれ設けられている。これらマーカ７５１〜７５３は、いずれか２つのマーカを結ぶ直線上に他のマーカが位置しないように設けられている。なお、マーカは操作パネル７００上の少なくとも２カ所以上に設けられていればよい。ただし、マーカのうち少なくとも２つは操作パネル７００の角部に設けられているのが好ましい。
【００４５】
ターゲット部は操作者が視認しやすいように、例えば５ｍｍ×５ｍｍの四角形状に形成され、マーカ７５１〜７５３のように目立つ色（例えば黄色や青色など、パネルカバー７１０の色と異なる色）で塗装されていてもよい。あるいは、ＬＥＤなどで発光可能に形成されていてもよい。また、パネルカバー７１０にシール部材が貼り付けられることで形成されていてもよい。なお、ターゲット部それぞれの大きさは、操作者が視認しやすい大きさであって、かつ視線補正が可能な大きさであれば上述した大きさに限らなくてもよい。これらターゲット部としてのマーカ７５１〜７５３には、三次元空間の絶対座標としてＸ方向、Ｙ方向、Ｚ方向の絶対座標が付される。例えば、マーカ７５１（アドレスＡＡ０１）の中心位置座標は、「Ｘ＝ＡＡ０１ｘ、Ｙ＝ＡＡ０１ｙ、Ｚ＝ＡＡ０１ｚ」である。マーカ７５２（アドレスＡＡ１３）の中心位置座標は、「Ｘ＝ＡＡ１３ｘ、Ｙ＝ＡＡ１３ｙ、Ｚ＝ＡＡ１３ｚ」である。マーカ７５３（アドレスＫＫ１３）の中心位置座標は、「Ｘ＝ＫＫ１３ｘ、Ｙ＝ＫＫ１３ｙ、Ｚ＝ＫＫ１３ｚ」である。これらマーカ７５１〜７５３の中心位置座標は、操作パネル７００の角度によって変わり得る。
【００４６】
図７の説明に戻り、制御部３００は、視線補正を行うことを操作者に報知するために、表示部４１０に「視線補正を開始します。操作部左上のマーカを見てください。」とステータスを表示させる（Ｓ１３）。そして、制御部３００は、カメラ５１０に撮影されたマーカ７５１を停留視する操作者のデータに基づいて、マーカ７５１の停留視により視線補正に必要な情報収集が完了したか否かを判定する（Ｓ１４）。制御部３００は、視線補正に必要な情報収集が完了するまで、操作者にマーカ７５１を停留視させて、それをカメラ５１０に撮影させる（Ｓ１４のＮＯ）。こうすることで、カメラ５１０に撮影された操作者のデータから、操作者がマーカ７５１（マーカＡ）を停留視した時の目視点２点の位置及び視線情報を得る。具体的には、マーカＡ反射点中心７６１ｐＡ、マーカＡ瞳孔中心７６０ｐＡ、マーカＡ算術角膜曲率中心ＫｃＡｓ、マーカＡ算術視線ベクトルＧｓＡが得られる。
【００４７】
マーカ７５１の停留視により視線補正に必要な情報収集が完了した場合（Ｓ１４のＹＥＳ）、制御部３００は同様にして、操作者に別のマーカ７５２を停留視させて、それをカメラ５１０に撮影させる。そうするため、制御部３００は、表示部４１０に「視線補正中です。操作部右上のマーカを見てください。」とステータスを表示させる（Ｓ１５）。制御部３００は、マーカ７５２（マーカＢ）を停留視する操作者のデータに基づいて、マーカ７５２の停留視により視線補正に必要な情報収集が完了するまで、操作者にマーカ７５２を停留視させて、それをカメラ５１０に撮影させる（Ｓ１６のＮＯ）。こうすることで、カメラ５１０に撮影された操作者のデータから、マーカＢ反射点中心７６１ｐＢ、マーカＢ瞳孔中心７６０ｐＢ、マーカＢ算術角膜曲率中心ＫｃＢｓ、マーカＢ算術視線ベクトルＧｓＢが得られる。
【００４８】
さらに、制御部３００は、操作者に別のマーカ７５３を停留視させて、それをカメラ５１０に撮影させる。そうするため、制御部３００は、表示部４１０に「視線補正中です。操作部右下のマーカを見てください。」とステータスを表示させる（Ｓ１７）。制御部３００は、マーカ７５３（マーカＣ）を停留視する操作者のデータに基づいて、マーカ７５３の停留視により視線補正に必要な情報収集が完了するまで、操作者にマーカ７５３を停留視させて、それをカメラ５１０に撮影させる（Ｓ１８のＮＯ）。こうすることで、カメラ５１０に撮影された操作者のデータから、マーカＣ反射点中心７６１ｐＣ、マーカＣ瞳孔中心７６０ｐＣ、マーカＣ算術角膜曲率中心ＫｃＣｓ、マーカＣ算術視線ベクトルＧｓＣが得られる。制御部３００は、こうして得た視線補正に必要な情報に基づき視線補正値を算出すると共に、表示部４１０に「視線補正計算中です。お待ちください。」とステータスを表示させる（Ｓ１９）。また、制御部３００は、カメラ位置表示部４２１を消灯する（Ｓ２０）。制御部３００は、情報作成部３６０による操作者毎の視線プロファイル情報の算出（視線補正値の算出）が完了するまで、言い換えれば当該操作者の適正な視線検出が可能となるまで、処理の進行を待機させる（Ｓ２１のＮＯ）。この視線補正値の算出が完了すると、制御部３００（詳しくは視線検出部３３０）は視線ベクトル（図４参照）と操作パネル７００のアドレス（図８参照）とを略一致させることが可能となる。なお、以上の説明では、各マーカ７５１〜７５３を見るように促す表示を、各マーカ７５１〜７５３毎に順に表示したが、これに限らない。例えば、マーカ７５１〜７５３の代わりにターゲット部としてＬＥＤを設ける場合は、「点灯するＬＥＤを順に見てください。」といった表示を行うものであってもよい。
【００４９】
視線補正値の算出について、マーカ７５１のＹＺ方向の視線補正値を例に説明する。視線補正値の算出には、マーカ７５１の中心位置座標「Ｘ＝ＡＡ０１ｘ、Ｙ＝ＡＡ０１ｙ、Ｚ＝ＡＡ０１ｚ」、マーカＡ反射点中心７６１ｐＡ、マーカＡ瞳孔中心７６０ｐＡ、マーカＡ算術角膜曲率中心ＫｃＡｓ、マーカＡ算術視線ベクトルＧｓＡが用いられる。マーカ７５１の算術視線ベクトルＧｓＡと操作パネル７００のマーカ７５１のＹ座標「ＡＡ０１ｙ」とＺ座標「ＡＡ０１ｚ」から、マーカＡ角膜曲率中心ＫｃＡが得られる。このマーカＡ角膜曲率中心ＫｃＡとマーカＡ算術角膜曲率中心ＫｃＡｓの座標ずれが、操作者個々と算術式を用いた平均値との誤差であり、この誤差を補正値として視線検出部３３０の視線計測計算式（不図示）に用いる。これをＸＺ方向の算術、またマーカ７５２やマーカ７５３を停留視させることにより得られた視線情報でも同様に算術することで、より高い視線検出精度が得られる。
【００５０】
図７の説明に戻り、制御部３００は、上述のように情報取得モードの実行によりマーカ７５１〜７５３を設けた所定位置毎に検出される操作者の視線に基づいて、操作者毎の視線プロファイル情報を作成する。そして、制御部３００は、作成した視線プロファイル情報に基づき正確な視線検出が可能となると（Ｓ２１のＹＥＳ）、操作者の視線により各種機能を実行する視線入力モードに移行する。視線入力モードは、設定モードにおいて検出したユーザの視線による視線入力操作に従って画像形成に関する入力を受け付けるモードである。設定モードから視線入力モードへの移行に伴い、制御部３００は表示部４１０にステータスとして「視線補正を完了し、視線検出を開始します。」と表示し（Ｓ２２）、操作者の視線検出を開始する（Ｓ２３）。このように、本実施形態では、設定モードにおいてユーザの視線を検出可能な状態に設定され、視線入力モードにおいて設定モードの設定に基づいて検出されたユーザの視線による視線入力操作が可能となったことを操作者に報知する。言い換えれば、設定モードにおいてユーザの視線を検出可能な状態への設定が完了したことをユーザに報知する、あるいは設定モードから視線入力モードに移行したことをユーザに報知する。この際に、制御部３００（詳しくは表示制御部３４１）は視線検出の開始にあわせ、操作者の視線が向いている表示部４１０上の位置を操作者に報知するため、表示部４１０に操作者の視線を示す印として視線ポインタ８１０（図２参照）を表示させる（Ｓ２４）。そして、制御部３００は視線入力を開始する（Ｓ２５）。即ち、表示部４１０に表示される視線ポインタ８１０は、操作者の視線移動にあわせて表示部４１０上を移動するように表示されることから、操作者は視線ポインタ８１０により自身の視線がどこに向いているのかを認識できる。また、操作者は視線をハード部のハードキー４０１に向ける、あるいは視線により視線ポインタ８１０を表示部４１０に表示されたソフトキー４０３にあわせることで、これらの操作つまりは各種機能を実行させることができる（視線入力）。
【００５１】
視線検出が可能となると、視線検出部３３０はカメラ５１０により撮影された操作者のデータに基づき、位置算出を連続的に行っていく。これにより、表示部４１０に表示される視線ポインタ８１０は、操作者の視線移動にあわせて表示制御部３４１により表示部４１０上を移動するように表示される。そして、操作者の視線が表示部４１０からはずれてハード部４００に移動すると、表示制御部３４１は視線ポインタ８１０を非表示とする。また、操作者の視線がハード部４００のいずれかのハードキー４０１に向いていれば、表示制御部３４１は視線先のハードキー４０１に関する情報（例えば名称や機能など）を表示部４１０に表示する。表示制御部３４１による視線先の特定は、操作パネル７００のアドレス「ＡＡ０１」から「ＫＫ１３」の各領域の座標と（図８参照）、視線検出部３３０により特定される視線の座標とが略一致するかによって行われる。例えば、ハード部４００の低電力モードボタンのアドレスは「ＢＢ１２」であることから、視線の座標がアドレス「ＢＢ１２」の座標と略一致した場合に、表示部４１０にステータスとして「低電力ボタンを見ています」などの表示が行われる。
【００５２】
そして、制御部３００は、人感センサ４５０によって操作者の所在を検出している状態であるか否かを判定し（Ｓ２６）、操作者の所在を検出している状態である限り（Ｓ２６のＹＥＳ）、Ｓ２５の処理に戻って視線入力を続行する。他方、操作者の所在を検出している状態から操作者の所在を検出していない状態に移行した場合には（Ｓ２６のＮＯ）、制御部３００は本視線入力処理を終了する。なお、上述したように、操作者の視線検出に非常に高い精度が求められないような場合には、視線補正が行われなくてもよい。この場合は、図６のＳ１０で視線検出が完了した場合に、Ｓ１１にて表示部に「視線検出完了。視線による入力操作が可能です。」等の表示を行う。つまり、視線補正を行わない場合は、Ｓ１０で設定モードが完了したことになる。そして、図６のＳ１１の処理を実行した後、図７のＳ２３以降の処理を実行する。つまり、視線補正を行わない場合は、Ｓ１０で検出した視線に基づいて、視線による入力操作が可能となる。また、視線補正を実行するか否かについては、操作者によって設定される構成としてもよい。
【００５３】
＜視線入力操作の一例＞
上記の視線入力操作について、図９及び図１０を用いて具体的に説明する。図９では、表示部４１０に表示されたソフトキー４０３である「コピーボタン（ＣＯＰＹ）」を、操作者が視線により操作する場合を例に説明する。操作者は表示部４１０に表示された視線ポインタ８１０を確認することで、視線をコピーボタン上に動かし得る。コピーボタンのアドレスは、「ＣＣ０２、ＣＣ０３，ＤＤ０２、ＤＤ０３」である（図８参照）。操作者がこの四ヶ所の領域内に第一時間以上（例えば２秒以上）に亘り視線ポインタ８１０がある状態を続けることで、視線検出部３３０は操作者がコピーボタンを見ていると確定できる。表示制御部３４１は、視線検出部３３０による操作者の視線の位置が確定されると、図９に示すように、表示部４１０にステータスとして「コピーボタンを選択しています」などと表示する。また、表示制御部３４１は、視線ポインタ８１０に重なっているソフトキー（ここではコピーボタン）の表示色を、視線ポインタ８１０に重なっていない他のソフトキーの表示色と異なる色に変更する。これにより、操作者は、自身の視線の位置と、画像形成装置が検出している視線の位置とが一致するか否かを確認することができる。
【００５４】
その後、上記四ヶ所の領域内に視線ポインタ８１０がある状態がさらに第二時間以上（例えば１秒以上）に亘り続けられると、表示制御部３４１は表示部４１０の表示を切り替える。例えば、図１０に示すように、表示制御部３４１は「コピーボタン」の代わりのソフトキー４０３として、「はい」ボタンと「いいえ」ボタンとを有する選択画面を表示部４１０に表示させる。それと同時に、表示部４１０のステータスを「コピーボタンを選択しています」から「コピーボタンに決定しますか」に切り替える。そして、操作者が「はい」ボタンに視線を向けた場合、機能実行部３５０は「コピーボタン」に割り当てられたコピー機能を実行するよう装置を動作させる。他方、操作者が「いいえ」ボタンに視線を向けた場合、表示制御部３４１は上記の選択画面から、「コピーボタン」選択前の画面（図９参照）に戻る制御を行う。なお、視線ポインタ８１０が所定の領域内に所定時間位置している状態を判定できる時間であれば、第一時間や第二時間は同じ時間（例えばどちらも１秒以上等）としてもよい。
【００５５】
なお、本実施形態では例えば操作方法がわからない場合に、操作者が表示部４１０に表示された「ヘルプ」ボタンを視線入力により操作して、マニュアルを呼び出したり、サポートセンターへの問合せを行う等、画像形成以外の動作を行うことができてもよい。
【００５６】
また、上述した実施形態では、視線によるハードキー４０１やソフトキー４０３の選択の際に、表示部４１０に選択されているハードキー４０１やソフトキー４０３に関する情報を表示して、操作者に報知するようにしたが、これに限らない。例えば、ハードキー４０１を点滅させる、ソフトキー４０３の表示色やサイズを変えるなど、操作者に視線の向いている先のハードキー４０１やソフトキー４０３、つまりは視線入力により操作されるハードキー４０１やソフトキー４０３を報知できればよい。さらには、スピーカ４３０を用いた音（音声ガイド）により、また振動発生装置４４０を用いた振動により報知してもよい。
【００５７】
なお、作成された操作者毎の視線プロファイル情報はメモリ３２０（図５参照）に記憶しておき、次に画像形成装置５０を使用する際に呼び出して使用できるようにするのが好ましい。こうすることで、同じ操作者が次に画像形成装置５０を使用する際に、情報取得モード（図７のＳ１２〜Ｓ２１）の実行を省略できる。例えば、画像形成装置５０に特定手段としての認証装置８００（図１参照）を設け、個人情報が書き込まれたＩＤカードで認証を行うことによって、該当する視線プロファイル情報をメモリ３２０から読み出すことができるようにしてよい。即ち、認証装置８００により特定された操作者がメモリ３２０に視線プロファイル情報の記憶されている操作者である場合、上述の情報取得モードとして、メモリ３２０から該当する視線プロファイル情報を読み出すだけでよい。言い換えれば、認証装置８００により特定された操作者がメモリ３２０に視線プロファイル情報の記憶されていない操作者である場合に、上述の情報取得モードを実行して、視線プロファイル情報を作成してメモリ３２０に記憶する。
【００５８】
以上のように、本実施形態では、視線検出装置５００を用いての操作者の視線検出に応じて、操作者の視線が向いているハードキー４０１やソフトキー４０３を、表示、音声、振動などによって操作者に対し報知するようにした。操作者の視線が向いているハードキー４０１やソフトキー４０３を報知することにより、操作者が視線入力により実行したい動作（機能）と、実際に行われた動作（機能）との間にずれが生じ難くなるので、ユーザ利便性が向上する。このように、画像形成装置５０において視線検出技術を採用した構成であって、操作者にとってより使い勝手のよいつまりユーザ利便性のより高いものが容易に実現できる。
【００５９】
なお、上述した実施形態では、操作パネル７００上にハード部４００と表示部４１０とを有するものを例に説明したが、これに限らない。例えば、操作パネル７００はハード部４００のみを有するもの、あるいは表示部４１０のみの全面液晶パネルを有するものであってもよい。つまりは、ハードキー４０１のみ、あるいは表示部４１０に表示されたソフトキー４０３のみが、操作者の視線により操作可能であってよい。また、上述した実施形態では、操作パネル７００に視線検出装置５００を設ける構成としたがこれに限らない。例えば、視線検出装置５００は、操作パネル７００周辺の位置であって、操作パネル７００に対する操作者の視線を検出することが可能な位置であれば、装置本体５０ａや原稿読取装置６０１などに設けられていてもよい。
【符号の説明】
【００６０】
５０…画像形成装置、３００…制御部、３２０…記憶手段（メモリ）、３３０…視線検出手段（視線検出部）、３４１…表示制御手段（表示制御部）、３５０…実行手段（機能実行部）、３６０…情報作成手段（情報作成部）、４０１…操作子（ハードキー）、４０２…報知手段（発光手段、発光用ＬＥＤ）、４０３…操作子（ソフトキー）、４１０…報知手段（表示手段、表示部）、４２０…報知手段（発光手段、表示ランプ）、４３０…報知手段（音発生手段、スピーカ）、４４０…報知手段（振動発生手段、振動発生装置）、５００…視線検出手段（視線検出装置）、５１０…撮像部(カメラ)、７００…操作部（操作パネル）、７１０…パネルカバー、７５１、７５２、７５３…ターゲット部（マーカ）、８００…特定手段（認証装置）
【図１】
2020116779.tif 000003
【図２】
2020116779.tif 000004
【図３】
2020116779.tif 000005
【図４】
2020116779.tif 000006
【図５】
2020116779.tif 000007
【図６】
2020116779.tif 000008
【図７】
2020116779.tif 000009
【図８】
2020116779.tif 000010
【図９】
2020116779.tif 000011
【図１０】
2020116779.tif 000012