(57)【要約】【課題】ユーザが表示部に表示された確認画面の示す内容を読み飛ばした場合は、ジョブの実行指示や画面の遷移等の所定の動作を行わないよう制御することができる操作表示装置を提供する。【解決手段】  表示部に所定の確認を促すための確認画面を表示する。その後、ユーザの視線を検出し、確認画面の示す内容をユーザが目で追って確認したか否かを判定する。当該確認が未完了の間は、確認画面の示す内容が読了されていないと認識し、ジョブの実行や画面の遷移等の所定の動作の実行を禁止する。【選択図】図６
2014219712.tif 000002
【特許請求の範囲】
【請求項１】
ユーザから操作を受ける操作部と、
前記操作部で受けた操作に応じた画面が表示される表示部と、
前記ユーザの視線を検出する視線検出部と、
前記視線検出部の検出結果に基づいて前記ユーザが前記画面の表示内容を目で追って確認したか否かを判定し、前記確認が未完了の間は、所定の動作の実行を禁止する制御部と、
を有する
ことを特徴とする操作表示装置。
【請求項２】
前記所定の動作は、所定の装置に対してジョブの開始を指示する動作、前記装置に対してジョブの再開を指示する動作、前記表示部に表示する画面を遷移させる動作、所定の操作ボタンを前記表示部に表示する動作のうちのいずれか１つを含む
ことを特徴とする請求項１に記載の操作表示装置。
【請求項３】
前記制御部は、所定の装置に実行させる送信ジョブの設定を前記操作部で受けた場合であって前記設定の内容が予め定めた確認対象事項を含む場合は、所定の確認画面を前記表示部に表示して前記確認画面に対して前記判定を行い、前記確認が未完了の間は、前記送信ジョブの実行を禁止する
ことを特徴とする請求項１または２に記載の操作表示装置。
【請求項４】
前記制御部は、前記表示部に表示されている画面の中の一部の特定箇所のみに対して前記判定を行う
ことを特徴とする請求項１乃至３のいずれか１つに記載の操作表示装置。
【請求項５】
前記特定箇所は、前記画面の中で重要度が所定値より高い部分である
ことを特徴とする請求項４に記載の操作表示装置。
【請求項６】
前記特定箇所は、期限情報、アドレス情報、金額情報のいずれか１つが表示されている部分である
ことを特徴とする請求項４または５に記載の操作表示装置。
【請求項７】
前記制御部は、前記確認が未完了の間に、前記所定の動作の開始要求をユーザから受けた場合は、前記特定箇所の中でユーザの視線が未だ向けられていない部分を強調表示する
ことを特徴とする請求項４乃至６のいずれか１つに記載の操作表示装置。
【請求項８】
前記画面の中において、各箇所の重要度を変更することができる
ことを特徴とする請求項５乃至７のいずれか１つに記載の操作表示装置。
【請求項９】
前記各箇所の重要度はユーザ別に設定することができる
ことを特徴とする請求項８に記載の操作表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが表示内容を確認したか否かを判定する操作表示装置に関する。
【背景技術】
【０００２】
近年、表示内容をユーザが確認したか否かを判別する方法が多数提案されている。たとえば、特許文献１には、表示部に表示された契約文を注視する眼をカメラ部で撮影して視線認識を行い、契約文に対する注視時間を測定し、予め用意しておいた理解不足判定時間と注視時間を比較し、注視時間が理解不足判定時間以上か否かによって、契約者が契約書を確認したか否かを判断する方法が記載されている（特許文献１参照）。
【０００３】
特許文献２には、ウェブ広告が実際に視聴されているかを判別し、ウェブ広告が視聴されている場合はその広告の実際の視聴時間を測定する方法が開示されている（特許文献２参照）。
【０００４】
ところで、プリンタやスキャナ、ファクシミリ等の機能を備える画像形成装置などの複合機（ＭＦＰ（Multi Function Peripheral）では、警告や注意事項等を示す確認画面を表示部に表示して、その表示された内容をユーザに確認させることが一般的に広く普及している。
【０００５】
確認画面を表示する場合、ユーザから確認完了の報告を受けて（たとえば確認完了ボタンが押下されて）、次画面への遷移やジョブの実行等、様々な処理が開始される。たとえば、機密性の高い文書を外部の装置に送信する場合、送信前に、当該文書の送信先を示す情報（アドレスや、送信先となる装置情報等）を確認画面として表示部に表示し、送信先に誤りがないことをユーザに確認させた後、送信開始の指示を受け付ける。他にも、新たなソフトウェアをインストールした場合は、当該ソフトウェアの使用許諾契約を確認画面として表示部に表示し、ユーザからこの契約内容への同意を受け付けてから、当該ソフトウェアを使用可能とする。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−３９６４６号公報
【特許文献２】特開２０１０−６１２１８号公報
【特許文献３】特開平１１−２４５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一般的にユーザは確認画面の示す内容を一字一句確認せずに、すなわち確認画面に表示される内容を読み飛ばして（ほとんど読まずに）、確認完了ボタンを押下してしまうことが多い。確認画面の読み飛ばしを行うと、ユーザは読み飛ばした内容を確認する機会を無くしてしまい、当該内容を把握しないままＭＦＰを操作することになる。そして、確認画面の示す内容（警告や注意事項）を把握しないままＭＦＰの操作を行っていると、後になって問題が発生する場合が多々ある。よって、ユーザが確認画面の示す内容を確認（読了）したことを認識するまで、ジョブの実行や画面の遷移等の処理を禁止することが望まれる。
【０００８】
特許文献１に記載の発明は、契約者が契約文を理解するにはどの位の時間が必要かの判断基準を設定しておき、その判断基準に従って、次の契約文を表示するか、現在表示中の契約文の読み直しを促すかを決定するものである。よって、ユーザは契約文の内容を実際には確認（読了）していなくとも、契約文に対する注視時間さえ一定以上であれば、読み飛ばしが可能になる。また、特許文献２に記載の発明も、広告の視聴時間を計測するものなので、広告が視聴されたか否かの判別は可能であるが、ユーザがその広告の示す内容を把握したか否かを判別することはできない。
【０００９】
特許文献３には、文書から語/文節を抽出する抽出手段と、表示された文章を見る読者の視線を検出する検出手段によって、読者の視線が抽出された語/文節の表示位置に存在したか否かを判定し、視線が抽出された語/文節の表示位置に存在しなかった場合は、警告を行う方法が開示されている。特許文献３に記載の方法では、文書中の各分節（語）に、視線が向けられたか否かを認識することができるが、読み飛ばされたと判定した場合であっても警告しか行わないので、ユーザは当該警告を無視して操作を進めることが可能である。
【００１０】
本発明は、上記の問題を解決しようとするものであり、ユーザが表示部に表示された確認画面の示す内容を読み飛ばしたか否かを高い精度で検出し、読み飛ばした場合は、ジョブの実行指示や画面の遷移等の処理を行わない操作表示装置を提供する事を目的としている。
【課題を解決するための手段】
【００１１】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【００１２】
［１］ユーザから操作を受ける操作部と、
前記操作部で受けた操作に応じた画面が表示される表示部と、
前記ユーザの視線を検出する視線検出部と、
前記視線検出部の検出結果に基づいて前記ユーザが前記画面の表示内容を目で追って確認したか否かを判定し、前記確認が未完了の間は、所定の動作の実行を禁止する制御部と、
を有する
ことを特徴とする操作表示装置。
【００１３】
上記発明では、ユーザの視線を検出し、その検出結果に基づいてユーザが表示部の表示内容を目で追って確認したか否かを判定する。そしてこの確認が未完了の間は、所定の動作の実行を禁止する。これにより、表示部の表示内容が読了されたと認識されるまでは、所定の動作の開始を防止することができる。所定の動作とは、たとえば、所定の装置に対してジョブの開始を指示する動作、ジョブの再開を指示する動作、表示部に表示する画面を遷移させる動作、所定の操作ボタンを表示部に表示する動作等である。
【００１４】
［２］前記所定の動作は、所定の装置に対してジョブの開始を指示する動作、前記装置に対してジョブの再開を指示する動作、前記表示部に表示する画面を遷移させる動作、所定の操作ボタンを前記表示部に表示する動作のうちのいずれか１つを含む
ことを特徴とする［１］に記載の操作表示装置。
【００１５】
上記発明では、表示部の表示内容が読了されたと認識されるまでは、所定の装置でのジョブの開始（再開）、表示部に表示する画面の遷移、所定のボタンを表示部に表示すること等を禁止する。
【００１６】
［３］前記制御部は、所定の装置に実行させる送信ジョブの設定を前記操作部で受けた場合であって前記設定の内容が予め定めた確認対象事項を含む場合は、所定の確認画面を前記表示部に表示して前記確認画面に対して前記判定を行い、前記確認が未完了の間は、前記送信ジョブの実行を禁止する
ことを特徴とする［１］または［２］に記載の操作表示装置。
【００１７】
上記発明では、たとえば、機密性の高いデータを送信する場合や、宛先としてふさわしくない送信先が指定されている場合等は、所定の確認画面を表示部に表示させ、その確認画面の示す内容をユーザが読み終えるまでは当該データの送信を禁止し、読み終えた場合に当該データの送信禁止を解除する。
【００１８】
［４］前記制御部は、前記表示部に表示されている画面の中の一部の特定箇所のみに対して前記判定を行う
ことを特徴とする［１］乃至［３］のいずれか１つに記載の操作表示装置。
【００１９】
上記発明では、読み飛ばしても問題の無い部分では、ユーザが目で追って確認されたか否かの判定を行わない。ユーザに確認してもらいたい特定個所のみで当該判定が行われるので処理負担が減る。また、ユーザは特定箇所以外の部分を読み飛ばすことができる。
【００２０】
［５］前記特定箇所は、前記画面の中で重要度が所定値より高い部分である
ことを特徴とする［４］に記載の操作表示装置。
【００２１】
［６］前記特定箇所は、期限情報、アドレス情報、金額情報のいずれか１つが表示されている部分である
ことを特徴とする［４］または［５］に記載の操作表示装置。
【００２２】
［７］前記制御部は、前記確認が未完了の間に、前記所定の動作の開始要求をユーザから受けた場合は、前記特定箇所の中でユーザの視線が未だ向けられていない部分を強調表示する
ことを特徴とする［４］乃至［６］のいずれか１つに記載の操作表示装置。
【００２３】
上記発明では、確認が未完了なのに所定の動作の開始要求をユーザから受けた場合は、特定箇所の中でユーザの視線が未だ向けられていない部分を強調表示する。これにより、ユーザは、特定個所の中で未読部分を視認することができる。
【００２４】
［８］前記画面の中において、各箇所の重要度を変更することができる
ことを特徴とする［５］乃至［７］のいずれか１つに記載の操作表示装置。
【００２５】
［９］前記各箇所の重要度はユーザ別に設定することができる
ことを特徴とする［８］に記載の操作表示装置。
【００２６】
上記発明では、画面内の各箇所の重要度をユーザ別に設定することができる。たとえば、同じ箇所であっても、ユーザＡは読み飛ばしが不可能に、ユーザＢは読み飛ばしが可能になるよう設定することができる。
【発明の効果】
【００２７】
本発明に係る操作表示装置によれば、ユーザが表示部に表示された確認画面の示す内容を読み飛ばしたか否かを高い精度で検出し、読み飛ばした場合は、ジョブの実行指示や画面の遷移等の処理を行わないよう制御することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施の形態に係る画像形成装置を示す説明図である。
【図２】本発明の実施の形態に係る画像形成装置がネットワークを介して外部の装置と接続されている様子を示す説明図である。
【図３】本発明の実施の形態に係る画像形成装置の概略構成を示すブロック図である。
【図４】操作パネルに表示される使用許諾契約の内容の例を示す図である。
【図５】確認画面の示す内容をユーザが確認し終えた場合に表示される画面の例を示す図である。
【図６】画像形成装置が確認画面を表示した場合に行う読了判定処理の概略を示す流れ図である。
【図７】ユーザが、確認画面の示す内容を確認する際に、注視する順番を示す図である。
【図８】確認画面を表示部に表示する際に、確認画面の示す各内容と表示部上の表示位置を対応付けする様子を示す図である。
【図９】カメラと眼球、操作パネルの位置関係を示す図である。
【図１０】眼球と視線、プルキニエ像、光線を示す図である。
【図１１】視線検出を行う場合に行われる処理を示す流れ図である。
【図１２】判定テーブルの構造を示す図である。
【図１３】ユーザ判断テーブルの構造を示す図である。
【図１４】判定結果テーブルの構造を示す図である。
【図１５】判定テーブルの一例を示す図である。
【図１６】判定結果テーブルの書き換え処理を示す流れ図である。
【図１７】図１６の処理の続きを示す流れ図である。
【発明を実施するための形態】
【００２９】
以下、図面に基づき本発明の実施の形態を説明する。
【００３０】
図１は、本発明の実施の形態に係る操作表示装置としての機能と、ジョブを実行する装置としての機能の双方を果たす画像形成装置１０を示す。画像形成装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピージョブ、読み取った原稿の画像データをファイルにして保存したり外部装置へ送信したりするスキャンジョブ、ＰＣ（Personal Computer）端末４０（図２参照）から送出されたデータに係る画像を記録紙に印刷して出力するプリントジョブなどのジョブを実行する機能を備えた、所謂、複合機である。なお、画像形成装置１０は、図２に示すように外部装置（ＰＣ端末４０）とＬＡＮ（Local Area Network）３を介して接続されている。
【００３１】
本発明の実施の形態に係る画像形成装置１０には、表示部３１と操作部３２を含み画像形成装置１０本体の操作を行う操作パネル３０が設置されており、ユーザはこの操作パネル３０を使用して、各種の設定や、ジョブの実行等の指示を行うことができる（図３参照）。表示部３１には、操作部３２で受けた操作に応じた画面が表示される。たとえば、設定操作を受け付けると、表示中の画面内容が設定された内容に従って変化したり、ＯＫボタンの操作を受けて画面が遷移したりする。実施の形態では、画像形成装置１０は、警告や注意事項等の文章を示す確認画面を表示部３１に表示して、その内容をユーザに確認させ、確認完了の報告を受け付けたら（たとえば、確認完了を示すボタンが押下されたら）、次画面への遷移やジョブの実行等の処理を開始する。なお、確認画面の内容は文章に限らず図形や画像等で表示されてもよいが、本実施の形態では文章であるものとする。
【００３２】
操作パネル３０の上部には、操作パネル３０に表示される画面を注視するユーザの視線を検出する視線検出部２２が設置されている。画像形成装置１０は、視線検出部２２が検出した検出結果から、ユーザが表示部に表示された確認画面の示す内容を目で追って確認したか否かを判定する。その確認が未完了の間（確認画面の示す内容が読了されていない間）は、ジョブの開始（再開）や表示部に表示する画面の遷移等の所定の動作の実行を禁止する。これにより、ユーザが確認画面の示す内容を読み飛ばしたまま、所定の動作が開始されることを防ぐことができる。
【００３３】
次に、画像形成装置１０の構成について説明する。
【００３４】
図３は、本発明の実施の形態に係る画像形成装置１０の概略構成を示すブロック図である。画像形成装置１０は、当該画像形成装置１０の動作を統括的に制御するＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２と、ＲＡＭ(Random Access Memory)１３と、不揮発メモリ１４と、ハードディスク装置１５と、画像処理部１６と、スキャナ部１７と、プリンタ部１８と、ファクシミリ通信部１９と、ネットワーク通信部２０と、認証部２１と、視線検出部２２と、操作パネル３０とを備えている。
【００３５】
ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像形成装置１０の各機能が実現される。また、ＲＯＭ１２には、画像形成装置１０の一連の制御をＣＰＵ１１が実行するためのプログラムが格納されている。
【００３６】
ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。
【００３７】
不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置１５は、大容量の不揮発の記憶装置であり、ＯＳプログラムや各種アプリケーションプログラム（ソフトウェア）、ユーザ情報、印刷データや画像データの他、後述する判定テーブル１００や、ユーザ判断テーブル１０１、判定結果テーブル１０２などが保存される。
【００３８】
画像処理部１６は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。
【００３９】
スキャナ部１７は、原稿を光学的に読み取って画像データを取得する機能を果たす。スキャナ部１７は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読み取り位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。
【００４０】
プリンタ部１８は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。
【００４１】
ファクシミリ通信部１９は、ファクシミリ機能を備えた外部装置と公衆回線を通じて画像データを送受信する機能を果たす。
【００４２】
ネットワーク通信部２０は、ＬＡＮ３などのネットワークを通じてＰＣ端末４０等の外部装置との間でデータを通信する機能を果たす。たとえば、画像形成装置１０は、画像データを複数の宛先（ＰＣ端末４０）に同時に送信することができる。
【００４３】
認証部２１は、ユーザ認証を行う機能を果たす。具体的には、ユーザのログイン時にユーザ認証を行い、ログインユーザを特定する。本実施の形態では、画像形成装置１０を利用するにはログインを必要とし、利用前にユーザ認証が必ず行われるものとする。なお、ユーザ認証の方法は、ユーザＩＤ（Identification）とパスワードによる認証や指紋認証等、適当な方法であればよい。
【００４４】
視線検出部２２は、検出用カメラ２３と照射部２４を備えて構成されており、操作パネル３０に表示される画面を注視するユーザの視線を検出する。実施の形態では、照射部２４が点光源の近赤外線をユーザの眼球に向かって照射し、ユーザの眼球の角膜表面における反射像（以下、プルキニエ像と呼ぶ）を検出用カメラ２３で捉えて利用することによって、ユーザの視線を算出する。詳細な検出方法については、後述する。なお、ユーザの視線の検出方法は他の方法であってもよい。
【００４５】
操作パネル３０は、表示部３１と操作部３２とを備えている。このうち操作部３２は、スタートボタンなどのスイッチ部３３とタッチパネル部３４とを備えている。表示部３１は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。操作パネル３０が表示する表示内容の制御、操作パネル３０による操作の受け付けに関する制御はＣＰＵ１１が行う。
【００４６】
タッチパネル部３４は、表示部３１上に設けられている。タッチパネル部３４は、タッチペンや指などで押下された表示部３１上のタッチ位置（座標位置）や、フリック操作やドラッグ操作等を検出する。また、ＣＰＵ１１は、継続的に検出されるタッチ位置の変化（操作情報）から、ユーザによる手書き入力等を認識する。
【００４７】
次に、警告や、注意事項等の文章を示す確認画面について具体例を挙げて説明する。
【００４８】
図４は、表示部３１に表示される確認画面の一例である使用許諾契約画面９０を示す。使用許諾契約画面９０は、新たなソフトウェアをインストールした場合に表示部３１に表示される確認画面であって、そのソフトウェアの使用許諾に係る契約内容を示す。画像形成装置１０は、当該契約内容への同意を示す操作をユーザから受け付けたら、表示画面を次画面に遷移させ、当該ソフトウェアを使用可能とする。
【００４９】
画像形成装置１０は、使用許諾契約画面９０に対するユーザの視線を検出し、ユーザが使用許諾契約画面９０の内容を目で追って確認したと判定したら、すなわち使用許諾契約画面９０の内容を読み飛ばすことなく読了したことを認識したら、前述の同意を示す操作を受け付ける。たとえば、当該認識が行われるまでは前述の同意を示す操作を無効とする。当該認識が行われる前に受け付けた前述の同意を示す操作を、当該認識した際に有効とするようにしてもよい。
【００５０】
画像形成装置１０は、送信ジョブの設定内容に予め定めた確認対象事項を含む場合は、所定の確認画面を表示部３１に表示し、その確認画面をユーザが目で追って確認したか否かを判定する。確認対象事項とは、たとえば、送信対象のデータが機密性の高い文書のデータであることや、所定の送信先が宛先に含まれていること等である。
【００５１】
図５は、送信ジョブを実行する前に表示部３１に表示される確認画面の例である宛先確認画面９１を示す。宛先確認画面９１は機密性の高い文書のデータを外部の装置に送信する場合に、送信前に表示部３１に表示される確認画面であって、当該データの送信先を示す情報を示す。たとえば、E-mailで送信する場合は送信先のアドレスが、ファクシミリ送信を行う場合はファックス番号が表示される。ユーザは、宛先確認画面９１内の送信先を示す情報に誤りがなければ決定ボタン９２を、誤りがある場合はキャンセルボタン９３を押下する。決定ボタン９２とキャンセルボタン９３は、宛先確認画面９１内に表示される表示ボタンである。画像形成装置１０は、決定ボタン９２が押下されたら前述のデータを宛先確認画面９１の示す送信先に送信し、キャンセルボタン９３が押下されたら前述の文書の送信を行わずに、送信処理を終了する。
【００５２】
宛先確認画面９１では、ユーザが送信先に係る情報（図中の実線内）を読み終えるまでは、すなわちユーザの視線を検出し、当該情報を目で追って確認し終えたと判定するまでは（読了したと認識するまでは）、決定ボタン９２とキャンセルボタン９３（図中の破線内部分）を表示しない。そして、ユーザが当該情報を目で追って確認し終えたと判定したら、決定ボタン９２とキャンセルボタン９３（図中の破線内部分）を表示する。これにより、ユーザは送信先に係る情報を読了しなければ、決定ボタン９２もしくはキャンセルボタン９３を押下することができない。すなわち、画像形成装置１０は、ユーザが送信先に係る情報を目で追って確認し終えるまでは、送信ジョブの実行を禁止する。
【００５３】
図６は、画像形形成装置１０が、表示部３１に確認画面を表示してから、次画面への遷移やジョブの開始（再開）、所定の操作ボタンの表示等の所定の動作を開始するまでに行われる処理の概略を示す。
【００５４】
まず、画像形成装置１０が表示部３１に確認画面を表示する（ステップＳ１０１）。次に、視線検出によって確認画面の示す内容をユーザが目で追って確認したか否かの判定処理を行う（ステップＳ１０２）。
【００５５】
ユーザが確認画面の示す内容を目で追って確認し終えた（読了した）と判定するまで、ステップＳ１０２の処理を継続し（ステップＳ１０３；Ｎｏ）、確認し終えたと判定したら（ステップＳ１０３；Ｙｅｓ）、次画面への遷移やジョブの実行等の所定の動作を開始し（ステップＳ１０４）、処理を終了する。
【００５６】
このように、画像形成装置１０は、確認画面の示す内容をユーザが目で追って確認し終えるまでは、次画面への遷移やジョブの実行等の所定の動作の実行を禁止する。これにより、ユーザが確認画面の示す内容を読み飛ばしたまま、所定の動作が開始されることを防ぐことができる。
【００５７】
図７は、ユーザが表示部３１に表示されている確認画面９５の示す内容を読み進めていく際に、視線が向けられる位置が移動する様子の例を示す。確認画面９５のサイズは表示部３１の表示領域より大きいので、表示部３１は一度に確認画面９５の全体を表示しきれない。このような場合は、確認画面９５の一部が表示部３１に表示され、画面をスクロールさせることでユーザは確認画面９５の全体を確認することができる。
【００５８】
図７では、表示部３１に確認画面９５の上から６行分の文章が表示されている。ユーザは各行を上から順に、左から右に向かって読んでいく。そして、たとえば、表示部３１に表示されている６行の文を読み終えたら、スクロールバー９４を使用して画面をスクロールさせ、未読の文を表示させ、続きを読んでいく。
【００５９】
次に、視線検出部２２によって検出された視線が、確認画面内のどの部分に向けられているのかを算出する方法について説明する。
【００６０】
以下の算出はＣＰＵ１１が行う。
【００６１】
図８は、図７と同じ確認画面９５を表示部３１に表示させた後、表示部３１上に対して向けられた視線が、確認画面９５内のどの部分に向けられているかを算出する手順の概略を示す。
【００６２】
確認画面のサイズが大きく、全体を一度に表示部３１に表示できない場合は、表示部３１には当該確認画面の一部が表示される。ＣＰＵ１１はハードディスク装置１５に格納されている変換テーブルを使用して投影変換を行い、確認画面内のどの部分が表示部３１上のどの位置に表示されるかを決定する。
【００６３】
前述の投影変換によって決定した位置に従って確認画面９５を表示部３１に表示したら、視線検出部２２がユーザの視線を検出する。そして、検出された視線が表示部３１上のどの位置に向けられているのかをＣＰＵ１１が算出する。表示部３１上において、視線が向けられている位置（スクリーン座標系の座標）は２次元の座標で示す。
【００６４】
次に、ＣＰＵ１１は、表示部３１上の視線が向けられている位置（スクリーン座標系の座標）が、確認画面９５内のどの部分に該当するのかを算出する。具体的には、スクリーン座標系の座標に対して、座標変換を行い確認画面９５内での座標（割付座標系の座標）を算出する。確認画面９５内での座標（割付座標系の座標）も２次元の座標で示す。
【００６５】
その後、算出された割付座標系の座標を、確認画面９５内の内容等が登録されている判定テーブル１００と照らし合わせ、当該判定テーブル１００に対応する判定結果テーブル１０２に、確認画面９５内の各文章（各文字）が目で追って確認されたか否かの判定結果を登録する。ＣＰＵ１１は、登録された判定結果に基づいて確認画面９５の示す内容（文章）の全体（もしくは一部の特定箇所）が目で追って確認され終えたか否か（読了されたか否か）を判定する。判定テーブル１００と判定結果テーブル１０２の詳細については後述する。
【００６６】
次に視線検出の方法を、図９〜図１１に基づいて説明する。
【００６７】
図９は、検出用カメラ２３とユーザの眼球１２０と表示部３１の位置関係を示す。眼球１２０を基準にして示す位置座標をユーザ座標系の座標とし、検出用カメラ２３を基準にして示す位置座標をカメラ座標系の座標とする。ユーザ座標系とカメラ座標系の各座標は３次元の座標で示す。
【００６８】
なお、検出用カメラ２３が撮影した画像を基準にして示す当該画像内での座標を撮影画像座標系の座標とする。撮影画像座標系は２次元の座標で示す。視線検出部２２は、検出用カメラ２３が撮影した画像内に映っている瞳孔とプルキニエ像を検出するとともに、そのプルキニエ像の中心位置の座標を使用して、ユーザの視線を算出する。
【００６９】
図１０は眼球１２０の拡大モデルを示す図である。図１０は、照射部２４から眼球１２０の角膜曲率中心１２５に向けて光線１２２が照射され、眼球１２０の角膜表面に反射像であるプルキニエ像１２４が映っている状態を示す。また、角膜曲率中心１２５と瞳孔中心１２３を結ぶ線の延長線を視線１２１とする。
【００７０】
図１１は、視線検出を行う際の処理の流れを示す。まず、検出用カメラ２３と眼球１２０との距離を測定して、カメラ座標系の座標を、ユーザ座標系の座標に平行移動して座標変換する平行移動行列を算出する（ステップＳ２０１）。
【００７１】
次に、検出用カメラ２３が撮影した画像に映るプルキニエ像１２４の位置に対して座標変換行列を適用し、カメラ座標系のプルキニエ像位置ベクトルを作成する（ステップＳ２０２）。
【００７２】
ステップＳ２０２で作成したカメラ座標系の位置ベクトルに対して、ステップＳ２０１で算出した並行移動行列を適用し、ユーザ座標系のプルキニエ像位置ベクトルを算出する（ステップＳ２０３）。
【００７３】
カメラ座標系のプルキニエ像位置ベクトルと、ユーザ座標系のプルキニエ像位置を用いて、ユーザ座標系の角膜曲率中心１２５の位置座標を算出する（ステップＳ２０４）。
【００７４】
次に、ステップＳ２０２〜ステップＳ２０３と同様の算出方法で、瞳孔輪郭上の複数のサンプリング点におけるユーザ座標系とカメラ座標系の位置ベクトルを算出し、この算出結果を使用して、ユーザ座標系の瞳孔中心１２３の位置座標を算出する（ステップＳ２０５）。
【００７５】
ステップＳ２０４で算出した角膜曲率中心１２５の位置座標と、ステップＳ２０５で算出した瞳孔中心１２３の位置座標を通る直線から視線１２１を算出し（ステップＳ２０６）、本処理を終了する。
【００７６】
なお、視線が算出されたら、ＣＰＵ１１は、眼球１２０の位置座標と操作パネル３０の位置座標から当該視線が表示部３１上のどの位置に向けられているのか、すなわちスクリーン座標系の座標を算出する。スクリーン座標系の座標が算出されたら、座標変換によって割付座標系の座標（確認画面内での座標）を算出する。
【００７７】
次に、判定テーブル１００と判定結果テーブル１０２について説明する。
【００７８】
図１２は、判定テーブル１００の構造を示す。判定テーブル１００には確認画面の内容がセンテンス（文）単位の複数のブロックに分割されて登録される。各ブロックには、ブロック番号、ブロック内の先頭の文字の座標（確認画面内での座標）、末尾の文字の座標、ブロック内の文字数、ブロック内詳細座標（ブロックを構成する各文字の座標）、重要度が登録されている。
【００７９】
実施の形態では、画像形成装置１０は、重要度が所定値以下のブロック（に該当するセンテンス（文））を読み飛ばし可能とする。重要度が所定値より高いブロック、すなわち、読み飛ばしが不可能なブロック（に該当するセンテンス）は、本発明に係る特定箇所に該当する。画像形成装置１０は、確認画面内におけるこの特定箇所に対してのみユーザが目で追って確認したか否かの判定を行う。
【００８０】
重要度は、Ａ、Ｂ、Ｃ（Ａ＞Ｂ＞Ｃ、）の３段階に分けられており、Ａは読み飛ばしが不可（重要度高）、Ｂはユーザによって読み飛ばし可能（重要度中）、Ｃは読み飛ばしが可能（重要度低）となっている。図１３のユーザ判断テーブル１０１には、ユーザごとに、重要度がＢのブロックを読み飛ばし可能か否か（読み飛ばし可能な場合は１、読み飛ばし不可な場合は２）が登録されている。ＣＰＵ１１は、判定テーブル１００とユーザ判断テーブル１０１を組み合わせて、画像形成装置１０を操作中のユーザが読み飛ばし可能なブロックを判断する。
【００８１】
図１４は判定結果テーブル１０２の構造を示す。判定結果テーブル１０２には、判定テーブル１００に登録されているブロックごとに、ブロック内の各文字が目で追って確認されたか否かの判定結果、およびブロック単位で当該確認が完了したか否かの判定結果が登録される。確認が未完了の場合は０、完了している場合は１が登録される。
【００８２】
ＣＰＵ１１は、割付座標系の座標を算出したら、その座標を判定テーブル１００に登録されているブロック内詳細座標と照らし合わせる。ブロック内詳細座標には、ブロック内の各文字の左端上と右端下の座標が登録されている。この２点を左端上と右端下とする四角形の範囲内に、割付座標系の座標があれば、その文字に対応する判定結果テーブル１０２の判定結果を未完了から完了に（０から１に）書き換える。そして、ブロック内の全文字の判定結果に１（確認、完了）が登録されたら、ブロック単位の判定結果を未完了から完了に（０から１に）書き換える。
【００８３】
なお、ＣＰＵ１１は、読み飛ばしが可能であると判断したブロック（およびそのブロック内の各文字）は目で追って確認されたか否かに関係無く判定結果に１を登録する。ここでは、読み飛ばし可能なブロックには、初期値として１を登録しておく。ＣＰＵ１１は、判定結果テーブル１０２の各ブロックの判定結果に全て１が登録されたら、確認画面の示す内容（文章）が全て目で追って確認されたと判定する（読了されたと認識する）。
【００８４】
判定テーブル１００と判定結果テーブル１０２は、画像形成装置１０が確認画面を表示部３１に表示する際に、その確認画面の内容に応じて作成され、使用される。確認画面の内容が予め決められたもの（たとえば、図４の使用許諾契約画面９０等）であれば、予めその確認画面に応じた判定テーブル１００と判定結果テーブル１０２を記憶しておき、読み出して使用してもよい。
【００８５】
図１５は、確認画面９６（図１５（Ａ））と、確認画面９６に応じて作成された判定テーブル１００Ａ（図１５（Ｂ））を示す。確認画面９６はデータの送信先の確認を促す内容が記載されており、８行の文章（上から２行は説明文、３行目以降は送信先情報を示す。）で構成されている。判定テーブル１００Ａには確認画面９６の各行の文章を１ブロックとして８つのブロックが登録されている。
【００８６】
各ブロックには重要度が設定されており、説明文の部分に該当するブロック（ブロック１、２）は重要度がＣに、送信先情報の部分に該当するブロック（ブロック３〜８）は重要度がＡかＢに設定されている。
【００８７】
画像形成装置１０では、各ブロックの重要度は、そのブロックに対応する文の内容によって自動的に決定される。たとえば、期限情報、アドレス（送信先）情報、金額情報等が含まれる文に対応するブロックの重要度は高めに設定される。すなわち、期限情報、アドレス（送信先）情報、金額情報等は特定箇所となる。なお、アドレス毎に重要度を変更するなど、ユーザが各ブロックの重要度を個別に設定してもよい。
【００８８】
図１６、図１７は判定結果テーブル１０２の判定結果の書き換えを行う際の処理の流れを示す。図１６の処理では読み飛ばしが可能なブロックについて判定結果の書き換えを行い、図１７の処理では視線が向けられたブロックの判定結果の書き換えを行う。図１６、図１７に示す処理は、確認画面を表示部３１に表示したときに実行される。
【００８９】
図１６の処理では、確認画面を表示部３１に表示するとき、ＣＰＵ１１は、判定テーブル１００と判定結果テーブル１０２を作成し（もしくは予め記憶されているものを読み出し）、該判定結果テーブル１０２に登録されている各判定結果を初期化（全て（ブロックおよび文字）の判定結果を０に）する（ステップＳ３０１）。
【００９０】
次に、ユーザ判断テーブル１０１を参照し、画像形成装置１０にログインしているユーザが読み飛ばし可能な重要度を調べる（ステップＳ３０２）。
【００９１】
以後のステップＳ３０３〜ステップＳ３０７では、判定テーブル１００の各ブロックが読み飛ばし可能か否かを調べ、読み飛ばし可能ならば、そのブロックの判定結果を１に設定する。
【００９２】
詳細には、判定テーブル１００のブロック番号１のデータを参照し（ステップＳ３０３）、読み飛ばし可能なブロックか否かを調べる（ステップＳ３０４）。
【００９３】
読み飛ばしが不可能であれば（ステップＳ３０４；Ｎｏ）、ステップＳ３０６に進む。読み飛ばしが可能であれば（ステップＳ３０４；Ｙｅｓ）、判定結果テーブル１０２における当該ブロックの判定結果を１（確認、完了）に書き換える（ステップＳ３０５）。
【００９４】
判定テーブル１００内に、読み飛ばしが可能か否かをチェックしていないブロックが残っている場合は（ステップＳ３０６；Ｙｅｓ）、次の番号のブロック（たとえば、ブロック番号１の次はブロック番号２）のデータを参照し（ステップＳ３０７）、ステップＳ３０４に戻って処理を継続する。判定テーブル１００内の全てのブロックについて読み飛ばしが可能か否かをチェックし終えた場合は（ステップＳ３０６；Ｎｏ）、図１７のステップＳ３０８に進む。
【００９５】
これより図１７の処理の流れを説明する。まず、ＣＰＵ１１は、視線検出部２２が検出した視線から、割付座標系の座標を取得する（ステップＳ３０８）。次に、ステップＳ３０８で取得した割付座標系の座標が、判定テーブル１００のいずれのブロック内に該当するのかを、各ブロックの先頭文字の座標と末尾文字の座標から割り出す（ステップＳ３０９）。
【００９６】
割付座標系の座標が、いずれのブロック内にも該当しない場合は（ステップＳ３１０；Ｎｏ）ステップＳ３０８に戻って処理を継続する。いずれかのブロック内に該当する場合は（ステップＳ３１０；Ｙｅｓ）、そのブロック内の何文字目の文字に該当するのかを割り出す（ステップＳ３１１）。
【００９７】
判定結果テーブル１０２において、ステップＳ３１１で割り出した文字の判定結果を１に書き換える（ステップＳ３１２）。なお、ステップＳ３１２の書き換えによって、当該文字の属するブロックの文字の判定結果が全て１になった場合は、当該ブロックの判定結果を１に書き換える。
【００９８】
判定結果が１に書き換えられていないブロックが１つでも残っている場合は（ステップＳ３１３；Ｎｏ）、ステップＳ３０８に戻って処理を継続する。全てのブロックの判定結果が１に書き換えられたら（ステップＳ３１３；Ｙｅｓ）、本処理を終了する。ＣＰＵ１１は本処理が終了したら、確認画面の示す内容をユーザが目で追って確認し終えたと判定し（読了したと認識し）、次画面への遷移やジョブの実行等の所定の動作の開始を許可する。
【００９９】
このように、本実施の形態に係る画像形成装置１０は、表示部３１に表示した確認画面の示す内容をユーザが目で追って確認し終えたと判定（読了したと認識）するまで、ジョブの開始（再開）や画面の遷移等の所定の動作の実行を禁止する。これにより、ユーザが確認画面の示す内容を読み飛ばした状態での、所定の動作の実行を防止することができる。また、確認画面の示す各文には重要度が設定され、重要度の低い文については読み飛ばしを可能とする。たとえば、繰り返し表示されるような内容については重要度が低く設定される。期限情報、アドレス情報、金額情報等の情報等は重要度が高く設定される。ユーザが各ブロックの重要度を変更可能であってもよい。
【０１００】
なお、表示部３１に表示した確認画面の示す内容をユーザが目で追って確認し終えたと判定（読了したと認識）する前に、所定の動作の開始要求をユーザから受けた場合は、読み飛ばしが不可能なブロックの中で、判定結果が０（確認、未完了）のブロックに該当する文（未読の文）を強調表示してもよい。強調表示の例としては、太字での表示や点滅表示がある。また、所定の動作の開始要求をユーザから受ける場合の例としては、たとえば、図５の破線内のボタン（決定ボタン９２、キャンセルボタン９３）を、宛先確認画面９１の表示開始時から表示した場合に、送信先を示す情報部分を読み終えないまま決定ボタン９２が押下される場合がある。
【０１０１】
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【０１０２】
本発明の実施の形態では画像形成装置１０を例に説明したが、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、ハードディスク装置１５と、表示部３１と、操作部３２と、視線検出部２２を抜き出して構成された操作表示装置であってもよい。なお、この場合、確認画面が未読の間に実行が禁止される所定の動作は、所定の装置に対してジョブの開始を指示する動作、その装置に対してジョブの再開を指示する動作、表示部３１に表示する画面を遷移させる動作、所定の操作ボタンを表示部３１に表示する動作等である。
【０１０３】
本発明の実施の形態では、判定テーブル１００とユーザ判断テーブル１０１の両方を用いて、画像形成装置１０を操作中のユーザが読み飛ばすことのできるブロックを調べたが、ユーザごとに判定テーブル１００を作成し、各ブロックの重要度を（ＡかＣの２択で）決定してもよい。
【０１０４】
本発明の実施の形態では、画像形成装置１０は、確認画面の示す内容が目で追って確認されたと判定した（読了したことを認識した）状態で、所定の動作の開始要求を受け付けたら所定の動作を開始していたが、確認画面の示す内容が目で追って確認されたと判定したら自動的に所定の動作を開始してもよい。
【０１０５】
本発明の実施の形態では、センテンス（文）単位で複数のブロックに分けたが、ワード（単語）単位等、他の基準でブロックを分けてもよい。
【０１０６】
本発明の実施の形態では、機密性の高いデータを送信する場合に確認画面を表示したが、機密性が低くともデータの送信時には必ず確認画面を表示してもよい。なお、送信先に、特定の宛先が含まれる場合に確認画面を表示するようにしてもよい。
【符号の説明】
【０１０７】
３…ＬＡＮ
１０…画像形成装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…画像処理部
１７…スキャナ部
１８…プリンタ部
１９…ファクシミリ通信部
２０…ネットワーク通信部
２１…認証部
２２…視線検出部
２３…検出用カメラ
２４…照射部
３０…操作パネル
３１…表示部
３２…操作部
３３…スイッチ部
３４…タッチパネル部
４０…ＰＣ端末
９０…使用許諾契約画面
９１…宛先確認画面
９２…決定ボタン
９３…キャンセルボタン
９４…スクロールバー
９５…確認画面
９６…確認画面
１００、１００Ａ…判定テーブル
１０１…ユーザ判断テーブル
１０２…判定結果テーブル
１２０…眼球
１２１…視線
１２２…光線
１２３…瞳孔中心
１２４…プルキニエ像
１２５…角膜曲率中心
【図１】
2014219712.tif 000003
【図２】
2014219712.tif 000004
【図３】
2014219712.tif 000005
【図４】
2014219712.tif 000006
【図５】
2014219712.tif 000007
【図６】
2014219712.tif 000008
【図７】
2014219712.tif 000009
【図８】
2014219712.tif 000010
【図９】
2014219712.tif 000011
【図１０】
2014219712.tif 000012
【図１１】
2014219712.tif 000013
【図１２】
2014219712.tif 000014
【図１３】
2014219712.tif 000015
【図１４】
2014219712.tif 000016
【図１５】
2014219712.tif 000017
【図１６】
2014219712.tif 000018
【図１７】
2014219712.tif 000019