(57)【要約】【課題】画像形成装置におけるユーザーの誤った操作を確実に防止する。【解決手段】ＭＦＰ１では、エラーが発生すると、操作端末３００に、当該エラーを解除するための手順を表示する。当該表示を見るユーザーが、操作端末３００のカメラ３０７によって撮影され、当該撮影による画像に基づいて、ユーザーが禁止される操作部に注視していないかどうかが検出される。そして、注視していることが検出されると、ユーザーが当該操作部に対する操作をしかけていると判断されて、警告が出力される。【選択図】図１
2014074737.tif 000002
【特許請求の範囲】
【請求項１】
画像形成装置と、前記画像形成装置と通信可能な端末装置とを備えた画像形成システムであって、
前記画像形成装置は、
複数の操作部を有し、前記複数の操作部のいずれかに対するユーザーの操作を必要とする状態が発生したときの当該操作の手順情報と、当該状態が発生したときにユーザーによる操作が禁止される前記操作部の情報である禁止操作部情報とを保持し、
前記端末装置は、
カメラと、
前記画像形成装置を制御するための制御手段を含み、
前記端末装置の前記画像形成装置に対する位置を検知するための検知手段と、
前記端末装置のユーザーに警告を出力する警告手段と、
前記状態が発生した場合、前記カメラの撮影結果に基づいてユーザーの動作を監視し、前記禁止操作部情報の前記操作部に対してユーザーが動作をしかけたことを検出したときに、前記警告手段に警告を出力させる出力指示手段とを備える、画像形成システム。
【請求項２】
前記出力指示手段は、前記検知手段によって検知された前記位置が前記禁止操作部情報の位置から所定の範囲内に存在することを条件として、前記カメラの撮影結果に基づいてユーザーの動作を監視する、請求項１に記載の画像形成システム。
【請求項３】
前記出力指示手段は、前記カメラの撮影結果から検出された人物の視線が、所定時間継続して前記禁止操作部情報の前記操作部に向けられていることが検出された場合に、前記警告手段に警告を出力させる、請求項１に記載の画像形成システム。
【請求項４】
前記出力指示手段は、前記カメラの撮影結果から人物の動きが、前記禁止操作部情報の前記操作部に向けた動きであることが検出された場合に、前記警告手段に警告を出力させる、請求項１に記載の画像形成システム。
【請求項５】
前記出力指示手段は、前記ユーザーの移動方向の速度を測定可能な速度測定機構を用いて、前記操作部に向けた動きの速度が所定速度以上であった場合、前記警告手段に警告を出力させる、請求項４に記載の画像形成システム。
【請求項６】
前記所定の範囲は、前記画像形成装置を手動で操作可能であると想定される範囲である、請求項２に記載の画像形成システム。
【請求項７】
前記出力指示手段は、前記複数の操作部のうち、ユーザーの操作を必要とする操作部および前記禁止操作部情報の操作部以外の操作部に対してユーザーが動作をしかけたことを検出したときに、前記手順情報によって指示される操作部とは異なる操作部が操作されようとしていることを報知する、請求項１〜請求項６のいずれか１項に記載の画像形成システム。
【請求項８】
前記禁止操作部情報によって操作を禁止される操作部は、前記状態ごとに保持され、
前記所定時間は、前記状態ごとに設定される、請求項３に記載の画像形成システム。
【請求項９】
前記画像形成装置と物体との位置関係を検知するための赤外線センサーをさらに備え、
前記検知手段は、前記赤外線センサーの検知出力に基づいて、前記端末装置の前記画像形成装置に対する位置を補正する、請求項１〜請求項８のいずれか１項に記載の画像形成システム。
【請求項１０】
前記端末装置は、前記画像形成装置に対して離間して移動可能である、請求項１〜請求項９のいずれか１項に記載の画像形成システム。
【請求項１１】
画像形成装置と、前記画像形成装置と通信可能な端末装置とを備えた画像形成システムを制御するコンピューターによって実行される制御方法であって、
前記画像形成装置は、
複数の操作部を有し、前記複数の操作部のいずれかに対するユーザーの操作を必要とする状態が発生したときの当該操作の手順情報と、当該状態が発生したときにユーザーによる操作が禁止される前記操作部の情報である禁止操作部情報とを保持し、
前記端末装置は、
カメラと、
前記画像形成装置を制御するための制御手段とを含み、
前記端末装置の前記画像形成装置に対する位置を検知するステップと、
前記端末装置のユーザーに警告を出力するステップと、
前記状態が発生した場合、前記カメラの撮影結果に基づいてユーザーの動作を監視し、前記禁止操作部情報の前記操作部に対してユーザーが動作をしかけたことを検出したときに、前記警告を出力させるステップとを備える、画像形成システムの制御方法。
【請求項１２】
画像形成装置と、前記画像形成装置と通信可能な端末装置とを備えた画像形成システムを制御するコンピューターによって実行される制御プログラムであって、
前記画像形成装置は、
複数の操作部を有し、前記複数の操作部のいずれかに対するユーザーの操作を必要とする状態が発生したときの当該操作の手順情報と、当該状態が発生したときにユーザーによる操作が禁止される前記操作部の情報である禁止操作部情報とを保持し、
前記端末装置は、
カメラと、
前記画像形成装置を制御するための制御手段とを含み、
前記制御プログラムは、前記コンピューターに、
前記端末装置の前記画像形成装置に対する位置を検知するステップと、
前記端末装置のユーザーに警告を出力するステップと、
前記状態が発生した場合、前記カメラの撮影結果に基づいてユーザーの動作を監視し、前記禁止操作部情報の前記操作部に対してユーザーが動作をしかけたことを検出したときに、前記警告を出力させるステップとを実行させる、画像形成システムの制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、  画像形成システム、その制御方法、および、その制御プログラムに関し、特に、画像形成装置の操作を補助することができる画像形成システム、その制御方法、および、その制御プログラムに関する。
【背景技術】
【０００２】
従来から、画像形成装置の操作を補助するための種々の技術が提案されてきた。
たとえば、特許文献１（特開２００６−０３０３５９号公報）には、ユーザーが動作する必要のある箇所に動作情報ラベルが貼付された画像形成装置において、当該ラベルに赤外線センサーを設け、ユーザーが当該ラベルに近づいたり触れたりした時に音声ガイダンスを流すことが開示されている。
【０００３】
また、特許文献２（特開２０１０−１６５１０６号公報）には、複合機においてエラーが発生した時に、当該複合機は、当該複合機に対して印刷指示を送信したポータブル端末に対してエラー情報を送信し、これにより、当該ポータブル端末においてエラー情報が表示されることが開示されている。なお、当該文献では、複合機とポータブル端末との距離が測定され、測定された距離が所定の距離以内になればエラー情報の送信が行われないことも開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−０３０３５９号公報
【特許文献２】特開２０１０−１６５１０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像形成装置において、ガイダンス表示等がなされる等してユーザーが操作を行う場合、当該ガイダンス表示で示されるものとは異なった操作を行ってしまうことにより、用紙の破損やジャム（用紙詰まり）が発生し、ユーザーの作業効率が低下する場合がある。
【０００６】
たとえば、連続通紙中にジャムが発生し給紙部（給紙ローラー）付近に用紙が噛まれた場合、ユーザーが画像形成装置の操作パネルに表示されたジャムの解除手順と異なった手順で用紙除去（ジャム解除）を行うと、下記の事例１）の発生が想定される。
【０００７】
事例１）
給紙部でジャムが発生し、操作パネルにジャム解除の手順が表示される。当該手順では、用紙の搬送経路を覆う部分のドアパネルのオープンが指示される。しかしながら、当該指示を確認したユーザーが、誤って、給紙カセットをオープンしてしまう。これにより、給紙部で、噛まれていた用紙が破断され、いわゆる切断が生じてしまう。切断により破損した用紙の除去により、ユーザーの作業効率が低下する。
【０００８】
また、プリント中にトナーエンプティが発生した場合、ユーザーが画像形成装置の操作パネルに表示されたトナーボトル交換の手順と異なった手順で操作を行おうとすると、下記の事例２）の発生が想定される。
【０００９】
事例２）
トナーエンプティが発生したことが検出されると、操作パネルにトナーボトル交換のための手順が表示される。当該手順では、画像形成装置におけるＴＢドア（トナーボトルが収納される部位を開閉するドア）のオープンが指示される。しかしながら、当該指示を確認したユーザーが、誤って、用紙の搬送経路を覆う部分のドアパネルをオープンしてしまう。これにより、用紙搬送に関する駆動リレーが切れ、用紙搬送動作が停止し、搬送中の用紙のジャムが発生する。当該用紙の除去により、ユーザーの作業効率が低下する。
【００１０】
特許文献２によれば、複合機等の画像形成装置においてエラーが生じた場合等、ユーザーが画像形成装置を操作する必要が生じたことがユーザーに通知される。しかしながら、単にユーザーに通知が行われるだけでは、上記したようなユーザーの誤った操作を防止できない。
【００１１】
特許文献１によれば、操作の際に画像形成装置において触れてはいけないところにユーザーの手が近づいた場合にそのことを報知することができる。しかしながら、近づいたときに報知が行われても、報知が間に合わない場合がある。
【００１２】
本発明は係る実情に鑑み考え出されたものであり、その目的は、画像形成装置におけるユーザーの誤った操作を確実に防止することである。
【課題を解決するための手段】
【００１３】
本発明に従った画像形成システムは、画像形成装置と、画像形成装置と通信可能な端末装置とを備えた画像形成システムであって、画像形成装置は、複数の操作部を有し、複数の操作部のいずれかに対するユーザーの操作を必要とする状態が発生したときの当該操作の手順情報と、当該状態が発生したときにユーザーによる操作が禁止される操作部の情報である禁止操作部情報とを保持し、端末装置は、カメラと、画像形成装置を制御するための制御手段を含み、端末装置の画像形成装置に対する位置を検知するための検知手段と、端末装置のユーザーに警告を出力する警告手段と、状態が発生した場合、カメラの撮影結果に基づいてユーザーの動作を監視し、禁止操作部情報の操作部に対してユーザーが動作をしかけたことを検出したときに、警告手段に警告を出力させる出力指示手段とを備える。
【００１４】
好ましくは、出力指示手段は、検知手段によって検知された位置が禁止操作部情報の位置から所定の範囲内に存在することを条件として、カメラの撮影結果に基づいてユーザーの動作を監視する。
【００１５】
好ましくは、出力指示手段は、カメラの撮影結果から検出された人物の視線が、所定時間継続して禁止操作部情報の操作部に向けられていることが検出された場合に、警告手段に警告を出力させる。
【００１６】
好ましくは、出力指示手段は、カメラの撮影結果から人物の動きが、禁止操作部情報の操作部に向けた動きであることが検出された場合に、警告手段に警告を出力させる。
【００１７】
好ましくは、出力指示手段は、ユーザーの移動方向の速度を測定可能な速度測定機構を用いて、操作部に向けた動きの速度が所定速度以上であった場合、警告手段に警告を出力させる。
【００１８】
好ましくは、所定の範囲は、画像形成装置を手動で操作可能であると想定される範囲である。
【００１９】
好ましくは、出力指示手段は、複数の操作部のうち、ユーザーの操作を必要とする操作部および禁止操作部情報の操作部以外の操作部に対してユーザーが動作をしかけたことを検出したときに、手順情報によって指示される操作部とは異なる操作部が操作されようとしていることを報知する。
【００２０】
好ましくは、禁止操作部情報によって操作を禁止される操作部は、状態ごとに保持され、所定時間は、状態ごとに設定される。
【００２１】
好ましくは、画像形成装置と物体との位置関係を検知するための赤外線センサーをさらに備え、検知手段は、赤外線センサーの検知出力に基づいて、端末装置の画像形成装置に対する位置を補正する。
【００２２】
好ましくは、端末装置は、画像形成装置に対して離間して移動可能である。
本発明に従った画像形成システムの制御方法は、画像形成装置と、画像形成装置と通信可能な端末装置とを備えた画像形成システムを制御するコンピューターによって実行される制御方法であって、画像形成装置は、複数の操作部を有し、複数の操作部のいずれかに対するユーザーの操作を必要とする状態が発生したときの当該操作の手順情報と、当該状態が発生したときにユーザーによる操作が禁止される操作部の情報である禁止操作部情報とを保持し、端末装置は、カメラと、画像形成装置を制御するための制御手段とを含み、端末装置の画像形成装置に対する位置を検知するステップと、端末装置のユーザーに警告を出力するステップと、状態が発生した場合、カメラの撮影結果に基づいてユーザーの動作を監視し、禁止操作部情報の操作部に対してユーザーが動作をしかけたことを検出したときに、警告を出力させるステップとを備える。
【００２３】
本発明に従った画像形成システムの制御プログラムは、画像形成装置と、画像形成装置と通信可能な端末装置とを備えた画像形成システムを制御するコンピューターによって実行される制御プログラムであって、画像形成装置は、複数の操作部を有し、複数の操作部のいずれかに対するユーザーの操作を必要とする状態が発生したときの当該操作の手順情報と、当該状態が発生したときにユーザーによる操作が禁止される操作部の情報である禁止操作部情報とを保持し、端末装置は、カメラと、画像形成装置を制御するための制御手段とを含み、制御プログラムは、コンピューターに、端末装置の画像形成装置に対する位置を検知するステップと、端末装置のユーザーに警告を出力するステップと、状態が発生した場合、カメラの撮影結果に基づいてユーザーの動作を監視し、禁止操作部情報の操作部に対してユーザーが動作をしかけたことを検出したときに、警告を出力させるステップとを実行させる。
【発明の効果】
【００２４】
本発明によれば、カメラがの撮影結果に基づいてユーザーの動作が監視される。そして、当該監視の結果、禁止操作部情報の操作部に対するユーザー動作が検出されると、警告が出力される。
【００２５】
これにより、より画像形成装置から離間した位置でのユーザーの動作を検出でき、早期に、ユーザーが禁止操作部情報の操作部に対して操作をしかけたことが検出でき、警告を出力することができる。
【００２６】
したがって、画像形成装置において、ユーザーの誤った操作を確実に防止することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の画像形成システムの一実施の形態であるＭＦＰ（Multi-Functional  Peripheral）１を示す概略正面断面図である。
【図２】ＭＦＰの制御ブロック図である。
【図３】制御用位置情報の内容の一例を模式的に示す図である。
【図４】図３の座標を説明するための図である。
【図５】第１給紙カセットにおいてジャムが発生したときに実行される処理のフローチャートである。
【図６】カメラ監視有効範囲の一例を説明するための図である。
【図７】操作端末の位置の特定のために実行される処理のフローチャートである。
【図８】図７の処理内容を説明するための図である。
【図９】図５のステップＳ９０における判断の処理内容の一例のフローチャートである。
【図１０】図９の処理内容を説明するための図である。
【図１１】図９の処理内容を説明するための図である。
【図１２】図９の処理内容を説明するための図である。
【図１３】カメラの撮影方向θｎｏｗを検出する処理のフローチャートである。
【図１４】図１３の処理内容を説明するための図である。
【図１５】リストバンド型の操作端末の外観の一例を示す図である。
【図１６】図１５の操作端末を利用した処理内容の一例のフローチャートである。
【発明を実施するための形態】
【００２８】
以下、本発明に係る画像形成システムについて、図面を参照して説明する。なお、各図において、同様の作用および機能を奏する構成要素については、同じ符号を付し、その説明は繰返さない。
【００２９】
［画像形成システムの全体構成］
図１は、本発明の画像形成システムの一実施の形態であるＭＦＰ（Multi-Functional  Peripheral）１を示す概略正面断面図である。ＭＦＰ１は、プリント機能、ファクシミリ機能、コピー機能、スキャナー機能等の種々の画像処理機能を有する複合機である。
【００３０】
図１に示すように、ＭＦＰ１は、画像読取部１０、プリンター部２０、操作端末３００、および、コントローラー２００を含む。コントローラー２００は、ＭＦＰ１の動作を全体的に制御する。
【００３１】
操作端末３００は、ユーザーによって、ＭＦＰ１に対する指示を入力するために操作される。操作端末３００には、カメラ３０７とパネル表示部３０９が設けられている。
【００３２】
ＭＦＰ１には、操作端末３００を設置される場所が、設置場所８１１として設けられている。本実施の形態では、操作端末３００は、ＭＦＰ１本体に対して移動可能に構成されている。そして、ＭＦＰ１では、操作端末３００は、基本的には設置場所８１１に載置される。ユーザーは、パネル表示部３０９における表示を確認する等のために、操作端末３００を設置場所８１１から持ち出すことができる。
【００３３】
本実施の形態では、パネル表示部３０９は、ユーザーからのタッチ操作を受け付けるタッチパネルによって実現される。なお、画像形成システムにおいて、表示部は、必ずしもタッチパネルによって実現されなくても良い。表示部と操作部（ユーザーからの操作を受け付ける部分）とは別体で実現されても良い。
【００３４】
プリンター部２０には、イメージングユニット１５０Ｋ，１５０Ｙ，１５０Ｍ，１５０Ｃおよびインクカートリッジ１５１Ｋ，１５１Ｙ，１５１Ｍ，１５１Ｃが着脱自在に装着される。イメージングユニット１５０Ｋ，１５０Ｙ，１５０Ｍ，１５０Ｃおよびインクカートリッジ１５１Ｋ，１５１Ｙ，１５１Ｍ，１５１Ｃは、ＭＦＰ１に装着された際に図示しないドア（図４のトナー交換ドア１Ａ）によって覆われるものであって、ＭＦＰ１内に内包される構成となっている。
【００３５】
画像読取部１０は、スキャナーを含み、当該スキャナーを移動させることにより不図示の原稿ガラス板上に載置された原稿の画像を読み取る公知の装置である。画像読取部１０では、露光ランプの照射により得られた原稿画像が、集光レンズにより結像され、さらに分光器によりレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の三種類の波長の光に分光されて、それぞれレッド用ＣＣＤ（Charge  Coupled  Device）イメージセンサー、グリーン用ＣＣＤイメージセンサー、ブルー用ＣＣＤイメージセンサーに入射される。各ＣＣＤイメージセンサー（以下、単に「ＣＣＤセンサ」という。）からの出力信号は、コントローラー２００でＡＤ（アナログ−デジタル）変換されて、原稿のＲ，Ｇ，Ｂの各画像データとされる。
【００３６】
得られた色成分ごとの画像データは、コントローラー２００において、各種のデータ処理を施され、更にブラック（Ｋ），イエロー（Ｙ），マゼンタ（Ｍ），シアン（Ｃ）の各再現色（以下、各再現色に関連する構成部分の番号に、このＫ、Ｙ、Ｍ、Ｃを添字として付加する。）の画像データに変換される。変換された画像データは、コントローラー２００内のＲＡＭ（後述するＲＡＭ（Random  Access  Memory）２０１）に再現色ごとに格納され、レジスト補正などの各種の補正処理を施される。その後、画像データは、印刷用紙（以下、単に「用紙」と呼ぶ）の供給と同期して１走査ラインごとに読み出され、感光体ドラム５１Ｋ，５１Ｙ，５１Ｍ，５１Ｃを露光するレーザーダイオードの駆動信号となる。
【００３７】
プリンター部２０は、プリンター部２０内に張架されて駆動される転写ベルト４１と、転写ベルト４１に対向して所定間隔で配置された各色のイメージングユニット（画像形成ユニット）１５０Ｋ，１５０Ｙ，１５０Ｍ，１５０Ｃと、イメージングユニットごとに設けられた露光走査部６０Ｋ〜６０Ｃと、転写ベルト４１へ用紙を給送する給紙部７０と、用紙搬送部４０の下流側に配置された定着部８０と、両面ユニット８２とからなる。
【００３８】
露光走査部６０Ｋ〜６０Ｃは、それぞれ、コントローラー２００から出力された駆動信号を受けてレーザー光を発するレーザーダイオードや、このレーザー光を偏向して感光体ドラム５１Ｋ〜５１Ｃ上を主走査方向に露光走査させるための不図示のポリゴンミラー等を備えている。
【００３９】
給紙部７０は、用紙を収納する給紙カセット７１，７２と、各給紙カセットに収納される用紙を繰り出すためのピックアップローラー７６Ａ〜７６Ｃと、繰り出された用紙を転写ベルト４１に送り出すタイミングを調整するためのレジストローラー７９を含む。
【００４０】
なお、本明細書では、便宜上、給紙カセット７１を「第１の給紙カセット」、給紙カセット７２を「第２の給紙カセット」と呼ぶ場合がある。
【００４１】
レジストローラー７９近傍の用紙搬送経路は、図示せぬ前ドア（図４の前ドア１Ｂ）に覆われている。
【００４２】
給紙カセット７１，７２には、サイズまたは向きの異なる用紙が収納される。具体的には、たとえば、給紙カセット７１にはＡ５サイズ（横送り）の用紙（以下、「Ａ４用紙」と呼ぶ）が収納され、給紙カセット７２にはＡ４サイズ（横送り）の用紙（以下、「Ｂ４用紙」と呼ぶ）が収納されている。
【００４３】
給紙カセット７１に収容される用紙は、ピックアップローラー７６Ａによって繰り出され、用紙センサー９１１に検出された後、搬送経路上へ送られる。
【００４４】
給紙カセット７２に収容される用紙は、ピックアップローラー７６Ｂによって繰り出され、用紙センサー９１２に検出された後、搬送経路上へ送られる。
【００４５】
搬送経路上には、給紙カセット７２から繰り出された用紙と給紙カセット７１から繰り出された用紙の合流点において用紙の有無を検出する用紙センサー９１５が設けられる。用紙センサー９１５による検出位置を通過した用紙は、レジストローラー７９によって、転写ベルト４１へと送り出される。
【００４６】
転写ベルト４１によって各色のトナー像が多重転写された用紙は、用紙センサー９１６で検出された後、定着部８０まで搬送される。定着部８０の定着ローラー８０１は、内部にヒーター９１７を備える。コントローラー２００は、定着ローラー８０１の表面温度を温度検出センサで検出しながらヒーター９１７への通電を制御する。用紙は、定着ローラー８０１により高温で加圧され、その表面のトナー粒子が用紙表面に融着して定着され、用紙センサー９２０で検出された後、排紙トレイ９１に排出される。
【００４７】
ＭＦＰ１では、用紙の表面に加えて裏面に対して画像形成が行なわれる場合には、用紙の表面に形成された画像を定着部８０で定着させた後、当該用紙が両面ユニット８２へ送られる。
【００４８】
両面ユニット８２における用紙の搬送経路上には、用紙センサー９１９，９１８が順に設けられている。両面ユニット８２から再度転写ベルト４１へと用紙が送られると、当該用紙の裏面に、表面への画像形成装置形成と同様に、画像が形成される。そして、裏面に形成された画像が定着部８０で定着された後、当該用紙は、用紙センサー９２０で検出され、そして、排紙トレイ９１に排出される。
【００４９】
ＭＦＰ１の両面ユニット８２側の側面には、図示せぬドア（後述する縦搬送ドア）が設けられている。縦搬送ドアは、両面ユニット８２におけるジャムによって搬送経路内で噛みこまれた用紙を外部から取り除くために、開閉される。
【００５０】
なお、ＭＦＰ１には、手差しトレイ９５が設けられている。ＭＦＰ１では、手差しトレイ９５にセットされた用紙が、画像形成の対象とされる場合がある。手差しトレイ９５にセットされた用紙は、搬送経路に送られ、用紙センサー９１５で検出された後、転写ベルト４１へと送られ、画像を形成される。
【００５１】
ＭＦＰ１では、用紙の搬送タイミングに応じたタイミングで、適切な用紙センサーが用紙の通過を検出しない場合や、用紙センサーが搬送タイミングによって想定される期間以上長い期間継続して用紙を検出する場合に、ジャムが発生したと判断される。
【００５２】
［ブロック構成］
図２は、ＭＦＰ１の制御ブロック図である。
【００５３】
図２では、ＭＦＰ１が、画像形成部１００と、コントローラー２００と、操作端末３００とに分けられて記載されている。
【００５４】
画像形成部１００は、ＭＦＰ１において、画像形成動作や、用紙搬送等のための動作が行なわれる部分である。
【００５５】
コントローラー２００は、操作端末３００等から入力される指示に応じて、画像形成部１００の動作を指示する。また、コントローラー２００は、画像形成部１００が、用紙のジャム等、ユーザーによる作業を必要とするような状態となった場合には、当該状態を解除するための操作の手順を操作端末３００に表示させる。
【００５６】
以下、各部の構成を説明する。
（画像形成部１００）
画像形成部１００には、エンジンＣＰＵ（Central  Processing  Unit）１０３を中心にエンジン制御部１０２、Ｉ／Ｆ（インターフェース）部１０４、モーター駆動部１０９、ＲＯＭ（Read  Only  Memory）１０５とＲＡM（Random  Access  Memory）１０６からなるメモリー部が存在する。
【００５７】
画像形成部１００では、モーター駆動部１０９の給紙モーターが駆動されるされることにより、各カセットに格納された用紙画搬送経路へ給紙され、タイミングモーターが駆動されることにより、給紙された用紙が搬送される。
【００５８】
エンジン制御部１０２は、タイミングセンサー１１０（用紙センサー９１５）と給紙センサー１０１（図１の用紙センサー９１１，９１２）を含む。エンジンＣＰＵ１０３は、これらのセンサーの検出出力に基づいて、各給紙カセットにおけるジャムの発生の有無を検出する。なお、搬送経路上の用紙センサーの検出出力に基づくジャムの発生の検出については、公知の技術に基づいて実現することができるため、ここでは詳細な説明は繰り返さない。
【００５９】
エンジンＣＰＵ１０３は、Ｉ／Ｆ部１０４を介して、コントローラー２００（のＩ／Ｆ部２０７）と通信する。エンジンＣＰＵ１０３は、ジャムの発生を検出した場合には、当該ジャムについての情報（ジャムの位置等）をコントローラー２００に送信する。
【００６０】
（コントローラー２００）
コントローラー２００には、コントローラーＣＰＵ２０３を中心に、画像処理部２０６、端末追跡制御部２０４、カメラ画像処理部２０５、Ｉ／Ｆ部２０７、および、ＲＡＭ２０１とＲＯＭ２０２からなるメモリー部が存在する。
【００６１】
コントローラーＣＰＵ２０３は、Ｉ／Ｆ部２０７を介して、操作端末３００から、カメラ３０７の位置情報や撮影向き等の情報を取得する。そして、コントローラーＣＰＵ２０３は、これらの情報を端末追跡制御部２０４に送る。端末追跡制御部２０４は、コントローラーＣＰＵ２０３から送られてきた情報に基づいて、操作端末３００の位置を追跡する。
【００６２】
また、コントローラーＣＰＵ２０３は、カメラ３０７が撮影した画像をＩ／Ｆ部２０７を介して取得し、当該画像をカメラ画像処理部２０５へ送る。カメラ画像処理部２０５は、送られてきた画像に対して画像処理を実行し、その結果をコントローラーＣＰＵ２０３へ送信する。
【００６３】
画像処理部２０６は、上記したスキャナーによって読取られた画像や画像形成部１００に蓄積された画像に対して、γ補正等の種々の画像処理を実行する。ＭＦＰ１では、当該画像処理後の画像が、画像形成部１００における用紙への画像形成の対象となる場合がある。
【００６４】
なお、コントローラー２００における、操作端末３００の位置等を追跡するための要素（端末追跡制御部２０４およびカメラ画像処理部２０５）は、ＭＦＰ１とは別の装置（たとえば、ＭＦＰ１とネットワークを介して接続可能なサーバー）に設けられても良い。この場合、当該サーバーは、操作端末３００と通信可能であり、操作端末３００から取得する情報（後述する３次元加速度センサー３０３の検出出力等）に基づいて操作端末３００の位置を特定するための情報を生成し、コントローラー２００へ送信する。コントローラー２００は、当該サーバーからの情報に基づいて、操作端末３００の位置についての情報を取得する。
【００６５】
本実施の形態では、ＭＦＰ１は、コントローラーＣＰＵ２０３がＲＯＭ２０２等に格納されたプログラムを実行することにより、本明細書に記載された機能の少なくとも一部を実現する。なお、当該プログラムは、ＭＦＰ１の本体に固定された記録媒体に記録されていても良いし、当該本体に着脱可能な記録媒体に記録されていても良い。記録媒体としては、ＣＤ−ＲＯＭ（Compact  Disc  -  Read  Only  Memory）、ＤＶＤ−ＲＯＭ（Digital  Versatile  Disk  -  Read  Only  Memory）、ＵＳＢ（Universal  Serial  Bus）メモリ、メモリカード、ＦＤ（Flexible  Disk）、ハードディスク、磁気テープ、カセットテープ、ＭＯ（Magnetic  Optical  Disc）、ＭＤ（Mini  Disc）、ＩＣ（Integrated  Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically  Erasable  Programmable  Read-Only  Memory）などの、不揮発的にプログラムを格納する媒体が挙げられる。また、コントローラーＣＰＵ２０３が実行するプログラムは、ネットワークを介してＭＦＰ１にインストールされる場合も有り得る。
【００６６】
（操作端末３００）
操作端末３００には、操作端末ＣＰＵ３０４を中心に、操作部３０１、パネル表示部３０９、ジャイロセンサー３０２、３次元加速度センサー３０３、Ｉ／Ｆ部３０８、ＲＯＭ３０５とＲＡＭ３０６からなるメモリー部が存在する。
【００６７】
本実施の形態では、操作端末３００は、ＭＦＰ１本体（画像形成部１００およびコントローラー２００の少なくとも一部を収容する筐体）に対して移動可能に構成されている。そして、操作端末３００には、当該操作端末３００の移動の際の角速度を検出するジャイロセンサー３０２と、操作端末３００に印加される３軸方向の加速度を検出する３次元加速度センサー３０３とが設けられており、操作端末ＣＰＵ３０４は、Ｉ／Ｆ部３０８を介して、これらの検出出力をコントローラー２００へ送信する。
【００６８】
操作端末３００では、カメラ３０７は、当該操作端末３００の筐体に対して固定されている。本実施の形態では、３次元加速度センサー３０３の検出出力に基づいて、操作端末３００の位置が特定され、また、ジャイロセンサー３０２の検出出力に基づいて、カメラ３０７の撮影方向が特定される。
【００６９】
さらに、コントローラーＣＰＵ２０３にて、ユーザーに警告を行うと判断した場合は、Ｉ／Ｆ部２０７からくる警告情報をＩ／Ｆ部３０８で受信しパネル表示部３０９で表示する。
【００７０】
［制御用位置情報］
ＭＦＰ１では、ジャム等の、ユーザーによる操作を必要とする状態となった場合に、ユーザーによる操作を必要とする位置や、ユーザーによる操作を禁止する位置が設定されている。また、ＭＦＰ１では、ユーザーによる操作の対象となることが予測される位置が検出される。そして、検出された位置が操作を禁止する位置である場合には、ユーザーに対して警告が出力される。
【００７１】
このような警告を出力するために、ＭＦＰ１では、操作の対象となり得る部分の位置情報が登録されている。本明細書では、ＭＦＰ１において操作の対象となり得る部分を「操作部」と呼ぶ。そして、登録される位置情報の一例が、制御用位置情報として、以下に説明される。
【００７２】
図３は、制御用位置情報の内容の一例を模式的に示す図である。
図３に示されたような制御用位置情報は、ＲＯＭ２０２に格納されている。ＲＯＭ２０２には、ユーザーの操作が必要とされる状態ごとに、制御用位置情報が格納されている。そして、図３に示された制御用位置情報は、第１の給紙カセット（給紙カセット７１）においてジャムが発生した際の情報である。
【００７３】
図３では、制御用位置情報として、操作部毎の座標データの一覧が示されている。
当該一覧表では、操作部ごとに、名称（操作部名）と、座標データ群と、ユーザー操作禁止情報と、ユーザー操作促進情報と、ユーザー注視時間閾値と、操作判定速度閾値と、操作判定時間閾値とが設定されている。
【００７４】
操作部名としては、「ポータブル端末設置箇所」「前ドア操作箇所」「トナー交換ドア操作箇所」「縦搬送ドア操作箇所」「第１給紙カセット操作箇所」「第２給紙カセット操作箇所」が挙げられている。
【００７５】
「ポータブル端末設置箇所」は、操作端末３００が設置される設置場所８１１である。「前ドア操作箇所」「トナー交換ドア操作箇所」「縦搬送ドア操作箇所」は、上記の前ドア、トナー交換ドア、縦搬送ドアのそれぞれを開ける際に操作される部分（取っ手部分等）である。なお、前ドアとトナー交換ドアは、図４において、それぞれ、トナー交換ドア１Ａ、前ドア１Ｂとして示されている。また、「第１給紙カセット操作箇所」「第２給紙カセット操作箇所」は、給紙カセット７１，７２のそれぞれを開ける際に操作される部分（取っ手部分等）である。
【００７６】
座標データ群は、各操作部の操作の対象となる位置の座標である。座標の原点は、本実施の形態では、図４に示されるように、設置場所８１１の中心とされている。座標の原点は、具体的には、設置場所８１１における、操作端末３００が設置されたときに当該操作端末３００の中心が位置する地点である。図３の座標の単位は、１ｃｍとされている。なお、図３中の座標やその単位は、単なる一例であり、本発明がこれらの数値に限定されることは意図されない。
【００７７】
そして、制御用位置情報の「座標データ群」は、各操作箇所の端部（たとえば、上左端、上右端、下左端、および、下右端）の座標である。つまり、座標データ群は、各操作箇所の範囲を特定するものである。
【００７８】
ユーザー操作禁止情報とは、当該状態において、各操作箇所に対する操作が禁止されるか否かを示す情報である。図３の例であれば、第１給紙カセットの操作箇所のみが「有効」とされ、他の操作箇所は「無効」とされている。このことは、図３が対応する、第１給紙カセットにおいてジャムが発生した状態では、第１給紙カセットに対しては操作が禁止され、それ以外の操作箇所については操作が禁止されないことを示している。
【００７９】
本実施の形態では、「操作が禁止される」とは、当該操作箇所に対して操作がなされることが予測されたときに警告が出力ことを意味する。操作が禁止されるのは、各制御用位置情報が対応する状態が発生しているときのみである。つまり、図３によれば、第１給紙カセットに対する操作が禁止されるのは、図３が対応する、第１給紙カセットにおいてジャムが発生しているときである。当該ジャムが解除されれば、図３に基づく第１給紙カセットへの操作の禁止も解除される。
【００８０】
ユーザー操作促進情報とは、当該状態において、ユーザーに操作することを促進することを示す情報である。図３の例であれば、縦搬送ドア操作箇所のみが「有効」とされ、他の操作箇所が「無効」とされている。このことは、図３が対応する、第１給紙カセットにおいてジャムが発生した状態では、ＭＦＰ１は、ユーザーに対して、縦搬送ドアに対する操作を促し、それ以外の操作箇所に対する操作は促さないことを示している。
【００８１】
ユーザー注視時間閾値は、ユーザーが当該操作箇所を注視していると判断するための閾値である。図３の例では、たとえば前ドアについて「１ｓ」とされている。このことは、ＭＦＰ１では、ユーザーが１秒以上継続して前ドアの操作箇所を見ていると判断された場合には、ユーザーが前ドアの操作箇所を注目（注視）していると判断することを意味する。
【００８２】
本実施の形態において、「注視」とは、視線が特定の箇所に継続して所定時間以上向けられている状態を意味する。
【００８３】
操作判定速度閾値は、図１６の処理で利用される閾値であって、ユーザーが当該操作箇所に向かって移動していると判断するための速度の閾値である。図３の例では、たとえば前ドアについて「１５ｋｍ／ｈ」とされている。このことは、ＭＦＰ１では、ユーザーの移動方向の先に前ドアが存在し、かつ、当該移動の速度が１５ｋｍ／ｈ以上であることが検出された場合には、ユーザーが前ドアの操作箇所に向かって移動していると判断することを意味する。
【００８４】
操作判定時間閾値は、図１６の処理で利用される閾値であって、ユーザーが当該操作箇所に対して操作をしようとしていると判断するための閾値である。図３の例では、たとえば前ドアについて「１００ｍｓ」とされている。このことは、ＭＦＰ１では、ユーザーが１００ミリ秒以上継続して前ドアに向けて手を移動させたと判断された場合には、ユーザーが前ドアの操作箇所を操作しようとしていると判断することを意味する。
【００８５】
図３に示されたような制御用位置情報を構成する情報は、ユーザーの操作が必要とされる状態ごとに、異なった組合せとなることが想定される。このような状態としては、図３に示されたような用紙ジャムの他に、トナーボトルの交換や用紙切れが含まれる。
【００８６】
［警告出力処理］
次に、ＭＦＰ１においてユーザーによる操作部への操作が必要とされる状態が生じたときの処理内容を説明する。
【００８７】
図５は、第１給紙カセットにおいてジャムが発生したときにコントローラーＣＰＵ２０３において実行される処理のフローチャートである。
【００８８】
図５を参照して、コントローラーＣＰＵ２０３は、第１給紙カセットにおけるジャムの発生を検出すると、ステップＳ１０で、当該ジャムを解除するための手順を操作端末３００に表示させる。なお、ＭＦＰ１におけるジャムの発生は、たとえば各種用紙センサの検出出力等に基づいて検出され、当該ジャムの発生の種類（発生箇所）は、各種用紙センサの検出出力等に基づいて特定され、また、当該ジャムを解除するための手順の表示は、特定されたジャムの種類に関連付けられてＲＯＭ２０２に格納されている情報を操作端末３００に送信することによって実現される。上記手順を表示するための情報は、発生したジャムの種類に関連付けられて、ＲＯＭ２０２に格納されている。上記した種類の特定およよび当該種類に関連する手順の表示は、公知の技術によって実現可能であるため、ここでは詳細な説明は繰り返さない。
【００８９】
次に、コントローラーＣＰＵ２０３は、ステップＳ２０で、操作端末３００が設置場所８１１から取り外されたか否かを判断する。なお、この判断は、３次元加速度センサー３０３の検出出力に基づいて導出される操作端末３００の位置が、設置場所８１１に設置されているべき位置と相違するか否かに基づいて実現される。そして、取り外されたと判断すると、ステップＳ３０へ処理を進める。
【００９０】
本実施の形態では、ＭＦＰ１に対する電源投入時には操作端末３００は設置場所８１１に設置されているものとする。そして、ＭＦＰ１では、コントローラーＣＰＵ２０３は、当該電源投入時の操作端末３００の位置を基準として、操作端末３００の現在位置を特定する。操作端末３００の位置は、３次元加速度センサー３０３の検出出力に基づいて導出される。
【００９１】
ステップＳ３０では、コントローラーＣＰＵ２０３は、その時点での操作端末３００の位置を特定する。
【００９２】
次に、ステップＳ４０で、コントローラーＣＰＵ２０３は、操作端末３００がカメラ監視有効範囲内に位置するか否かを判断する。カメラ監視有効範囲とは、ＭＦＰ１を手動で操作できると想定される範囲であり、たとえば、図６において範囲Ｒ０１で示されるように、ＭＦＰ１から１．５ｍ以内の距離にある範囲とされる。そして、コントローラーＣＰＵ２０３は、操作端末３００が当該範囲内に存在すると判断すると、ステップＳ７０へ処理を進め、当該範囲外に存在すると判断すると、ステップＳ５０へ処理を進める。
【００９３】
ステップＳ５０では、コントローラーＣＰＵ２０３は、特段の処理をすることなく、ステップＳ６０へ処理を進める。
【００９４】
ステップＳ６０では、コントローラーＣＰＵ２０３は、前回のステップＳ３０の処理を実行してから予め定められた制御周期Ｔ（たとえば、５ｍｓ）が経過したか否かを判断し、経過したと判断すると、ステップＳ３０へ処理を戻す。
【００９５】
一方、ステップＳ７０では、コントローラーＣＰＵ２０３は、操作端末３００のカメラ３０７を利用して、ユーザーの動作の監視を開始する。
【００９６】
そして、ステップＳ８０で、コントローラーＣＰＵ２０３は、ステップＳ７０における監視の結果、ユーザーの目線および動作を検出し、ステップＳ９０へ処理を進める。
【００９７】
ステップＳ７０におけるユーザーの動作の監視、および、ステップＳ８０における目線および動作の検出については、後述する。
【００９８】
そして、ステップＳ９０で、コントローラーＣＰＵ２０３は、ステップＳ８０における検出の結果に基づき、ユーザーの目線または動作が制御用位置情報においてユーザー操作禁止情報で特定される操作部に向けられているか否かを判断し、向けられていると判断するとステップＳ１００へ、向けられていないと判断するとステップＳ５０へ、それぞれ処理を進める。
【００９９】
ステップＳ１００では、コントローラーＣＰＵ２０３は、ユーザーに対して警告を出力して、処理を終了させる。
【０１００】
ここでの警告の出力は、たとえば、操作端末３００のパネル表示部３０９に警告用のメッセージを表示させることによって実現させる。警告とは、ユーザーが、操作を禁止されている操作部を操作しようとしていることの警告である。たとえば、図３の例では、第１給紙カセットでジャムが発生しているときに、第１給紙カセットの操作箇所を操作することにより第１給紙カセットを開ける操作が禁止されている。そして、これに従えば、第１給紙カセットでジャムが発生しているときに、操作端末３００を持ったユーザーが、第１給紙カセットを開けようとして動作をしかけると、パネル表示部３０９には警告メッセージが表示される。
【０１０１】
警告メッセージとしては、「第１給紙カセットへの操作は、現在の状態では禁止されています。」のように、当該操作部への操作が禁止されていることを報知するものであっても良いし、「現在、第１給紙カセットでジャムが発生しているため、第１給紙カセットを開けると用紙切断が生じるおそれがあります。」のように禁止する操作部および禁止されている理由を報知するものであっても良い。また、「現在、第１給紙カセットでジャムが発生しているため、第１給紙カセットを開けると用紙切断が生じるおそれがあります。縦搬送ドアを開けてください。」のように、さらに操作促進情報で特定される操作部を操作するよう誘導するメッセージが含まれても良い。
【０１０２】
［操作端末の位置検出］
図７は、操作端末３００の位置の特定のために実行される処理のフローチャートである。
【０１０３】
図５を参照して説明したように、コントローラーＣＰＵ２０３は、ステップＳ１００で警告を出力するまでは、制御周期ＴごとにステップＳ３０で操作端末３００の位置を検出する。以下、ステップＳ３０における操作端末３００の位置の特定について、説明する。
【０１０４】
図７を参照して、ステップＳ３０１で、コントローラーＣＰＵ２０３は、操作端末３００の初期位置座標を現在の端末位置座標Ａｎｏｗに設定する。初期位置座標とは、操作端末３００が設置場所８１１に設置されているときの位置座標である。
【０１０５】
次に、コントローラーＣＰＵ２０３は、ステップＳ３０３で、３次元加速度センサー３０３において検出された、３次元の方向それぞれの加速度の大きさと方向を検知する。
【０１０６】
次に、コントローラーＣＰＵ２０３は、ステップＳ３０５で、ステップＳ３０３で検出した３次元方向のそれぞれの加速度の大きさと経過時間（前回の位置の検出からの経過時間であって、上記した制御周期Ｔ）から、操作端末３００の移動距離Ａ０１を算出し、そして、ステップＳ３０７で、移動方向を算出する。
【０１０７】
具体的には、図８に示されるように、ｘ方向の加速度をＡｘ、ｙ方向の加速度をＡｙ、ｚ方向の加速度をＡｘ、とした場合、それらをベクトルとしたときの和として求められる加速度ａ（図８中の矢印Ａ０１）の向きがステップＳ３０７における移動方向であり、当該移動方向で表される加速度で制御時間Ｔだけ移動したときに得られる距離がステップＳ３０５における移動距離である。
【０１０８】
図７に戻って、ステップＳ３０７の後、コントローラーＣＰＵ２０３は、ステップＳ３０９で、ステップＳ３０５とステップＳ３０７で求めた移動距離と移動方向、および、端末位置座標Ａｎｏｗに基づいて、操作端末３００の現在位置座標Ａｎｅｗを算出する。
【０１０９】
そして、コントローラーＣＰＵ２０３は、ステップＳ３１１で、端末位置座標ＡｎｏｗをステップＳ３０９で算出した現在位置座標Ａｎｅｗに更新して、処理を終了する。
【０１１０】
これにより、コントローラーＣＰＵ２０３は、３次元加速度センサー３０３の検出出力に基づいて、制御周期Ｔごとに操作端末３００の位置を算出する。
【０１１１】
［ユーザーの目線の検出］
ステップＳ９０では、ユーザーの目線または動作が制御用位置情報においてユーザー操作禁止情報で特定される操作部に向けられているか否かを判断する。この処理の内容について、以下、説明する。
【０１１２】
図９は、ステップＳ９０における判断の処理内容のフローチャートである。
図９を参照して、コントローラーＣＰＵ２０３は、ステップＳ９０１で、カメラ３０７で撮影された画像に対して公知の画像処理技術を用いて、両目と鼻の輪郭を抽出する。
【０１１３】
次に、ステップＳ９０３で、コントローラーＣＰＵ２０３は、図１０に示すように、現在のカメラ撮影方向θｎｏｗに対して、両目と鼻のある位置までのずれ分（角度）を加算し、カメラ３０７から両目と鼻のある位置までの方向を検出する。図１０では、カメラ３０７の撮影方向θｎｏｗとともに、カメラ３０７から左目に向けた方向が「Ｌｅｙｅｌθｎｏｗ」で示され、カメラ３０７から右目に向けた方向が「Ｌｅｙｅｒθｎｏｗ」で示され、カメラ３０７から鼻に向けた方向が「Ｌｎｏｓｅθｎｏｗ」で示されている。
【０１１４】
カメラ３０７の撮影方向θｎｏｗの検出には、ジャイロセンサー３０２が用いられる。この検出方法については、図１１を参照して、後述する。
【０１１５】
両目と鼻のずれ分の検出は、撮影した画像の中心をθｎｏｗとした時に、両目と鼻の位置が当該画像の中心からどの程度ずれているかに基づいて算出される。
【０１１６】
そして、ステップＳ９０５で、コントローラーＣＰＵ２０３は、カメラのオートフォー力ス機能を利用することにより、カメラ３０７からの両目および鼻の各距離を算出する。
【０１１７】
次に、コントローラーＣＰＵ２０３は、ステップＳ９０７で、ステップＳ９０５において算出した、カメラ３０７からの両目と鼻のそれぞれの方向と距離から、現在の操作端末３００（カメラ３０７）の位置座標を基準に、両目と鼻の座標位置を特定する。
【０１１８】
次に、コントローラーＣＰＵ２０３は、ステップＳ９０９で、これらの座標位置に基づいて、ユーザーの視線を表す直線（視線直線式Ｉ）を算出する。視線直線式Ｉの算出は、図１１を参照して説明される。
【０１１９】
図１１を参照して、まず、両目と鼻の座標位置の重心点Ｇが算出される。図１１では、右目の座標がＥｒｔで、左目の座標がＥｌｔで、鼻の座標がＮで、それぞれ示されている。ここで言う右目、左目、鼻は、それぞれ、カメラ３０７において撮影された画像に対する画像処理によって特定されたものである。そして、重心点Ｇの座標がＧ（Ｘｊ，Ｙｋ，Ｚｌ）で示されている。
【０１２０】
そして、両目と鼻の座標位置を頂点とする逆三角形の底辺に対して垂直な直線であって、重心点Ｇを通過する直線の式を、視線直線式Ｉとして算出する。図１１では、当該視線直線式Ｉ（ｘｙｚ）が一点鎖線で示されている。
【０１２１】
図９に戻って、コントローラーＣＰＵ２０３は、視線直線式Ｉを算出した後、ステップＳ９１１で、当該視線直線式Ｉ上に、ユーザー操作禁止情報で特定される操作部の座標データ群（図３参照）によって特定される領域内の点が存在するか否かを判断する。図１２は、当該判断の内容を説明するための図である。図１２では、第１給紙カセット（給紙カセット７１）の操作箇所を特定する領域が操作箇所７１Ａで示されている。また、図１２では、視線直線式Ｉ（ｘｙｚ）上の点が操作箇所７１Ａで示される領域内に含まれる状態画示されている。
【０１２２】
図９に戻って、ステップＳ９１１では、コントローラーＣＰＵ２０３は、視線直線式Ｉ上に、ユーザー操作禁止情報で特定される操作部の座標データ群によって特定される領域内の点が存在すると判断するとステップＳ９１５へ処理を進め、存在しないと判断するとステップＳ９１３へ処理を進める。
【０１２３】
ステップＳ９１３では、コントローラーＣＰＵ２０３は、目線が禁止されている操作部から離れたとして、注視カウンターＣｅｙｅのカウント値をクリアーして、処理を図５に戻す。この場合には、ステップＳ９０では、ユーザーの目線はユーザー操作が禁止された操作部へは向いていないとして、ステップＳ５０へ処理が進められる。
【０１２４】
一方、ステップＳ９１５では、コントローラーＣＰＵ２０３は、注視カウンターＣｅｙｅを１インクリメントして、ステップＳ９１７へ処理を進める。
【０１２５】
ステップＳ９１７では、コントローラーＣＰＵ２０３は、注視カウンターＣｅｙｅが注視判定閾値を超えたか否かを判断する。注視判定閾値とは、図３のユーザー注視時間閾値に対応する時間に対応するカウント値である。そして、コントローラーＣＰＵ２０３は、注視カウンターＣｅｙｅが注視判定閾値を超えたと判断するとステップＳ９１９へ処理を進める。
【０１２６】
一方、まだ超えていないと判断すると、コントローラーＣＰＵ２０３は、そのまま処理を図５のステップＳ９０に戻す。この場合、ステップＳ９０からステップＳ５０へ処理が進められる。
【０１２７】
ステップＳ９１９では、コントローラーＣＰＵ２０３は、ユーザーの目線が、操作が禁止されている操作部へと向けられていると判断して、ステップＳ９０（図５）へ処理を戻す。これにより、ステップＳ９０からステップＳ１００へ処理が進められる。
【０１２８】
［カメラの撮影方向の検出］
図９のステップＳ９０３において利用されるカメラ３０７の撮影方向θｎｏｗの検出方法を説明する。
【０１２９】
図１３は、カメラ３０７の撮影方向θｎｏｗを検出する処理のフローチャートである。
図１３を参照して、コントローラーＣＰＵ２０３は、ステップＳ９０３１で、カメラ３０７の初期位置でのカメラ３０７の撮影方向をその撮影方向θｎｏｗの初期値に設定して、ステップＳ９０３３へ処理を進める。なお、カメラ３０７の初期位置とは、設置場所８１１に設定されている位置である。そして、初期位置でのカメラ３０７の撮影方向は、たとえばＲＯＭ２０２に格納されている。
【０１３０】
ステップＳ９０３３では、コントローラーＣＰＵ２０３は、ジャイロセンサー３０２による角速度の検出結果を取得して、ステップＳ９０３５へ処理を進める。
【０１３１】
ステップＳ９０３５では、コントローラーＣＰＵ２０３は、ステップＳ９０３３で取得した角速度で、制御周期Ｔ（経過時間Ｔ）の間回転したときの角度を算出して、ステップＳ３０３７へ処理を進める。
【０１３２】
ステップＳ３０３７では、コントローラーＣＰＵ２０３は、θｎｏｗに対してステップＳ３０３５で求めた角度を加えることによりθｎｅｗを算出して、ステップＳ３０３９へ処理を進める。
【０１３３】
図１４は、θｎｅｗの算出を説明するための図である。図１４では、ステップＳ３０３３において取得された角速度が角速度ωで示されている。そして、図１４には、θｎｏｗに対して、ステップＳ３０３５で求めた角度を加えることにより求められたθｎｅｗが示されている。
【０１３４】
図１３に戻って、ステップＳ３０３９では、コントローラーＣＰＵ２０３は、θｎｏｗを、ステップＳ３０３７で算出したθｎｅｗに置き換えることによって更新して、処理を図９にリターンさせる。
【０１３５】
図９のステップＳ９０３では、ステップＳ３０３９で更新されたθｎｏｗが、撮影方向θｎｏｗとして利用される。
【０１３６】
［実施の形態のまとめ］
以上説明した本実施の形態では、ジャム等のユーザー操作を要する事態が発生すると、操作端末３００に、必要とされるユーザー操作の手順が表示される（ステップＳ１０）。これに応じて、ユーザーは、操作端末３００に表示される手順を見ながら操作を行うために、操作端末３００を設置場所８１１から取り外す（ステップＳ２０）。
【０１３７】
ＭＦＰ１では、操作端末３００における手順を見るユーザーを、カメラ３０７に撮影させ、当該撮影による画像を取得し、ユーザーが禁止される操作部に注視していないかどうかが検出される。より具体的には、図５および図９を参照して説明した処理により、操作端末３００がカメラ監視有効範囲内に存在するか否かが判断され、存在すると判断されると、制御周期Ｔごとにユーザーの目線が検出される。そして、検出された目線が、当該事態においてユーザーの操作が禁止されている操作部へと、所定時間（ユーザー注視時間閾値（図３）で特定される時間であって、注視カウンターＣｅｙｅが注視判定閾値を超える時間）以上連続して向けられていることが検出されると、ユーザーが当該操作部に対する操作をしかけていると判断されて、警告が出力される。
【０１３８】
なお、操作端末３００がカメラ監視有効範囲内に存在するか否かの判断は、操作端末３００が操作を禁止される操作部に対して所定の範囲内に存在するか否かの判断に相当する。本実施の形態では、操作を禁止される操作部に対して、ユーザーが手動で操作しそうな状態となったときに警告を出力することが意図される。当該操作部への操作ができない場所に操作端末３００が位置するとき、つまり、操作端末３００を持ったユーザーが当該操作部を手動で操作できない位置に存在するときには、警告をする必要が無い。したがって、操作端末３００がそのような位置にあるときには、単に操作端末３００の位置の追跡のみが実行される（ステップＳ３０）。
【０１３９】
以上説明した本実施の形態では、ユーザーが、図３の制御用位置情報において操作を禁止されている操作部に注視されていることが検出されたときに、警告が出力された（ステップＳ１００）。なお、ユーザーの注視が、制御用位置情報において操作を禁止されている操作部以外であっても、操作を促進される操作部以外の操作部を対象とするものである場合には、その旨が報知されても良い。
【０１４０】
つまり、たとえば、図３に示された例では、前ドア、トナー交換ドア、および、第２給紙カセットは、操作を促進される操作部（ユーザー操作促進情報が「有効」）でも、操作を禁止される操作部（ユーザー操作禁止情報が「有効」）でもない。これらのいずれかが注視の対象となっていることが検出された場合には、コントローラーＣＰＵ２０３は、上記警告とは異なる態様で、パネル表示部３０９に報知動作を行わせても良い。当該報知される内容の具体例としては、「○○（注視の対象として検出された操作箇所）ではなく、△△（ユーザー操作促進情報が「有効」とされた操作箇所）を操作してください。」というメッセージが挙げられる。
【０１４１】
また、以上説明した本実施の形態では、操作端末３００はＭＦＰ１本体から取外し可能（当該本体に対して離間して移動可能）なものとして例示された。これにより、ステップＳ２０（図５参照）において、操作端末３００が設置場所８１１から取り外されたことを条件として、ステップＳ３０以降の処理が実行された。
【０１４２】
なお、操作端末３００は、設置場所８１１から取り外されない場合でも、操作端末３００に内蔵されているカメラにおいてユーザーがパネル表示部３０９やＭＦＰ１本体の各種の操作箇所を注視していることが検出できる場合には、ステップＳ３０以降へ処理が進められても良い。この場合、操作端末３００は、ＭＦＰ１本体から着脱可能に構成されていても良いし、ＭＦＰ１本体に固定されて構成されていても良い。
【０１４３】
［リストバンド型の操作端末によるユーザーの動作の検出］
以上説明した本実施の形態では、操作端末３００のカメラ３０７によってユーザーが、操作を禁止された操作部に注視しているかどうかが検出された。なお、操作端末３００は、ユーザーに装着するタイプのものとされても良い。そして、コントローラーＣＰＵ２０３は、当該操作端末３００の位置を追跡することによって、操作端末３００のユーザーが行なおうとする動作を予測し、予測結果に基づいて警告を出力しても良い。
【０１４４】
装着するタイプの操作端末３００の一例を、図１５に示す。
図１５の操作端末３００は、リストバンド型であり、操作端末３００本体をユーザーの手首に固定するためのバンド３９０を備える。そして、設置場所８１１は、操作端末３００を設置される筒状で構成される。
【０１４５】
このようなタイプの操作端末３００の位置を検出するのにも、図８を参照して説明したように、３次元加速度センサー３０３が利用される。
【０１４６】
図１５の操作端末３００を利用した例では、図９に示された処理の代わりに、図１６に示された処理が実行される。なお、以下の説明では、便宜上、操作端末３００を「リストバンド」と呼ぶ場合がある。
【０１４７】
図１６を参照して、コントローラーＣＰＵ２０３は、まずステップＳ９０５１で、端末位置座標Ａｎｏｗとして、操作端末３００（リストバンド）の初期位置座標を設定する。
【０１４８】
この例では、初期位置座標は、リストバンドが図１５に示されるように、設置場所８１１に設置されているときの操作端末３００の中心の座標であり、当該座標情報は、操作端末３００またはＭＦＰ１本体で、予め保持されている。
【０１４９】
次に、ステップＳ９０５３で、コントローラーＣＰＵ２０３は、３次元加速度センサー３０３による加速度の検出結果を取得する。
【０１５０】
次に、ステップＳ９０５５で、コントローラーＣＰＵ２０３は、図８を参照して説明したように、各方向の加速度から求められた加速度ａと経過時間Ｔ（制御周期Ｔ）から、操作端末３００の移動距離を算出する。
【０１５１】
次に、ステップＳ９０５７で、コントローラーＣＰＵ２０３は、加速度ａの方向から移動方向を算出する。
【０１５２】
そして、ステップＳ９０５９で、コントローラーＣＰＵ２０３は、現在の端末位置座標Ａｎｏｗに対して、ステップＳ９０５７の移動方向に、ステップＳ９０５５の移動距離だけ移動したことによって得られる、最新の現在位置座標Ａｎｅｗを算出する。
【０１５３】
そして、ステップＳ９０６１で、コントローラーＣＰＵ２０３は、ＡｎｏｗをＡｎｅｗに更新する。
【０１５４】
次に、ステップＳ９０６３で、コントローラーＣＰＵ２０３は、リストバンドの移動方向上に、図３の制御用位置情報において操作を禁止される操作部の座標データ群で特定される領域内の座標が存在するか否かを判断し、含まれると判断するとステップＳ９０６７へ処理を進め、含まれないと判断するとステップＳ９０６５へ処理を進める。
【０１５５】
ステップＳ９０６５では、コントローラーＣＰＵ２０３は、て操作カウンターＣｈｎｄのカウント値をクリアーして、図５のステップＳ９０へ処理を戻す。これにより、ステップＳ９０からステップＳ５０へ処理が進められる。なお、操作カウンターＣｈｎｄとは、操作端末３００を装着したユーザーが操作を禁止されている操作部を操作しようとしているか否かを判定するためのカウンターである。
【０１５６】
一方、ステップＳ９０６７では、コントローラーＣＰＵ２０３は、操作端末３００の移動速度が、操作を禁止される操作部の操作判定速度閾値（図３参照）を超えたか否かが判断し、超えたと判断するとステップＳ９０６９へ処理を進める。
【０１５７】
一方、コントローラーＣＰＵ２０３は、超えていないと判断するとそのままステップＳ９０へ処理を戻す。この場合には、ステップＳ９０からステップＳ５０へ処理が進められる。
【０１５８】
ステップＳ９０６９では、コントローラーＣＰＵ２０３は、操作カウンターＣｈｎｄのカウント値を１インクリメントして、ステップＳ９０７１へ処理を進める。
【０１５９】
ステップＳ９０７１では、コントローラーＣＰＵ２０３は、操作カウンターＣｈｎｄのカウント値が注視判定閾値を超えたか否かを判断し、超えたと判断するとステップＳ９０７１へ処理を進める。なお、注視判定閾値とは、操作を禁止される操作部の操作判定時間閾値（図３参照）に対応するカウント値である。ステップＳ９０７１は、制御周期Ｔごとに実行される。したがって、たとえば、操作判定時間を制御周期Ｔで割った値が、注視判定閾値とされる。
【０１６０】
なお、ステップＳ９０７１でカウント値が閾値を超えていないと判断すると、コントローラーＣＰＵ２０３は、ステップＳ９０へ処理を戻す。この場合には、ステップＳ９０からステップＳ５０へ処理が進められる。
【０１６１】
ステップＳ９０７３では、コントローラーＣＰＵ２０３は、ユーザーの動作が、操作が禁止されている操作部へと向けられていると判断して、ステップＳ９０（図５）へ処理を戻す。これにより、ステップＳ９０からステップＳ１００へ処理が進められる。
【０１６２】
図１５および図１６を参照して説明した例では、３次元加速度センサー３０３の検出出力に基づいて、操作端末３００の位置が特定された。なお、ＭＦＰ１本体の特定の箇所に赤外線センサーを取り付け、コントローラーＣＰＵ２０３は、各赤外線センサーの検出出力に基づいて操作端末３００が各赤外線センサーに対してどの程度近づいたかを検出し、これにより、３次元加速度センサー３０３の検出出力に基づいて特定した操作端末３００の位置を補正しても良い。これにより、より正確に操作端末３００の位置を特定でき、結果として、操作端末３００を装着したユーザーがどのような動作をしているかを、正確に検出することができる。なお、図４を参照して説明した操作端末３００の位置も、赤外線センサーの検出出力によって補正されても良い。
【０１６３】
［実施の形態の効果等］
以上説明した本実施の形態によれば、ＭＦＰ１において、多数のカメラや人感センサーを設けなくとも、ユーザーの操作が広範囲に検知可能となり、ユーザーの誤操作に対して警告することができる。
【０１６４】
今回開示された各実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。
【符号の説明】
【０１６５】
１  ＭＦＰ、１Ａ  トナー交換ドア、１Ｂ  前ドア、１０  画像読取部、２０  プリンター部、４０  用紙搬送部、１０１  給紙センサー、１１０  タイミングセンサー、１５０Ｋ，１５０Ｙ，１５０Ｍ，１５０Ｃ  イメージングユニット、１５１Ｋ，１５１Ｙ，１５１Ｍ，１５１Ｃ  インクカートリッジ、２００  コントローラー，２０３  コントローラーＣＰＵ、１０５，２０２，３０５  ＲＯＭ、２０４  端末追跡制御部、２０５  カメラ画像処理部、２０６  画像処理部、３００  操作端末、３０４  操作端末ＣＰＵ、３０２  ジャイロセンサー、３０３  ３次元加速度センサー、３０７  カメラ、３０９  パネル表示部、３９０  バンド、８１１  設置場所。
【図１】
2014074737.tif 000003
【図２】
2014074737.tif 000004
【図３】
2014074737.tif 000005
【図４】
2014074737.tif 000006
【図５】
2014074737.tif 000007
【図６】
2014074737.tif 000008
【図７】
2014074737.tif 000009
【図８】
2014074737.tif 000010
【図９】
2014074737.tif 000011
【図１０】
2014074737.tif 000012
【図１１】
2014074737.tif 000013
【図１２】
2014074737.tif 000014
【図１３】
2014074737.tif 000015
【図１４】
2014074737.tif 000016
【図１５】
2014074737.tif 000017
【図１６】
2014074737.tif 000018