(57)【要約】【課題】ユーザーが行うべき操作などに応じて音声による案内と画像による案内とを切り替える。【解決手段】画像処理装置２と近距離通信を行うことが可能な携帯端末装置３は、画像処理装置２のエラーを解除するためにユーザーが行うべき操作に関する操作情報を画像処理装置２から受信すると、その操作情報に基づいてユーザーが行うべき操作を音声又は画像で案内するように構成されており、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替える。【選択図】図４
2018078354.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、
前記画像処理装置は、
前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、
前記異常検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を生成する操作情報生成手段と、
前記操作情報生成手段によって生成される操作情報を前記携帯端末装置へ送信する操作情報送信手段と、
を備え、
前記携帯端末装置は、
前記操作情報送信手段によって送信される操作情報を受信する操作情報受信手段と、
前記操作情報受信手段によって受信された操作情報に基づき、ユーザーが行うべき操作を音声又は画像で案内する案内手段と、
を備え、
前記案内手段は、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替えることを特徴とする画像処理システム。
【請求項２】
前記案内手段は、ユーザーが行うべき操作が両手で行う必要のある操作である場合に音声による案内を行い、ユーザーが行うべき操作が片手で行うことが可能な操作である場合に画像による案内を行うことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記画像処理装置は、前記操作情報生成手段によって特定されるユーザーが行うべき操作が、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別する判別手段を更に備え、
前記案内手段は、前記判別手段による判別結果に基づいて音声による案内と画像による案内とを切り替えることを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記携帯端末装置は、前記操作情報を解析することによってユーザーが行うべき操作が両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別する判別手段を更に備え、
前記案内手段は、前記判別手段による判別結果に基づいて音声による案内と画像による案内とを切り替えることを特徴とする請求項２に記載の画像処理システム。
【請求項５】
前記操作情報生成手段は、ユーザーが行うべき操作として、複数のステップを１つずつ順に行っていく操作を特定し、
前記判別手段は、ステップごとに、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別し、
前記案内手段は、前記判別手段によるステップごとの判別結果に基づいて音声による案内と画像による案内とをステップごとに切り替えることを特徴とする請求項３又は４に記載の画像処理システム。
【請求項６】
前記案内手段は、次のステップの操作が音声による案内を行う操作である場合、音声による案内を行う前に、画像による案内を行うことを特徴とする請求項５に記載の画像処理システム。
【請求項７】
前記操作情報生成手段は、ユーザーの操作によってステップが１つ進行する度に、次のステップに対応する操作情報を生成し、
前記操作情報送信手段は、前記操作情報生成手段によって生成されるステップごとの操作情報を順に前記携帯端末装置へ送信し、
前記案内手段は、音声による案内を行ってから所定時間を経過したときに、前記操作情報受信手段が次のステップに対応する操作情報を受信していない場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする請求項５又は６に記載の画像処理システム。
【請求項８】
前記判別手段は、ユーザーが行うべき操作がレバーを操作しながら紙を取り出す操作である場合に両手で行う必要のある操作であると判別することを特徴とする請求項３乃至７のいずれかに記載の画像処理システム。
【請求項９】
前記判別手段は、ユーザーが行うべき操作がローラーを手動回転させながら紙を取り出す操作である場合に両手で行う必要のある操作であると判別することを特徴とする請求項３乃至８のいずれかに記載の画像処理システム。
【請求項１０】
前記判別手段は、ユーザーが行うべき操作が所定サイズ以上の用紙を補給する操作である場合に両手で行う必要のある操作であると判別することを特徴とする請求項３乃至９のいずれかに記載の画像処理システム。
【請求項１１】
前記携帯端末装置は、
画像を撮影する撮像手段と、
前記撮像手段によって撮影された画像からユーザーの顔画像を認識する画像認識手段と、
を更に備え、
前記案内手段は、前記画像認識手段によってユーザーの顔画像が認識されている場合に画像による案内を行い、前記画像認識手段によってユーザーの顔画像が認識されていない場合に音声による案内を行うことを特徴とする請求項１乃至１０のいずれかに記載の画像処理システム。
【請求項１２】
前記携帯端末装置は、
前記携帯端末装置に作用する加速度を検知する加速度センサー、
を更に備え、
前記案内手段は、前記加速度センサーによって加速度が検知されている場合に画像による案内を行い、前記加速度センサーによって加速度が検知されていない場合に音声による案内を行うことを特徴とする請求項１乃至１１のいずれかに記載の画像処理システム。
【請求項１３】
前記画像処理装置は、
ユーザーによって行われる操作がエラーを解除するための正しい操作であるか否かを判別する操作判別手段、
を更に備え、
前記案内手段は、音声による案内を行っている状態において前記操作判別手段によってユーザーの操作が誤った操作であると判別された場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする請求項１乃至１２のいずれかに記載の画像処理システム。
【請求項１４】
前記携帯端末装置は、
ユーザーの操作を検知する操作検知手段、
を更に備え、
前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を画像による案内に切り替えることを特徴とする請求項１乃至１３のいずれかに記載の画像処理システム。
【請求項１５】
前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を再生又は一時停止させることが可能であることを特徴とする請求項１４に記載の画像処理システム。
【請求項１６】
画像処理装置と近距離通信を行うことが可能な携帯端末装置であって、
前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する操作情報受信手段と、
前記操作情報受信手段によって受信された操作情報に基づき、ユーザーが行うべき操作を音声又は画像で案内する案内手段と、
を備え、
前記案内手段は、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替えることを特徴とする携帯端末装置。
【請求項１７】
前記案内手段は、ユーザーが行うべき操作が両手で行う必要のある操作である場合に音声による案内を行い、ユーザーが行うべき操作が片手で行うことが可能な操作である場合に画像による案内を行うことを特徴とする請求項１６に記載の携帯端末装置。
【請求項１８】
前記案内手段は、ユーザーが行うべき操作に複数のステップが含まれる場合、ステップごとに、音声による案内と画像による案内とを切り替えることを特徴とする請求項１６又は１７に記載の携帯端末装置。
【請求項１９】
前記案内手段は、次のステップの操作が音声による案内を行う操作である場合、音声による案内を行う前に、画像による案内を行うことを特徴とする請求項１８に記載の携帯端末装置。
【請求項２０】
前記案内手段は、音声による案内を行ってから所定時間を経過したときに、前記操作情報受信手段が次のステップに対応する操作情報を受信していない場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする請求項１８又は１９に記載の携帯端末装置。
【請求項２１】
前記案内手段は、ユーザーが行うべき操作がレバーを操作しながら紙を取り出す操作である場合に音声による案内を行うことを特徴とする請求項１６乃至２０のいずれかに記載の携帯端末装置。
【請求項２２】
前記案内手段は、ユーザーが行うべき操作がローラーを手動回転させながら紙を取り出す操作である場合に音声による案内を行うことを特徴とする請求項１６乃至２１のいずれかに記載の携帯端末装置。
【請求項２３】
前記案内手段は、ユーザーが行うべき操作が所定サイズ以上の用紙を補給する操作である場合に音声による案内を行うことを特徴とする請求項１６乃至２２のいずれかに記載の携帯端末装置。
【請求項２４】
画像を撮影する撮像手段と、
前記撮像手段によって撮影された画像からユーザーの顔画像を認識する画像認識手段と、
を更に備え、
前記案内手段は、前記画像認識手段によってユーザーの顔画像が認識されている場合に画像による案内を行い、前記画像認識手段によってユーザーの顔画像が認識されていない場合に音声による案内を行うことを特徴とする請求項１６乃至２３のいずれかに記載の携帯端末装置。
【請求項２５】
前記携帯端末装置に作用する加速度を検知する加速度センサー、
を更に備え、
前記案内手段は、前記加速度センサーによって加速度が検知されている場合に画像による案内を行い、前記加速度センサーによって加速度が検知されていない場合に音声による案内を行うことを特徴とする請求項１６乃至２４のいずれかに記載の携帯端末装置。
【請求項２６】
前記案内手段は、音声による案内を行っているときに前記画像処理装置においてユーザーの操作が誤った操作であると判別された場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする請求項１６乃至２５のいずれかに記載の携帯端末装置。
【請求項２７】
ユーザーの操作を検知する操作検知手段、
を更に備え、
前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を画像による案内に切り替えることを特徴とする請求項１６乃至２６のいずれかに記載の携帯端末装置。
【請求項２８】
前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を再生又は一時停止させることが可能であることを特徴とする請求項２７に記載の携帯端末装置。
【請求項２９】
画像処理装置と近距離通信を行うことが可能な携帯端末装置において実行されるプログラムであって、前記携帯端末装置に、
前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する第１のステップと、
前記第１のステップにおいて受信された操作情報に基づき、ユーザーが行うべき操作を音声又は画像で案内する第２のステップと、
を実行させ、
前記第２のステップは、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替えることを特徴とするプログラム。
【請求項３０】
前記第２のステップは、ユーザーが行うべき操作が両手で行う必要のある操作である場合に音声による案内を行い、ユーザーが行うべき操作が片手で行うことが可能な操作である場合に画像による案内を行うことを特徴とする請求項２９に記載のプログラム。
【請求項３１】
前記携帯端末装置は、画像を撮影する撮像手段を備え、
前記プログラムは、前記携帯端末装置に、
前記撮像手段によって撮影された画像からユーザーの顔画像を認識する第３のステップ、
を更に実行させ、
前記第２のステップは、前記第３のステップにおいてユーザーの顔画像が認識されている場合に画像による案内を行い、前記第３のステップにおいてユーザーの顔画像が認識されていない場合に音声による案内を行うことを特徴とする請求項２９又は３０に記載のプログラム。
【請求項３２】
前記携帯端末装置は、前記携帯端末装置に作用する加速度を検知する加速度センサーを備え、
前記第２のステップは、前記加速度センサーによって加速度が検知されている場合に画像による案内を行い、前記加速度センサーによって加速度が検知されていない場合に音声による案内を行うことを特徴とする請求項２９乃至３１のいずれかに記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、携帯端末装置及びプログラムに関し、特に画像処理システムにおいてエラーが発生した場合に携帯端末装置がユーザーに対してエラーを解除するための案内を行う技術に関する。
【背景技術】
【０００２】
従来、ＭＦＰ（Multifunction Peripherals）などの画像処理装置と、ユーザーが所持する携帯端末装置とが連携するシステムにおいて、画像処理装置に紙詰まりなどのエラーが発生した場合に、画像処理装置が携帯端末装置に対して音声案内と画像案内とを含む案内情報を送信し、携帯端末装置がユーザーに対してエラーを解除するための操作を音声と画像との双方で案内する技術が知られている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１３９８８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、画像処理装置で発生するエラーには様々なタイプのエラーが存在する。例えば、ユーザーが片手操作で解除することが可能なエラーや、解除するためにはユーザーが両手操作を行うことが必要となるエラーなどが存在する。エラー解除のために両手操作が必要な場合、ユーザーは携帯端末装置を持ちながら解除操作を行うことができないため、画像案内を見ながら解除操作を進めることは難しい。そのため、両手操作が必要な場合、ユーザーは、画像案内を見ることなく、音声案合だけを頼りにして解除操作を行うことになる。これに対し、片手操作でエラーを解除することが可能な場合、ユーザーは、一方の手で携帯端末装置を持ちながら他方の手で解除操作を行うことができる。この場合、ユーザーは画像案内を見れば操作箇所などを正確に把握することができるため、音声案内は特に必要なものではない。
【０００５】
しかしながら、上述した従来技術は、常に音声と画像との双方による案内を行うようにしているため、携帯端末装置は、ユーザーが画像案内を見ていないときでも画像案内のための処理を実行し、またユーザーが音声案内を必要としないときでも音声案内のための処理を実行する。それ故、上述した従来技術は、ユーザーが行うべき操作などに応じて音声案内と画像案内とを切り替えることができず、携帯端末装置の電力を無駄に消費してしまうという問題があった。
【０００６】
本発明は、上記のような従来の問題点を解決するためになされたものであり、ユーザーが行うべき操作などに応じて音声による案内と画像による案内とを切り替えることにより、携帯端末装置の電力消費量を低減できるようにした画像処理システム、携帯端末装置及びプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、請求項１に係る発明は、画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、前記画像処理装置は、前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、前記異常検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を生成する操作情報生成手段と、前記操作情報生成手段によって生成される操作情報を前記携帯端末装置へ送信する操作情報送信手段と、を備え、前記携帯端末装置は、前記操作情報送信手段によって送信される操作情報を受信する操作情報受信手段と、前記操作情報受信手段によって受信された操作情報に基づき、ユーザーが行うべき操作を音声又は画像で案内する案内手段と、を備え、前記案内手段は、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替えることを特徴とする構成である。
【０００８】
請求項２に係る発明は、請求項１に記載の画像処理システムにおいて、前記案内手段は、ユーザーが行うべき操作が両手で行う必要のある操作である場合に音声による案内を行い、ユーザーが行うべき操作が片手で行うことが可能な操作である場合に画像による案内を行うことを特徴とする構成である。
【０００９】
請求項３に係る発明は、請求項２に記載の画像処理システムにおいて、前記画像処理装置は、前記操作情報生成手段によって特定されるユーザーが行うべき操作が、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別する判別手段を更に備え、前記案内手段は、前記判別手段による判別結果に基づいて音声による案内と画像による案内とを切り替えることを特徴とする構成である。
【００１０】
請求項４に係る発明は、請求項２に記載の画像処理システムにおいて、前記携帯端末装置は、前記操作情報を解析することによってユーザーが行うべき操作が両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別する判別手段を更に備え、前記案内手段は、前記判別手段による判別結果に基づいて音声による案内と画像による案内とを切り替えることを特徴とする構成である。
【００１１】
請求項５に係る発明は、請求項３又は４に記載の画像処理システムにおいて、前記操作情報生成手段は、ユーザーが行うべき操作として、複数のステップを１つずつ順に行っていく操作を特定し、前記判別手段は、ステップごとに、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別し、前記案内手段は、前記判別手段によるステップごとの判別結果に基づいて音声による案内と画像による案内とをステップごとに切り替えることを特徴とする構成である。
【００１２】
請求項６に係る発明は、請求項５に記載の画像処理システムにおいて、前記案内手段は、次のステップの操作が音声による案内を行う操作である場合、音声による案内を行う前に、画像による案内を行うことを特徴とする構成である。
【００１３】
請求項７に係る発明は、請求項５又は６に記載の画像処理システムにおいて、前記操作情報生成手段は、ユーザーの操作によってステップが１つ進行する度に、次のステップに対応する操作情報を生成し、前記操作情報送信手段は、前記操作情報生成手段によって生成されるステップごとの操作情報を順に前記携帯端末装置へ送信し、前記案内手段は、音声による案内を行ってから所定時間を経過したときに、前記操作情報受信手段が次のステップに対応する操作情報を受信していない場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする構成である。
【００１４】
請求項８に係る発明は、請求項３乃至７のいずれかに記載の画像処理システムにおいて、前記判別手段は、ユーザーが行うべき操作がレバーを操作しながら紙を取り出す操作である場合に両手で行う必要のある操作であると判別することを特徴とする構成である。
【００１５】
請求項９に係る発明は、請求項３乃至８のいずれかに記載の画像処理システムにおいて、前記判別手段は、ユーザーが行うべき操作がローラーを手動回転させながら紙を取り出す操作である場合に両手で行う必要のある操作であると判別することを特徴とする構成である。
【００１６】
請求項１０に係る発明は、請求項３乃至９のいずれかに記載の画像処理システムにおいて、前記判別手段は、ユーザーが行うべき操作が所定サイズ以上の用紙を補給する操作である場合に両手で行う必要のある操作であると判別することを特徴とする構成である。
【００１７】
請求項１１に係る発明は、請求項１乃至１０のいずれかに記載の画像処理システムにおいて、前記携帯端末装置は、画像を撮影する撮像手段と、前記撮像手段によって撮影された画像からユーザーの顔画像を認識する画像認識手段と、を更に備え、前記案内手段は、前記画像認識手段によってユーザーの顔画像が認識されている場合に画像による案内を行い、前記画像認識手段によってユーザーの顔画像が認識されていない場合に音声による案内を行うことを特徴とする構成である。
【００１８】
請求項１２に係る発明は、請求項１乃至１１のいずれかに記載の画像処理システムにおいて、前記携帯端末装置は、前記携帯端末装置に作用する加速度を検知する加速度センサー、を更に備え、前記案内手段は、前記加速度センサーによって加速度が検知されている場合に画像による案内を行い、前記加速度センサーによって加速度が検知されていない場合に音声による案内を行うことを特徴とする構成である。
【００１９】
請求項１３に係る発明は、請求項１乃至１２のいずれかに記載の画像処理システムにおいて、前記画像処理装置は、ユーザーによって行われる操作がエラーを解除するための正しい操作であるか否かを判別する操作判別手段、を更に備え、前記案内手段は、音声による案内を行っている状態において前記操作判別手段によってユーザーの操作が誤った操作であると判別された場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする構成である。
【００２０】
請求項１４に係る発明は、請求項１乃至１３のいずれかに記載の画像処理システムにおいて、前記携帯端末装置は、ユーザーの操作を検知する操作検知手段、を更に備え、前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を画像による案内に切り替えることを特徴とする構成である。
【００２１】
請求項１５に係る発明は、請求項１４に記載の画像処理システムにおいて、前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を再生又は一時停止させることが可能であることを特徴とする構成である。
【００２２】
請求項１６に係る発明は、画像処理装置と近距離通信を行うことが可能な携帯端末装置であって、前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する操作情報受信手段と、前記操作情報受信手段によって受信された操作情報に基づき、ユーザーが行うべき操作を音声又は画像で案内する案内手段と、を備え、前記案内手段は、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替えることを特徴とする構成である。
【００２３】
請求項１７に係る発明は、請求項１６に記載の携帯端末装置において、前記案内手段は、ユーザーが行うべき操作が両手で行う必要のある操作である場合に音声による案内を行い、ユーザーが行うべき操作が片手で行うことが可能な操作である場合に画像による案内を行うことを特徴とする構成である。
【００２４】
請求項１８に係る発明は、請求項１６又は１７に記載の携帯端末装置において、前記案内手段は、ユーザーが行うべき操作に複数のステップが含まれる場合、ステップごとに、音声による案内と画像による案内とを切り替えることを特徴とする構成である。
【００２５】
請求項１９に係る発明は、請求項１８に記載の携帯端末装置において、前記案内手段は、次のステップの操作が音声による案内を行う操作である場合、音声による案内を行う前に、画像による案内を行うことを特徴とする構成である。
【００２６】
請求項２０に係る発明は、請求項１８又は１９に記載の携帯端末装置において、前記案内手段は、音声による案内を行ってから所定時間を経過したときに、前記操作情報受信手段が次のステップに対応する操作情報を受信していない場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする構成である。
【００２７】
請求項２１に係る発明は、請求項１６乃至２０のいずれかに記載の携帯端末装置において、前記案内手段は、ユーザーが行うべき操作がレバーを操作しながら紙を取り出す操作である場合に音声による案内を行うことを特徴とする構成である。
【００２８】
請求項２２に係る発明は、請求項１６乃至２１のいずれかに記載の携帯端末装置において、前記案内手段は、ユーザーが行うべき操作がローラーを手動回転させながら紙を取り出す操作である場合に音声による案内を行うことを特徴とする構成である。
【００２９】
請求項２３に係る発明は、請求項１６乃至２２のいずれかに記載の携帯端末装置において、前記案内手段は、ユーザーが行うべき操作が所定サイズ以上の用紙を補給する操作である場合に音声による案内を行うことを特徴とする構成である。
【００３０】
請求項２４に係る発明は、請求項１６乃至２３のいずれかに記載の携帯端末装置において、画像を撮影する撮像手段と、前記撮像手段によって撮影された画像からユーザーの顔画像を認識する画像認識手段と、を更に備え、前記案内手段は、前記画像認識手段によってユーザーの顔画像が認識されている場合に画像による案内を行い、前記画像認識手段によってユーザーの顔画像が認識されていない場合に音声による案内を行うことを特徴とする構成である。
【００３１】
請求項２５に係る発明は、請求項１６乃至２４のいずれかに記載の携帯端末装置において、前記携帯端末装置に作用する加速度を検知する加速度センサー、を更に備え、前記案内手段は、前記加速度センサーによって加速度が検知されている場合に画像による案内を行い、前記加速度センサーによって加速度が検知されていない場合に音声による案内を行うことを特徴とする構成である。
【００３２】
請求項２６に係る発明は、請求項１６乃至２５のいずれかに記載の携帯端末装置において、前記案内手段は、音声による案内を行っているときに前記画像処理装置においてユーザーの操作が誤った操作であると判別された場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする構成である。
【００３３】
請求項２７に係る発明は、請求項１６乃至２６のいずれかに記載の携帯端末装置において、ユーザーの操作を検知する操作検知手段、を更に備え、前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を画像による案内に切り替えることを特徴とする構成である。
【００３４】
請求項２８に係る発明は、請求項２７に記載の携帯端末装置において、前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を再生又は一時停止させることが可能であることを特徴とする構成である。
【００３５】
請求項２９に係る発明は、画像処理装置と近距離通信を行うことが可能な携帯端末装置において実行されるプログラムであって、前記携帯端末装置に、前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する第１のステップと、前記第１のステップにおいて受信された操作情報に基づき、ユーザーが行うべき操作を音声又は画像で案内する第２のステップと、を実行させ、前記第２のステップは、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替えることを特徴とする構成である。
【００３６】
請求項３０に係る発明は、請求項２９に記載のプログラムにおいて、前記第２のステップは、ユーザーが行うべき操作が両手で行う必要のある操作である場合に音声による案内を行い、ユーザーが行うべき操作が片手で行うことが可能な操作である場合に画像による案内を行うことを特徴とする構成である。
【００３７】
請求項３１に係る発明は、請求項２９又は３０に記載のプログラムにおいて、前記携帯端末装置は、画像を撮影する撮像手段を備え、前記プログラムは、前記携帯端末装置に、前記撮像手段によって撮影された画像からユーザーの顔画像を認識する第３のステップ、を更に実行させ、前記第２のステップは、前記第３のステップにおいてユーザーの顔画像が認識されている場合に画像による案内を行い、前記第３のステップにおいてユーザーの顔画像が認識されていない場合に音声による案内を行うことを特徴とする構成である。
【００３８】
請求項３２に係る発明は、請求項２９乃至３１のいずれかに記載のプログラムにおいて、前記携帯端末装置は、前記携帯端末装置に作用する加速度を検知する加速度センサーを備え、前記第２のステップは、前記加速度センサーによって加速度が検知されている場合に画像による案内を行い、前記加速度センサーによって加速度が検知されていない場合に音声による案内を行うことを特徴とする構成である。
【発明の効果】
【００３９】
本発明によれば、ユーザーが行うべき操作などに応じて音声による案内と画像による案内とを切り替えるため、携帯端末装置の電力消費量を低減させることができるようになる。
【図面の簡単な説明】
【００４０】
【図１】画像処理システムの構成例を示す図である。
【図２】画像処理装置のハードウェア構成の一例を示すブロック図である。
【図３】携帯端末装置のハードウェア構成の一例を示すブロック図である。
【図４】画像処理装置及び携帯端末装置の機能構成を示すブロック図である。
【図５】エラー判別情報の一例を示す図である。
【図６】操作案内登録情報の一例を示す図である。
【図７】操作案内登録情報に登録される画像データの一例を示す図である。
【図８】操作案内登録情報に登録される音声データの一例を示す図である。
【図９】画像処理装置でエラーが発生した場合に画像処理装置及び携帯端末装置が互いに連携しながら行うプロセスの流れを示す図である。
【図１０】画像処理装置において行われる処理手順の一例を示すフローチャートである。
【図１１】携帯端末装置において行われる主たる処理手順の一例を示すフローチャートである。
【図１２】操作案内処理の詳細な処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００４１】
以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらについての重複する説明は省略する。
【００４２】
図１は、本発明の一実施形態における画像処理システム１の構成例を示す図である。この画像処理システム１は、ＭＦＰなどで構成される画像処理装置２と、ユーザーが所持するスマートフォンやタブレット端末、パーソナルコンピュータなどで構成される携帯端末装置３とを備えている。そして画像処理装置２と携帯端末装置３は、互いに無線による近距離通信を行うことができるように構成される。
【００４３】
画像処理装置２は、スキャン機能やプリント機能、コピー機能などの複数の機能を備えており、ユーザーの指示に基づいてスキャンジョブやプリントジョブ、コピージョブなどを実行することができる。このような画像処理装置２は、内部において紙詰まりなどのエラーが発生することがある。画像処理装置２においてエラーが発生すると、画像処理装置２は、ユーザーが所持する携帯端末装置３と近距離通信を行うことにより、携帯端末装置３にエラー解除のための操作案内を行わせる。
【００４４】
携帯端末装置３には、画像処理装置２と連携するためのアプリケーションが予めインストールされている。携帯端末装置３は、そのアプリケーションを起動させることにより、画像処理装置２と近距離通信を行うことができる。そして画像処理装置２においてエラーが発生した状態でアプリケーションが起動することに伴い、携帯端末装置３は、画像処理装置２との近距離通信を開始し、画像処理装置２からの指示に基づいてエラーを解除するための操作をユーザーに案内する。
【００４５】
図２は、画像処理装置２のハードウェア構成の一例を示すブロック図である。画像処理装置２は、制御部１０と、操作パネル１１と、ネットワークインタフェース１２と、記憶部１３と、近距離通信インタフェース１６と、スキャナ部２０と、プリンタ部３０とを備えている。
【００４６】
制御部１０は、ＣＰＵ１０ａとメモリ１０ｂとを備え、各部の動作を制御する。ＣＰＵ１０ａは、画像処理装置２に電源が投入されると、記憶部１３からプログラム１４を読み出して実行することにより、制御部１０を様々な処理部として機能させる。メモリ１０ｂは、ＣＰＵ１０ａがプログラム１４に基づく処理を実行する際に一時的なデータなどを記憶するためのものである。
【００４７】
操作パネル１１は、ユーザーが画像処理装置２を操作する際のユーザーインタフェースとなるものである。操作パネル１１は、ユーザーに対して各種情報を表示する表示部１１ａと、ユーザーによる操作を受け付ける操作部１１ｂとを備えている。表示部１１ａは、例えばカラー液晶ディスプレイで構成される。操作部１１ｂは、表示部１１ａの画面上に配置されるタッチパネルキーや表示部１１ａの画面周囲に配置される押しボタンキーなどで構成される。このような操作パネル１１は、画像処理装置２の装置本体正面側の所定位置に固定されている。そのため、ユーザーは、画像処理装置２の正面側に立つことにより、表示部１１ａで表示される画像を視認し易く、また操作部１１ｂに対する操作を行い易くなる。
【００４８】
ネットワークインタフェース１２は、画像処理装置２がＬＡＮ（Local Area Network）などのネットワークを介してパーソナルコンピュータやその他のデバイスと通信を行うためのものである。
【００４９】
記憶部１３は、例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などで構成される不揮発性の記憶手段である。記憶部１３には、制御部１０のＣＰＵ１０ａによって実行されるプログラム１４が予め記憶されている。また記憶部１３には、エラー判別情報１５が予め記憶されている。このエラー判別情報１５は、画像処理装置２において紙詰まりなどのエラーが発生した場合に、そのエラーの種類に応じて、エラーを解除するためにユーザーが行うべき解除操作を特定するために参照される情報である。
【００５０】
近距離通信インタフェース１６は、ユーザーが所持する携帯端末装置３と近距離通信を行うためのインタフェースである。例えば近距離通信インタフェース１６は、ＮＦＣ（Near Field Communication）やＢｌｕｅｔｏｏｔｈ（登録商標）などの規格に基づく無線通信を行うインタフェースである。
【００５１】
スキャナ部２０は、ユーザーによってセットされる原稿を読み取って画像データを生成する。このスキャナ部２０は、原稿搬送部２１と画像読取部２４とを備えている。原稿搬送部２１は、ユーザーによってセットされる原稿を所定の搬送路に沿って１枚ずつ自動搬送するものである。画像読取部２４は、原稿搬送部２１によって搬送される原稿が所定の読み取り位置を通過する際に、その原稿の表面にある画像を光学的に読み取るものである。
【００５２】
このようなスキャナ部２０では、原稿搬送部２１が原稿の自動搬送を行っているときに、搬送路において紙詰まりが発生する可能性がある。そのため原稿搬送部２１は、そのような紙詰まりを検知するための紙詰まりセンサー２２を備えている。また原稿搬送部２１は、そのような紙詰まりが発生した場合に搬送路を開放するために開閉可能なカバー（図示省略）を備えており、そのカバーの開閉状態を検知するカバー開閉センサー２３を備えている。そして紙詰まりセンサー２２及びカバー開閉センサー２３による検知結果は、制御部１０へ出力される。
【００５３】
プリンタ部３０は、制御部１０によって指定された画像データに基づいて印刷用紙に画像形成を行うことにより、印刷出力を行う。このプリンタ部３０は、給紙部３１と、用紙搬送部３４と、画像形成部３７とを備えている。
【００５４】
給紙部３１は、画像処理装置２に設けられている印刷用紙をストックしておくための少なくとも１つのトレー（図示省略）から用紙を１枚ずつ取り出して給紙するものである。この給紙部３１には、トレーにおける用紙エンプティを検知するための用紙エンプティセンサー３２が設けられている。また給紙部３１には、トレーの開閉状態を検知するトレー開閉センサー３３が設けられている。そして用紙エンプティセンサー３２及びトレー開閉センサー３３による検知結果は、制御部１０へ出力される。尚、画像処理装置２に複数のトレーが設けられる場合、用紙エンプティセンサー３２及びトレー開閉センサー３３は、トレーごとに設けられる。
【００５５】
用紙搬送部３４は、給紙部３１によって給紙される用紙を、所定の搬送路に沿って搬送するものである。用紙搬送部３４が用紙の自動搬送を行っているときには、搬送路において紙詰まりが発生する可能性がある。そのため用紙搬送部３４は、そのような紙詰まりを検知するための紙詰まりセンサー３５を備えている。また用紙搬送部３４は、そのような紙詰まりが発生した場合に搬送路を開放するために開閉可能な扉（図示省略）を備えており、その扉の開閉状態を検知する扉開閉センサー３６を備えている。そして紙詰まりセンサー３５及び扉開閉センサー３６による検知結果は、制御部１０へ出力される。尚、用紙搬送部３４には、複数の紙詰まりセンサー３５が設けられていても良いし、また複数の扉開閉センサー３６が設けられていても良い。
【００５６】
画像形成部３７は、用紙搬送部３４によって搬送される用紙が所定位置を通過する際に、用紙の表面にトナー像を転写し、更にトナー像を転写した用紙が別の所定位置を通過する際にトナー像を用紙に定着させることにより、用紙に対して画像形成を行うものである。この画像形成部３７は、トナー残量センサー３８を備えている。また画像形成部３７は、トナーを交換する際に開放するための開閉可能な扉（図示省略）を備えており、その扉の開閉状態を検知する扉開閉センサー３９を備えている。そしてトナー残量センサー３８及び扉開閉センサー３９の検知結果は、制御部１０へ出力される。
【００５７】
次に図３は、携帯端末装置３のハードウェア構成の一例を示すブロック図である。携帯端末装置３は、制御部４０と、表示部４１と、操作部４２と、マイク４３と、スピーカー４４と、撮像部４５と、記憶部４６と、加速度センサー４９と、近距離通信インタフェース５０とを備えている。
【００５８】
制御部４０は、ＣＰＵ４０ａとメモリ４０ｂとを備え、各部の動作を制御する。ＣＰＵ４０ａは、記憶部４６に記憶されているプログラム４７を読み出して実行することにより、画像処理装置２と連携するためのアプリケーションを起動し、制御部４０を後述する各種の処理部として機能させる。メモリ４０ｂは、ＣＰＵ４０ａがプログラム４７に基づく処理を実行する際に一時的なデータなどを記憶するためのものである。
【００５９】
表示部４１は、ユーザーに対して各種の画像を表示する表示手段であり、例えばカラー液晶ディスプレイによって構成される。操作部４２は、ユーザーによる操作を受け付けるためのものであり、例えば表示部４１の画面上に配置されるタッチパネルキーや、表示部４１の画面周囲に配置される押しボタンキーなどによって構成される。
【００６０】
マイク４３は、周囲の音声を音声信号に変換して制御部４０へ出力するものである。スピーカー４４は、制御部４０から入力する音声信号に基づいて周囲に音声を出力するものである。撮像部４５は、例えば表示部４１の表示画面の周囲所定位置に設けられ、表示部４１の表示画面に対して法線方向にある物体を撮影することが可能な撮像手段である。
【００６１】
記憶部４６は、例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などによって構成される不揮発性の記憶手段である。この記憶部４６には、上述したプログラム４７が予め記憶されている。また記憶部４６には、予め操作案内登録情報４８が記憶されている。操作案内登録情報４８は、制御部４０において画像処理装置２と連携するアプリケーションが起動した場合に、そのアプリケーションによって参照される情報である。
【００６２】
加速度センサー４９は、携帯端末装置３に作用する加速度を検知するセンサーである。ユーザーが携帯端末装置３を所持している場合、加速度センサー４９は、ユーザーの動作に伴う加速度を検知し、その加速度を制御部４０へ出力する。これに対し、ユーザーが携帯端末装置３を床面などの静止物上に置いた状態のときには、加速度センサー４９は加速度を検知しないため、制御部４０へ出力される加速度はゼロとなる。
【００６３】
近距離通信インタフェース５０は、画像処理装置２と近距離通信を行うためのインタフェースである。例えば近距離通信インタフェース５０は、画像処理装置２と同様に、ＮＦＣ（Near Field Communication）やＢｌｕｅｔｏｏｔｈ（登録商標）などの規格に基づく無線通信を行うインタフェースである。
【００６４】
上記構成を有する画像処理システム１は、画像処理装置２で紙詰まりなどのエラーが発生し、携帯端末装置３がエラーを解除するための操作を案内するとき、ユーザーが行うべき操作の種類、又は、ユーザーによる携帯端末装置３の保持状態に応じて、音声による案内と、画像による案内と、を切り替えるように構成される。以下、このような画像処理システム１について更に詳しく説明する。
【００６５】
図４は、画像処理装置２及び携帯端末装置３の機能構成を示すブロック図である。尚、図４では、画像処理装置２においてエラーが発生した場合にそのエラーに関する処理を行うための機能だけを示しており、画像処理装置２が正常動作している場合の機能については図示を省略している。また図４に示すセンサー群１９は、図２に示した紙詰まりセンサー２２、カバー開閉センサー２３、用紙エンプティセンサー３２、トレー開閉センサー３３、紙詰まりセンサー３５、扉開閉センサー３６、トナー残量センサー３８及び扉開閉センサー３９を含むものである。
【００６６】
まず画像処理装置２の制御部１０は、ＣＰＵ１０ａがプログラム１４を実行することにより、エラー検知部６１、操作情報生成部６２、操作判別部６３及び操作情報送信部６４として機能する。
【００６７】
エラー検知部６１は、センサー群１９に含まれる複数のセンサーのうち、いずれかのセンサーが異常を検知した場合に、その異常をエラーとして検知するものである。例えば紙詰まりセンサー２２，３５が紙詰まりを検知した場合、用紙エンプティセンサー３２が用紙エンプティを検知した場合、或いは、トナー残量センサー３８がトナーエンプティを柄検知した場合、エラー検知部６１は、画像処理装置２においてエラーが発生したことを検知する。エラー検知部６１は、エラーの発生を検知すると、エラー発生を示すアラートを発生させる。これにより、ユーザーは、画像処理装置２においてエラーが発生したことを把握することができる。またエラー検知部６１は、エラーの発生を検知すると、操作情報生成部６２を機能させる。
【００６８】
操作情報生成部６２は、エラー検知部６１によってエラーが検知されると、記憶部１３からエラー判別情報１５を読み出して参照することにより、そのエラーを解除するためにユーザーが行うべき操作を特定し、操作情報を生成する。
【００６９】
図５は、エラー判別情報１５の一例を示す図である。例えばエラー判別情報１５は、エラーを検知するセンサーごとに、エラーのタイプを複数のタイプに区別した情報である。またエラー判別情報１５には、図５に示すように、エラーを検知するセンサーごとに、そのエラーを解除するためにユーザーが行うべき操作が定義されている。ユーザーが行うべき操作は、複数のステップからなり、各ステップの操作を順に行っていくことによりエラーを適切に解除することができるようになっている。例えばスキャナ部２０の原稿搬送部２１に設けられた紙詰まりセンサー２２が紙詰まりのエラーを検知した場合の解除操作として、第１ステップ、第２ステップ及び第３ステップの３つのステップが定められており、第１ステップでは、ユーザーがカバーを開放する操作を行い、第２ステップでは、ユーザーがジャム状態の紙を抜き取る操作を行い、第３ステップでは、ユーザーがカバーを閉鎖する操作を行うことが定義されている。また例えばプリンタ部３０の給紙部３１に設けられている一つの用紙エンプティセンサー３２が用紙エンプティのエラーを検知した場合の解除操作として、第１ステップ、第２ステップ、第３ステップ及び第４ステップの４つのステップが定められており、第１ステップでは、ユーザーが扉を開放する操作を行い、第２ステップでは、ユーザーがレバーを持ち上げる操作を行い、第３ステップでは、ユーザーがレバーを持ち上げたままで用紙を抜き取る操作を行い、第４ステップでは、ユーザーが扉を閉鎖する操作を行うことが定義されている。そして図５に示すエラー判別情報１５では、ユーザーが行うべき操作のステップごとに、ユニークな識別情報である操作情報が付与されている。
【００７０】
操作情報生成部６２は、上記のようなエラー判別情報１５を参照することにより、エラーを検出したセンサーに対応する解除操作を、ユーザーが行うべき操作として特定し、その特定した操作の各ステップに定められている操作情報を読み出すことにより、操作情報を生成する。そして操作情報生成部６２は、エラーを検出したセンサーに対応する解除操作に含まれる各ステップの操作情報を操作情報送信部６４へ出力する。
【００７１】
操作情報送信部６４は、エラー検知部６１によってエラーが検知されると、近距離通信インタフェース１６を介して携帯端末装置３と通信可能な状態であるかを監視する。携帯端末装置３と通信可能な状態である場合、操作情報送信部６４は、その携帯端末装置３に対し、画像処理装置２と連携するアプリケーションが起動しているか否かを問い合わせる。携帯端末装置３においてアプリケーションが起動していれば、操作情報送信部６４は、その問い合わせに対する適切な応答を携帯端末装置３のアプリケーションから受信する。これにより、操作情報送信部６４は、通信可能な携帯端末装置３においてアプリケーションが起動していることを把握することができる。操作情報送信部６４は、携帯端末装置３においてアプリケーションが起動していることを検知すると、操作情報生成部６２から出力される操作情報を携帯端末装置３へ送信する。
【００７２】
これに対し、操作情報送信部６４は、通信可能な携帯端末装置３においてアプリケーションが起動していないと判断した場合、携帯端末装置３においてアプリケーションが起動するまで待機する。ただし、これに限られるものではなく、操作情報送信部６４は、携帯端末装置３に対してアプリケーションの起動命令を送信するようにしても良い。これにより、携帯端末装置３においてアプリケーションが自動的に起動される。そして操作情報送信部６４は、携帯端末装置３においてアプリケーションが起動したことを確認した後、操作情報生成部６２から出力される操作情報を携帯端末装置３へ送信する。
【００７３】
操作情報送信部６４は、操作情報を携帯端末装置３へ送信するとき、ユーザーが行うべき操作に含まれる複数のステップの操作情報を１つずつ順に携帯端末装置３へ送信する。例えば、エラー検知部６１によってエラーが検知された時には、第１ステップの操作情報を携帯端末装置３へ送信し、その後、ユーザーによる操作が第１ステップから第２ステップへ進行するときに第２ステップの操作情報を送信する。これにより、携帯端末装置３は、ユーザーによる操作の進行に合わせて適切な案内を行うことができるようになる。
【００７４】
操作判別部６３は、センサー群１９に含まれる複数のセンサーの出力を監視し、ユーザーによって行われる解除操作が正しい順序で行われているか否かを判別する処理部である。例えばスキャナ部２０の原稿搬送部２１に設けられた紙詰まりセンサー２２がエラーを検知した場合、ユーザーが行うべき操作の第１ステップは、カバーを開放する操作である。そのため、操作判別部６３は、スキャナ部２０の原稿搬送部２１に設けられたカバー開閉センサー２３の出力を監視し、原稿搬送部２１のカバーが開放されたか否かを判別する。そして原稿搬送部２１のカバーが開放されたことを検知すると、操作判別部６３は、ユーザーによる操作が正しい順序で行われていると判断し、操作情報送信部６４に対してステップの進行を指示する。これに対し、カバー開閉センサー２３がカバーの開放を検知することなく、別の扉開閉センサー３６，３９などが扉の開放を検知した場合、操作判別部６３は、ユーザーによる操作が誤操作であると判断する。この場合、操作判別部６３は、操作情報送信部６４に対して誤操作情報を出力する。また操作判別部６３は、誤操作を検知した場合、誤操作を示すアラートを発生させると共に、操作パネル１１の表示部１１ａに誤操作である旨を表示させるようにしても良い。
【００７５】
操作情報送信部６４は、操作判別部６３からステップの進行が指示された場合、ユーザーが行うべき操作に次のステップがあれば、次のステップに対応する操作情報を携帯端末装置３へ送信する。これに対し、次のステップに対応する操作情報が存在せず、全てのステップが終了したと判断すると、操作情報送信部６４は、携帯端末装置３に対してエラー解除通知を送信する。これにより、携帯端末装置３において起動しているアプリケーションは、画像処理装置２との連携処理を終了させることができる。
【００７６】
また操作情報送信部６４は、操作判別部６３から誤操作情報を取得した場合、その誤操作情報を携帯端末装置３へ送信する。これにより、携帯端末装置３は、ユーザーに対して誤操作を行ったことを報知することができる。
【００７７】
次に携帯端末装置３は、ＣＰＵ４０ａがプログラム４７を実行することにより制御部４０において画像処理装置２と連携するアプリケーションを起動させると、制御部４０は、操作情報受信部７１、案内方法判別部７２及び操作案内部７３として機能する。尚、制御部４０のＣＰＵ４０ａは、ユーザーによる起動指示に基づいてプログラム４７を実行するものであっても良いし、画像処理装置２から送信されるアプリケーションの起動命令に基づいてプログラム４７を自動的に実行するものであっても良い。例えば画像処理装置２においてエラーの発生が検知されると、画像処理装置２からアラートが発せられる。そのため、ユーザーは、画像処理装置２から発せられるアラートによってエラーの発生を把握することができ、アプリケーションを手動で起動させることもできる。
【００７８】
操作情報受信部７１は、近距離通信インタフェース５０を介して画像処理装置２と通信を行うものである。まずアプリケーションが起動すると、操作情報受信部７１は、画像処理装置２に対してアプリケーションの起動を通知する。これにより、画像処理装置２は、携帯端末装置３においてアプリケーションが起動したことを把握することができる。その後、操作情報受信部７１は、画像処理装置２から送信される操作情報を受信する。操作情報受信部７１は、エラーを解除するためにユーザーが行うべき操作に関する操作情報を受信する都度、その操作情報を案内方法判別部７２へ出力する。また操作情報受信部７１は、画像処理装置２から誤操作情報やエラー解除通知を受信した場合にも、それらを案内方法判別部７２へ出力する。
【００７９】
案内方法判別部７２は、ユーザーが行うべき操作を案内するとき、音声による案内と、画像による案内とのいずれの方法で案内を行うかを判別する処理部である。案内方法判別部７２は、操作情報受信部７１が操作情報を受信すると、まず操作案内登録情報４８を参照し、ユーザーが行うべき操作の種類を判別する。
【００８０】
図６は、操作案内登録情報４８の一例を示す図である。図６に示すように、操作案内登録情報４８は、画像処理装置２から受信するステップごとの操作情報４８ａと、画像による案内を行うための画像データ４８ｂと、音声による案内を行うための音声データ４８ｃと、ユーザーが行うべき操作として両手操作が必要であるか否かを示す両手操作情報４８ｄとのそれぞれを互いに対応付けて登録された情報である。ステップごとの操作情報４８ａに対応付けられる画像データ４８ｂは、当該ステップに対応する操作を画像表示でユーザーに案内するための動画データであり、一定のフレームレートで逐次画像が更新されるデータである。またステップごとの操作情報４８ａに対応付けられる音声データ４８ｃは、当該ステップに対応する操作を音声出力でユーザーに案内するための音声データであり、時系列の音声信号が記録されたデータである。両手操作情報４８ｄは、当該ステップにおける操作をユーザーが両手で行うことが必要か否かを判別するための情報であり、ユーザーが片手で操作を行うことができる場合には「不要」が記録されている。
【００８１】
図６に示す操作案内登録情報４８では、操作情報４８ａが「Ｃ００２」、「Ｄ００２」、「Ｄ００３」、「Ｅ００２」、「Ｅ００３」、「Ｆ００２」及び「Ｆ００３」である場合に、両手操作が必要であることが記録されている。
【００８２】
ここで、図５を参照すると、操作情報「Ｃ００２」のステップに対応する操作は、Ａ３サイズの用紙を補給する操作である。これに対し、「Ｂ００２」のステップに対応するＡ４サイズの用紙を補給する操作の場合には、図６を参照すると、両手操作が不要であることが記録されている。つまり、図６に示す操作案内登録情報４８では、ユーザーが行うべき操作が両手で保持することが必要な所定サイズ以上の用紙を補給する操作である場合に両手で操作を行う必要のある操作であることが登録されている。
【００８３】
また図５を参照すると、操作情報「Ｄ００２」及び「Ｄ００３」のステップに対応する操作は、レバーを持ち上げた後、そのレバーを持ち上げた状態のままで用紙を抜き取る操作である。つまり、図６に示す操作案内登録情報４８では、ユーザーが行うべき操作が一方の手でレバーを操作しながら他方の手で紙を取り出す操作である場合に両手で行う必要のある操作であることが登録されている。
【００８４】
また図５を参照すると、操作情報「Ｅ００２」及び「Ｅ００３」のステップに対応する操作は、ローラーを回転させつつ、用紙を抜き取る操作である。つまり、図６に示す操作案内登録情報４８では、ユーザーが行うべき操作が一方の手でローラーを手動回転させながら他方の手で紙を取り出す操作である場合に両手で行う必要のある操作であることが登録されている。
【００８５】
さらに図５を参照すると、操作情報「Ｆ００２」及び「Ｆ００３」のステップに対応する操作は、トナーを交換する操作である。つまり、図６に示す操作案内登録情報４８では、両手で保持することが必要なトナーを交換する操作である場合に両手で行う必要のある操作であることが登録されている。
【００８６】
図７は、操作案内登録情報４８に登録される画像データ４８ｂの一例を示す図である。尚、図７では、用紙エンプティセンサー３２（図５に示す「用紙エンプティセンサー１」）がエラーを検知した場合の各ステップの画像データ４８ｂを例示している。図７（ａ）は第１ステップの操作をユーザーに画像で案内するときの画像データ４８ｂを示している。第１ステップにおいてユーザーが行うべき操作は、トレー１を開放する操作であるため、図７（ａ）に示すように第１ステップに対応する画像データ４８ｂにはトレー１を開放する動画が記録されている。図７（ｂ）は第２ステップの操作をユーザーに画像で案内するときの画像データ４８ｂを示している。第２ステップにおいてユーザーが行うべき操作は、Ａ４サイズの用紙をトレー１に補給する操作であるため、図７（ｂ）に示すように第２ステップに対応する画像データ４８ｂにはＡ４サイズの用紙を補給する動画が記録されている。図７（ｃ）は第３ステップの操作をユーザーに画像で案内するときの画像データ４８ｂを示している。第３ステップにおいてユーザーが行うべき操作は、トレー１を閉鎖する操作であるため、図７（ｃ）に示すように第３ステップに対応する画像データ４８ｂにはトレー１を閉鎖する動画が記録されている。
【００８７】
図８は、操作案内登録情報４８に登録される音声データ４８ｃの一例を示す図である。尚、図８では、図７と同様に、用紙エンプティセンサー３２（図５に示す「用紙エンプティセンサー１」）がエラーを検知した場合の各ステップの音声データ４８ｃを例示している。図８（ａ）は第１ステップの操作をユーザーに画像で案内するときの音声データ４８ｃを示している。第１ステップにおいてユーザーが行うべき操作は、トレー１を開放する操作であるため、図８（ａ）に示すように第１ステップに対応する音声データ４８ｃが再生されると、携帯端末装置３から「トレー１を開放してください」という音声が出力される。図８（ｂ）は第２ステップの操作をユーザーに画像で案内するときの音声データ４８ｃを示している。第２ステップにおいてユーザーが行うべき操作は、Ａ４サイズの用紙をトレー１に補給する操作であるため、図８（ｂ）に示すように第２ステップに対応する音声データ４８ｃが再生されると、携帯端末装置３から「Ａ４用紙を補給してください」という音声が出力される。図８（ｃ）は第３ステップの操作をユーザーに画像で案内するときの音声データ４８ｃを示している。第３ステップにおいてユーザーが行うべき操作は、トレー１を閉鎖する操作であるため、図８（ｃ）に示すように第３ステップに対応する音声データ４８ｃが再生されると、携帯端末装置３から「トレー１を閉じてください」という音声が出力される。ただし、このような音声による案内は、画像による案内に比べて、トレー１の位置をユーザーが正確に把握することが難しい案内となる。
【００８８】
このように操作案内登録情報４８には、ユーザーが行うべき操作のステップごとに、画像による案内を行うための画像データ４８ｂと、音声による案内を行うための音声データ４８ｃとが予め登録されている。尚、画像データ４８ｂは、音声データ４８ｃと同様の音声を含むデータであっても構わない。ただし、画像データ４８ｂに基づく動画を表示するときに音声を同時に出力するようにすると、ＣＰＵ４０ａには動画表示のための負荷と音声再生のための負荷とが同時にかかることになり、携帯端末装置３の電力消費量が高くなる。これを抑制するためには、画像データ４８ｂを、音声を含まないデータで構成することが好ましい。
【００８９】
案内方法判別部７２は、上記のような操作案内登録情報４８を参照することにより、画像処理装置２から受信した操作情報に対応するステップにおいてユーザーが両手操作を行う必要があるか否かを判別する。エラーを解除するために両手操作を行うことが必要な場合、ユーザーは携帯端末装置３を片手に持った状態で操作を行うことができない。そのため、携帯端末装置３の表示部４１に画像データ４８ｂに基づく画像による案内を表示したとしても、ユーザーは、画像による案内を見ることができない。そこで案内方法判別部７２は、両手操作を行うことが必要な場合、音声による案内を行うことを決定する。
【００９０】
これに対し、片手で操作を行うことが可能な場合、ユーザーは携帯端末装置３を一方の手に持った状態で他方の手で操作を行うことができる。つまり、片手で操作を行うことが可能な場合、ユーザーは、画像による案内を見ながら操作を進めることができる。そこで案内方法判別部７２は、画像処理装置２から受信した操作情報に対応するステップにおいてユーザーが片手で操作を行うことが可能な場合、画像による案内を行うことを決定する。
【００９１】
案内方法判別部７２は、画像処理装置２から操作情報を受信する都度、上記のような判別処理を行う。すなわち、案内方法判別部７２は、ユーザーが行うべき操作に含まれるステップごとに、音声による案内と、画像による案内とのいずれの方法で案内を行うかを決定する。
【００９２】
また案内方法判別部７２は、画像認識部８１、操作検知部８２、音声認識部８３及び加速度判定部８４を備えている。そして案内方法判別部７２は、画像認識部８１、操作検知部８２、音声認識部８３及び加速度判定部８４のそれぞれの検知結果に基づいて音声による案内と画像による案内との切り替えを行うことができるように構成される。
【００９３】
画像認識部８１は、撮像部４５を駆動して表示部４１の正面側を撮影した撮影画像を取得し、その撮影画像にユーザーの顔画像が含まれるか否かを認識する処理部である。例えば画像認識部８１は、携帯端末装置３においてアプリケーションが起動し、画像処理装置２との連携動作を行っている状態のときに、一定周期で撮像部４５を駆動し、撮影画像を一定周期で取得する。そして画像認識部８１は、撮像部４５から撮影画像を取得する度に、その撮影画像にユーザーの顔画像が含まれているか否かを認識する。このような画像認識を一定周期間隔で行うことにより、ユーザーが表示部４１を視認しているか否かを逐次判定することができるようになる。
【００９４】
画像認識部８１によって撮影画像にユーザーの顔画像が含まれると判定された場合、案内方法判別部７２は、画像による案内を行うことを決定する。つまり、ユーザーが行うべき操作が両手で行うことが必要な操作であっても、ユーザーが表示部４１を視認している可能性があれば、画像による案内を行うことを決定するのである。
【００９５】
これに対し、画像認識部８１によって撮影画像にユーザーの顔画像が含まれないと判定された場合、案内方法判別部７２は、音声による案内を行うことを決定する。つまり、ユーザーが行うべき操作が片手で行うことが可能な操作であっても、ユーザーが表示部４１を視認していないのであれば、画像による案内を行う必要がなく、寧ろ音声による案内を行うことが好ましいため、音声による案内を行うことを決定するのである。ただし、操作案内登録情報４８を参照して決定される案内方法が画像による案内であった場合には、撮影画像にユーザーの顔画像が含まれるか否かを判定することなく、画像による案内を行うようにしても良い。なぜなら、音声による案内よりも画像による案内の方がユーザーにとって分かり易いからである。
【００９６】
操作検知部８２は、操作部４２に対するユーザーの操作を検知する。操作検知部８２が検知するユーザーの操作には、画像による案内を音声による案内に切り替える操作、音声による案内を画像による案内に切り替える操作、音声又は画像による案内を一時停止させる操作、音声又は画像による案内を再生させる操作などが含まれる。案内方法判別部７２は、操作検知部８２によってそれらの操作が検知された場合には、ユーザーの操作に応じた処理を行う。
【００９７】
音声認識部８３は、マイクから出力される音声信号に基づいてユーザーの音声を認識することにより、携帯端末装置３に対するユーザーの音声による操作を検知する。音声認識部８３が検知するユーザーの音声による操作には、上記と同様に、画像による案内を音声による案内に切り替える操作、音声による案内を画像による案内に切り替える操作、音声又は画像による案内を一時停止させる操作、音声又は画像による案内を再生させる操作などが含まれる。そして案内方法判別部７２は、音声認識部８３によってそれらの操作が検知された場合には、ユーザーの音声による操作に応じた処理を行う。
【００９８】
加速度判定部８４は、加速度センサー４９の出力を監視し、加速度センサー４９が加速度を検知している状態であるか否かを判定する。上述したように、加速度センサー４９は、ユーザーが携帯端末装置３を所持しているときにはユーザーの動作に伴う加速度を検知するのに対し、ユーザーが携帯端末装置３を所持していないときには加速度を検知しない。そのため、加速度センサー４９が加速度を検知している状態であれば、ユーザーが携帯端末装置３を持った状態で表示部４１を視認している可能性があると言える。そこで加速度判定部８４は、加速度センサー４９からの出力に基づき、ユーザーが表示部４１を視認している可能性があるか否かを判定するのである。
【００９９】
加速度判定部８４によって加速度が検知されている状態であると判定された場合、案内方法判別部７２は、画像による案内を行うことを決定する。つまり、ユーザーが行うべき操作が両手で行うことが必要な操作であっても、ユーザーが表示部４１を視認している可能性があれば、画像による案内を行うことを決定するのである。
【０１００】
これに対し、加速度判定部８４によって加速度が検知されていない状態であると判定された場合、案内方法判別部７２は、音声による案内を行うことを決定する。つまり、ユーザーが行うべき操作が片手で行うことが可能な操作であっても、ユーザーが表示部４１を視認していないのであれば、画像による案内を行う必要がなく、寧ろ音声による案内を行うことが好ましいため、音声による案内を行うことを決定するのである。ただし、操作案内登録情報４８を参照して決定される案内方法が画像による案内であった場合には、加速度が検知されている状態であるか否かを判定することなく、画像による案内を行うようにしても良い。なぜなら、音声による案内よりも画像による案内の方がユーザーにとって分かり易いからである。
【０１０１】
上記のように案内方法判別部７２は、画像認識部８１及び加速度判定部８４のそれぞれの判定結果に基づいて音声による案内と画像による案内とを切り替えることが可能である。そのため、案内方法判別部７２は、ユーザーによる携帯端末装置３の保持状態又はユーザーによる携帯端末装置３の視認状態に応じて音声による案内と画像による案内とを切り替えることが可能である。また案内方法判別部７２において、画像認識部８１及び加速度判定部８４のいずれの判定結果を優先的に採用して案内方法を切り替えるかについては任意である。
【０１０２】
操作案内部７３は、案内方法判別部７２によって決定される案内方法に基づき、ユーザーが行うべき操作の案内処理を行うものである。この操作案内部７３は、音声案内部７４と、画像案内部７５とを備えており、案内方法判別部７２の決定結果に基づき音声案内部７４及び画像案内部７５を択一的に動作させる。
【０１０３】
音声案内部７４は、音声による案内を行う処理部であり、画像処理装置２から受信した操作情報に対応するステップの音声データ４８ｃを読み出し、その音声データ４８ｃに基づいてスピーカー４４を駆動することにより、スピーカー４４から音声による案内を出力させる。すなわち、音声案内部７４は、音声データ４８ｃに基づく音声再生処理をＣＰＵ４０ａに行わせることにより、音声に基づく案内をスピーカー４４から出力させるのである。また音声案内部７４は、案内方法判別部７２から音声による案内の一時停止や再生が指示された場合には、案内方法判別部７２からの指示に基づいて音声による案内を一時停止させたり、再生したりする。
【０１０４】
音声案内部７４によって音声による案内が行われているとき、操作案内部７３は、表示部４１に供給する電源をオフにしても良い。この場合において、操作部４２がユーザーの操作を検知した場合、或いは、マイク４３がユーザーの音声を検知した場合に、操作案内部７３は、表示部４１に対し、音声による案内を画像による案内に切り替える操作、音声による案内を一時停止させる操作、音声による案内を再生させる操作などを行うことが可能な画面を表示させることが好ましい。
【０１０５】
画像案内部７５は、画像による案内を行う処理部であり、画像処理装置２から受信した操作情報に対応するステップの画像データ４８ｂを読み出し、その画像データ４８ｂに基づいて表示部４１に動画像を表示させる。すなわち、画像案内部７５は、画像データ４８ｂに基づく動画再生処理をＣＰＵ４０ａに行わせることにより、画像に基づく案内を表示部４１に表示させるのである。また画像案内部７５は、案内方法判別部７２から画像による案内の一時停止や再生が指示された場合には、案内方法判別部７２からの指示に基づいて画像による案内を一時停止させたり、再生したりする。尚、音声案内部７４によって音声による案内が行われているとき、操作案内部７３は、スピーカー４４を駆動しないようにしても良い。
【０１０６】
また案内方法判別部７２は、操作案内部７３の音声案内部７４を動作させることによって音声による案内を行わせているときに画像処理装置２から誤操作情報を受信した場合、操作案内部７３に対して音声による案内を画像による案内に切り替えることをユーザーに促すように指示をする。そして操作案内部７３は、音声案内部７４を制御し、音声による案内を画像による案内に切り替えることを促す音声をスピーカー４４から出力させる。これにより、ユーザーは、手動操作で音声による案内を画像による案内に切り替えて画像による案内を視認するため、正しい操作内容を容易に把握することができるようになる。
【０１０７】
また案内方法判別部７２は、操作案内部７３に音声による案内を行わせている状態において、ユーザーが操作に手間取っていると判断した場合にも、操作案内部７３に対して音声による案内を画像による案内に切り替えることをユーザーに促すように指示をする。ユーザーが操作に手間取っているか否かの判断は、例えば音声案内部７４が音声による案内を行ってから所定時間が経過したときに、操作情報受信部７１が次のステップに対応する操作情報を受信しているか否かを判断することによって行われる。そしてユーザーが操作に手間取っていると判断されると、操作案内部７３は、音声案内部７４を制御し、音声による案内を画像による案内に切り替えることを促す音声をスピーカー４４から出力させる。これにより、ユーザーは、手動操作で音声による案内を画像による案内に切り替えて画像による案内を視認するため、エラーを解除するための正しい操作内容を速やかに把握することができるようになる。
【０１０８】
また案内方法判別部７２は、画像処理装置２から受信した操作情報に基づいて音声による案内を行うことを決定した場合、操作案内部７３に音声による案内を行わせる前に、画像による案内を行わせるようにしても良い。音声による案内は画像による案内よりも操作位置などを特定することが難しいため、音声による案内を行う前に、ユーザーに画像による案内を見せておくことでユーザーが操作位置などを特定し易くなるという利点がある。
【０１０９】
さらに案内方法判別部７２は、音声による案内を行っているときに、画像認識部８１によってユーザーの顔画像が認識された場合、或いは、加速度判定部８４によって加速度が検知された場合、そのタイミングで案内方法を音声による案内から画像による案内に切り替えるようにしても良い。
【０１１０】
次に図９は、画像処理装置２でエラーが発生した場合に画像処理装置２及び携帯端末装置３が互いに連携しながら行うプロセスの流れを示す図である。図９に示すように、画像処理装置２は、エラーを検知すると（プロセスＰ１）、まずエラーが発生したことを報知する（プロセスＰ２）これにより、画像処理装置２の近傍に居るユーザーは、画像処理装置２においてエラーが発生したことを把握することができる。そして携帯端末装置３は、ユーザーによるアプリケーションの起動指示に基づいてアプリケーションを起動させる（プロセスＰ３）。ただし、これに限らず、尚、携帯端末装置３は、画像処理装置２からの命令に基づいてアプリケーションを自動起動させるものであっても構わない。
【０１１１】
画像処理装置２は、エラーを報知すると、そのエラーを解除するためにユーザーが行うべき解除操作を特定する（ステップＳ４）。そして画像処理装置２は、その解除操作に含まれる複数のステップのうちからユーザーが最初に行うべきステップの操作情報Ｄ１０を生成し（ステップＳ５）、その操作情報Ｄ１０を携帯端末装置３へ送信する（プロセスＰ６）。
【０１１２】
携帯端末装置３は、画像処理装置２から送信される操作情報Ｄ１０を受信すると（プロセスＰ７）、ユーザーに対する解除操作の案内方法を判別する（プロセスＰ８）。このとき、携帯端末装置３は、画像処理装置２から受信した操作情報Ｄ１０に対応するステップにおいてユーザーが行うべき操作が両手操作であるか否か、撮像部４５によって撮影された撮影画像にユーザーの顔画像が含まれるか否か、又は、加速度センサー４９によって加速度が検知されているか否かに応じて、音声による案内と画像による案内とのいずれか一方を決定する。そして携帯端末装置３は、プロセスＰ８における判別結果に基づき、音声による案内と画像による案内とのいずれか一方でエラーを解除するための操作を案内する（プロセスＰ９）。
【０１１３】
その後、画像処理装置２は、センサー群１９から得られる情報に基づき、ユーザーが行うべき操作のステップが進行したことを検知すると（プロセスＰ１０）、次のステップに対応する操作情報Ｄ１１を生成し、その操作情報Ｄ１１を携帯端末装置３へ送信する（プロセスＰ１１）。また携帯端末装置３は、画像処理装置２から送信される次のステップの操作情報Ｄ１１を受信すると（プロセスＰ１２）、上記と同様に、ユーザーに対する解除操作の案内方法を判別し（プロセスＰ１３）、その判別結果に基づいて、音声による案内と画像による案内とのいずれか一方でエラーを解除するための操作を案内する（プロセスＰ１４）。以後、画像処理装置２においてエラーが解除されたと判定されるまで、同様の処理が繰り返される。
【０１１４】
次に画像処理装置２において行われる処理について説明する。図１０は、画像処理装置２において行われる処理手順の一例を示すフローチャートである。この処理は、画像処理装置２においてエラーが検知されることに伴って開始される。画像処理装置２は、この処理を開始すると、まずエラーを検知したセンサーを特定する（ステップＳ１０）。センサーを特定することができると、画像処理装置２は、エラー判別情報１５を参照し（ステップＳ１１）、ユーザーが行うべき解除操作を特定する（ステップＳ１２）。そして画像処理装置２は、特定した解除操作に含まれる複数のステップのうちからユーザーが行うべきステップを特定し、その特定したステップに対応する操作情報を生成して携帯端末装置３へ送信する（ステップＳ１３，Ｓ１４）。
【０１１５】
その後、画像処理装置２は、センサー群１９に含まれる各センサーの出力を監視し、ユーザーによる操作が行われたことを検知するまで待機する（ステップＳ１５）。ユーザーによる操作が行われたことを検知した場合（ステップＳ１５でＹＥＳ）、画像処理装置２は、センサー群１９から得られる情報に基づいてユーザーによって行われた操作が正しい操作であるか否かを判別する（ステップＳ１６）。その結果、ユーザーによって行われた操作が正しい操作ではなかった場合（ステップＳ１６でＮＯ）、画像処理装置２は、誤操作情報を携帯端末装置３へ送信する（ステップＳ１７）。これに対し、ユーザーによって行われた操作が正しい操作であった場合（ステップＳ１６でＹＥＳ）、画像処理装置２は、ユーザーが行うべき解除操作に次のステップが存在するか否かを判別し（ステップＳ１８）、次のステップが存在すれば（ステップＳ１８でＹＥＳ）、ステップＳ１３に戻って上述した処理を繰り返す。これに対し、次のステップが存在しない場合（ステップＳ１８でＮＯ）、画像処理装置２は、エラーが解除されたと判断し、エラー解除通知を携帯端末装置３へ送信する（ステップＳ１９）。以上で、画像処理装置２における処理が終了する。
【０１１６】
次に携帯端末装置３において行われる処理について説明する。図１１は、携帯端末装置３において行われる主たる処理手順の一例を示すフローチャートである。この処理は、携帯端末装置３において画像処理装置２と連携するアプリケーションが起動することによって開始される。携帯端末装置３は、この処理を開始すると、まず操作案内登録情報４８を読み出す（ステップＳ２０）。そして携帯端末装置３は、画像処理装置２から操作情報を受信するまで待機する状態となる（ステップＳ２１）。
【０１１７】
画像処理装置２から操作情報を受信すると（ステップＳ２１でＹＥＳ）、携帯端末装置３は、操作案内登録情報４８を参照し（ステップＳ２２）、今回のステップでユーザーが行うべき操作が両手で行うことが必要な操作であるか否かを判断する（ステップＳ２３）。その結果、片手で行うことが可能な操作である場合（ステップＳ２３でＮＯ）、携帯端末装置３は、案内方法として、画像による案内を決定する。これに対し、両手で行うことが必要な操作である場合（ステップＳ２３でＹＥＳ）、携帯端末装置３は、撮像部４５を駆動し（ステップＳ２４）、撮影画像を取得する（ステップＳ２５）。そして携帯端末装置３は、撮影画像にユーザーの顔画像が含まれているか否かを判断し（ステップＳ２６）、ユーザーの顔画像が含まれていなければ（ステップＳ２６でＮＯ）、更に加速度センサー４９が加速度を検知中であるか否かを判断する（ステップＳ２７）。そして加速度センサー４９が加速度を検知していない場合（ステップＳ２７でＮＯ）、携帯端末装置３は、案内方法として、音声による案内を決定する。尚、撮影画像にユーザーの顔画像が含まれている場合（ステップＳ２６でＹＥＳ）、或いは、加速度センサー４９が加速度を検知中である場合（ステップＳ２７でＹＥＳ）、携帯端末装置３は、案内方法として、画像による案内を決定する。
【０１１８】
携帯端末装置３は、音声による案内を決定した場合、今回のステップに対応する音声データ４８ｃを読み出し（ステップＳ２８）、その音声データ４８ｃに基づく再生処理を開始することにより音声による案内を開始する（ステップＳ２９）。そして携帯端末装置３は、音声による案内を開始することに伴い、時間計測を開始する（ステップＳ３０）。
【０１１９】
また携帯端末装置３は、画像による案内を決定した場合、今回のステップに対応する画像データ４８ｂを読み出し（ステップＳ３１）、その画像データ４８ｂに基づく動画再生処理を開始することにより画像による案内を開始する（ステップＳ３２）。
【０１２０】
携帯端末装置３は、音声又は画像による案内を開始すると、操作案内処理を行う（ステップＳ３３）。図１２は、この操作案内処理（ステップＳ３３）の詳細な処理手順の一例を示すフローチャートである。携帯端末装置３は、図１２に示す処理を開始すると、まず音声による案内を実行中であるか否かを判断する（ステップＳ４０）。尚、ここでは、音声による案内が行われた後、次のステップに進んでいない状態であっても、ＹＥＳと判断される。音声による案内が行われている場合（ステップＳ４０でＹＥＳ）、携帯端末装置３は、ステップＳ３０で計測を開始した時間が所定時間を経過したか否かを判断し（ステップＳ４１）、所定時間を経過していれば（ステップＳ４１でＹＥＳ）、ユーザーに対し、音声による案内を画像による案内に切り替えることを促す処理を行う（ステップＳ４２）。ここで、所定時間は、例えば３〜５分程度の時間であり、ユーザーが解除操作に手間取っていると判断するのに十分な時間が予め設定される。これに対し、音声による案内が行われていない場合（ステップＳ４０でＮＯ）、又は、所定時間が経過していない場合（ステップＳ４１でＮＯ）、ステップＳ４２の処理は行われずにスキップする。
【０１２１】
次に携帯端末装置３は、画像処理装置２から誤操作情報を受信したか否かを判断する（ステップＳ４３）。誤操作情報を受信した場合（ステップＳ４３でＹＥＳ）、携帯端末装置３は、ユーザーに対して誤操作を報知する（ステップＳ４４）。この報知は、例えば携帯端末装置３のスピーカー４４から警告音を発生させることにより行われる。そして携帯端末装置３は、ステップＳ４０と同様に音声による案内を行っているか否かを判断し（ステップＳ４５）、音声による案内が行われていれば（ステップＳ４５でＹＥＳ）、ユーザーに対し、音声による案内を画像による案内に切り替えることを促す処理を行う（ステップＳ４６）。また音声による案内が行われておらず、画像による案内が行われている場合（ステップＳ４５でＮＯ）、携帯端末装置３は、再び画像による案内をはじめから再生する（ステップＳ４７）。これにより、ユーザーは、画像による案内を確認しながら、正しい操作を行うことができるようになる。尚、誤操作情報を受信していない場合（ステップＳ４３でＮＯ）、ステップＳ４４〜Ｓ４７の処理は行われずにスキップする。
【０１２２】
次に携帯端末装置３は、ユーザーの手動又は音声による指示を検知したか否かを判断する（ステップＳ４８）。ユーザーの指示を検知した場合（ステップＳ４８でＹＥＳ）、携帯端末装置３は、ユーザーの指示が一時停止であるか否かを判断し（ステップＳ４９）、一時停止であれば（ステップＳ４９でＹＥＳ）、音声又は画像による案内の一時停止処理を行う（ステップＳ５０）。またユーザーの指示が一時停止でなかった場合（ステップＳ４９でＮＯ）、音声又は画像による案内の再生指示であるか否かを判断し（ステップＳ５１）、再生指示であれば（ステップＳ５１でＹＥＳ）、音声又は画像による案内の再生処理を行う（ステップＳ５２）。さらにユーザーの指示が再生指示でもなかった場合（ステップＳ５１でＮＯ）、案内方法の切り替え指示であるか否かを判断し（ステップＳ５３）、案内方法の切り替え指示であれば（ステップＳ５３でＹＥＳ）、案内方法切り替え処理を行う（ステップＳ５４）。この案内方法切り替え処理では、携帯端末装置３は、音声による案内を画像による案内に切り替える処理を行ったり、また画像による案内を音声による案内に切り替える処理を行ったりする。つまり、ユーザーは、自身の操作で案内方法の切り替えを行うこともできるのである。尚、ユーザーの指示が案内方法の切り替え指示でもなかった場合（ステップＳ５３でＮＯ）、ステップＳ５４の処理は行われずにスキップする。この場合、その他のユーザーの指示に応じた処理を行うようにしても良い。またユーザーの手動又は音声による指示を検知していない場合（ステップＳ４８でＮＯ）も、上述した各処理をスキップする。以上で、操作案内処理（ステップＳ３３）が終了する。
【０１２３】
図１１のフローチャートに戻り、携帯端末装置３は、操作案内処理（ステップＳ３３）を行った後、画像処理装置２からエラー解除通知を受信したか否かを判断する（ステップＳ３４）。エラー解除通知を受信していない場合には（ステップＳ３４でＮＯ）、更に次のステップに対応する操作情報を受信したか否かを判断する（ステップＳ３５）。そして次のステップに対応する操作情報を受信していない場合（ステップＳ３５でＮＯ）、携帯端末装置３による処理はステップＳ３３に戻り、上述した処理を繰り返す。また次のステップに対応する操作情報を受信した場合（ステップＳ３５でＹＥＳ）、携帯端末装置３による処理はステップＳ２２に戻り、上述した処理を繰り返す。さらに画像処理装置２からエラー通知を受信した場合（ステップＳ３４でＹＥＳ）、携帯端末装置３において起動しているアプリケーションによる処理は終了する。
【０１２４】
上述したように本実施形態の携帯端末装置３は、画像処理装置２においてエラーが発生した場合に、画像処理装置２から送信される操作情報を受信し、その操作情報に基づいて、エラーを解除するためにユーザーが行うべき操作を音声又は画像で案内する構成である。そして携帯端末装置３は、ユーザーが行うべき操作の種類、又は、ユーザーによる携帯端末装置３の保持状態に応じて、音声による案内と画像による案内とを切り替えるように構成されている。したがって、本実施形態の携帯端末装置３は、従来のように音声と画像との双方でユーザーが行うべき操作を案内するものではなく、ユーザーが行うべき操作の種類やユーザーの保持状態などに応じて音声による案内と画像による案内とを択一的に切り替えることが可能であり、ＣＰＵ４０ａに同時にかかる負荷を低減することができ、携帯端末装置３の電力消費量を低く抑えることができるようになる。
【０１２５】
以上、本発明に関する一実施形態について説明したが、本発明は、上記実施形態において説明した内容のものに限られるものではなく、種々の変形例が適用可能である。
【０１２６】
例えば上記実施形態において説明した画像処理装置２のエラーは、単なる一例である。したがって、画像処理装置２において発生するエラーには、上述したエラー以外のものが含まれていても構わない。
【０１２７】
また上記実施形態では、携帯端末装置３において、ユーザーが行うべき操作が、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別する処理を行う場合を例示した。しかし、この判別処理は、画像処理装置２で行うようにしても良い。すなわち、画像処理装置２は、エラーを解除するためにユーザーが行うべき操作が、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別する判別手段を備えており、その判別手段による判別結果を操作情報と共に携帯端末装置３へ送信するように構成すれば良い。このような構成すれば、携帯端末装置３においてユーザーが行うべき操作が、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別する処理を行う必要がなくなるという利点がある。
【０１２８】
また上記実施形態では、携帯端末装置３がユーザーによって占有的に所持されるスマートフォンやタブレット端末、パーソナルコンピュータなどで構成される場合を例示した。しかし、携帯端末装置３は、必ずしもユーザーによって占有的に所持される装置でなくても構わない。例えば、画像処理装置２の操作パネル１１が、画像処理装置２の装置本体に対して着脱可能な場合には、画像処理装置２の装置本体から取り外した操作パネル１１が上述した携帯端末装置３として機能するものであっても構わない。
【符号の説明】
【０１２９】
１  画像処理システム
２  画像処理装置
３  携帯端末装置
４５  撮像部（撮像手段）
４９  加速度センサー
６１  エラー検知部（エラー検知手段）
６２  操作情報生成部（操作情報生成手段）
６３  操作判別部（操作判別手段）
６４  操作情報送信部（操作情報送信手段）
７１  操作情報受信部（操作情報受信手段）
７２  案内方法判別部（判別手段）
７３  操作案内部（案内手段）
８１  画像認識部（画像認識手段）
【図１】
2018078354.tif 000003
【図２】
2018078354.tif 000004
【図３】
2018078354.tif 000005
【図４】
2018078354.tif 000006
【図５】
2018078354.tif 000007
【図６】
2018078354.tif 000008
【図７】
2018078354.tif 000009
【図８】
2018078354.tif 000010
【図９】
2018078354.tif 000011
【図１０】
2018078354.tif 000012
【図１１】
2018078354.tif 000013
【図１２】
2018078354.tif 000014