(57)【要約】【課題】ユーザーの表情に応じて表示部に表示される取り扱い方法の表示内容を変更することで、電子機器の取り扱いに対するユーザーの理解度に応じた適確な支援を行う。【解決手段】画像形成装置１０において、画像形成装置１０の取り扱い方法を示す情報量が互いに異なる複数の取り扱い情報を、ユーザーの顔の表情の種類に対応付けて予め記憶した記憶部２８と、画像形成装置１０の取り扱い情報を表示部２２に表示させる際に、撮像部２６により撮像された画像からユーザーの顔画像を抽出し、当該抽出したユーザーの顔画像を解析して当該ユーザーの顔の表情の種類を検出する表情検出部３２と、表情検出部３２により検出された顔の表情の種類に対応する取り扱い情報を記憶部２８から読み出して、この読み出した取り扱い情報を表示部２２に表示させる制御部３１と、を備える。【選択図】図２
2019159939.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
ユーザーを撮像する撮像部と、
前記画像形成装置の取り扱い方法を示し、情報量が互いに異なる複数の取り扱い情報が、前記ユーザーの顔の表情の種類別に対応付けてそれぞれ記憶されている記憶部と、
本電子機器の取り扱い情報を前記表示部に表示させる際に、前記撮像部により撮像された画像から前記ユーザーの顔画像を抽出し、当該抽出したユーザーの顔画像を解析して当該ユーザーの顔の表情の種類を検出する表情検出部と、
前記表情検出部により検出された前記ユーザーの顔の表情の種類に対応する取り扱い情報を前記記憶部から読み出して、当該読み出した取り扱い情報を前記表示部に表示させる制御部と、を備える電子機器。
【請求項２】
前記複数の取り扱い情報は、それぞれ、イラスト画像を含まない文字のみの構成、又は、互いに異なる枚数のイラスト画像を含む構成とされることで、前記情報量が異なっている請求項１に記載の電子機器。
【請求項３】
前記表情検出部は、前記撮像部から複数の顔画像を検出したとき、当該各顔画像の中から最大表示サイズとなる顔画像についてその顔の表情の種類を検出し、当該検出した顔の表情の種類に対応する取り扱い情報を前記記憶部から読み出して、当該読み出した取り扱い情報を前記表示部に表示させる請求項１又は請求項２に記載の電子機器。
【請求項４】
前記表情検出部は、前記撮像部から複数の顔画像を検出したとき、これら複数の顔画像のうち、少なくとも１つの顔画像が、予め定められた種類の表情を示す場合は、当該表情の種類に対応する取り扱い情報を前記記憶部から読み出して、当該読み出した取り扱い情報を前記表示部に表示させる請求項１又は請求項２に記載の電子機器。
【請求項５】
前記表情検出部は、前記顔の表情の種類として、笑顔の表情、怒り顔の表情、及び無表情を検出する請求項１乃至請求項４のいずれかに記載の電子機器。
【請求項６】
前記記憶部には、本電子機器に生じる予め定められた不具合の種類に応じて、互いに異なる情報量からなるそれぞれの前記複数の取り扱い情報が記憶されており、
前記制御部は、本電子機器に不具合が生じたとき、当該不具合の種類に対応する前記複数の取り扱い情報を前記記憶部から読み出して、当該読み出した取り扱い情報を前記表示部に表示させる請求項１乃至請求項５のいずれかに記載の電子機器。
【請求項７】
請求項１乃至請求項６のいずれかに記載の電子機器と、
記録媒体に画像を形成する画像形成部と、を更に備える画像形成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取り扱い方法を表示部に表示させる電子機器に関し、特に、ユーザーの表情に応じてその取り扱い方法の表示内容を変更する技術に関する。
【背景技術】
【０００２】
電子機器の一例である画像形成装置は、画像読取部により原稿の画像を読取らせて、画像形成部により当該画像を記録紙に印刷させ、この記録紙を排出する。このような画像形成装置では、当該画像形成装置の取り扱い方法を表示部に表示させて、ユーザーが表示部の画面を見てその取扱い方法を理解できるようにしている。例えば、記録紙が搬送途中で詰まるという所謂ジャムが発生したときには、その記録紙を除去する作業手順（取り扱い方法）を示す一連のイラスト画像を表示部に表示させて、ユーザーによるジャム解消の作業を支援する。
【０００３】
一方、特許文献１には、券売機を利用するユーザーを撮像して、ユーザーの顔画像を抽出し、この抽出した顔画像に基づき当該ユーザーの顔の表情を確認し、券売機の表示画面を見づらい顔の表情となると、券売機の表示画面に表示される運賃表示の区画を大きくして、運賃表示の区画を見易くする装置が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２３４４０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の画像形成装置では、ユーザーが画像形成装置の取り扱いに慣れているか否かにかかわらず、同一の取り扱い方法を表示部に表示させている。このため、ユーザーによっては、表示部に表示される取り扱い方法の内容が無駄に長かったり不十分であったりするという問題があった。上記特許文献１では、ユーザーの顔の表情に応じて券売機の表示画面に表示される運賃表示の区画を大きくしているが、表示画面に表示される内容を変更してはおらず、上記問題を解決することはできない。
【０００６】
本発明は、上記の事情に鑑みなされたものであり、ユーザーの表情に応じて表示部に表示される取り扱い方法の表示内容を変更することで、電子機器の取り扱いに対するユーザーの理解度に応じた適確な支援を行うことを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一局面にかかる電子機器は、表示部と、ユーザーを撮像する撮像部と、前記画像形成装置の取り扱い方法を示し、情報量が互いに異なる複数の取り扱い情報が、前記ユーザーの顔の表情の種類別に対応付けてそれぞれ記憶されている記憶部と、本電子機器の取り扱い情報を前記表示部に表示させる際に、前記撮像部により撮像された画像から前記ユーザーの顔画像を抽出し、当該抽出したユーザーの顔画像を解析して当該ユーザーの顔の表情の種類を検出する表情検出部と、前記表情検出部により検出された前記ユーザーの顔の表情の種類に対応する取り扱い情報を前記記憶部から読み出して、当該読み出した取り扱い情報を前記表示部に表示させる制御部と、を備えるものである。
【発明の効果】
【０００８】
本発明によれば、ユーザーの表情に応じて表示部に表示される取り扱い方法の表示内容を変更することにより、電子機器の取り扱いに対するユーザーの理解度に応じた適確な支援を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態にかかる画像形成装置を示す断面図である。
【図２】本実施形態の画像形成装置の主要内部構成を示すブロック図である。
【図３】詳しい取り扱い情報、通常の取り扱い情報、及び概略的な取り扱い情報とユーザーの表情の種類の対応関係を概念的に示す図である。
【図４】ユーザーの表情の種類の対応する取り扱い情報を表示させるための処理手順を示すフローチャートである。
【図５】表示部の表示画面の一例を示す図である。
【図６】表示部の表示画面の一例を示す図である。
【図７】表示部の表示画面の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態に係る電子機器及び画像形成装置について図面を参照して説明する。
【００１１】
図１は、本発明にかかる一実施形態の画像形成装置を示す断面図である。なお、画像形成装置１０は、本発明に係る電子機器の一例である。本実施形態に係る画像形成装置１０は、例えば、コピー機能、プリンター機能、スキャナー機能のような複数の機能を兼ね備えたＭＦＰ（複合機）である。この画像形成装置１０は、画像読取部１１と、画像形成部１２とを備えている。
【００１２】
画像読取部１１は、原稿の画像を光学的に読み取る撮像素子を有しており、この撮像素子のアナログ出力がデジタル信号に変換されて、原稿の画像を示す画像データが生成される。
【００１３】
画像形成部１２は、上記画像データ又は外部から受信した画像データによって示される画像を記録紙に印刷するものであり、マゼンタ用の画像形成ユニット３Ｍ、シアン用の画像形成ユニット３Ｃ、イエロー用の画像形成ユニット３Ｙ、及びブラック用の画像形成ユニット３Ｂｋを備えている。各画像形成ユニット３Ｍ、３Ｃ、３Ｙ、及び３Ｂｋのいずれにおいても、感光体ドラム４の表面を均一帯電させ、感光体ドラム４の表面を露光して、感光体ドラム４の表面に静電潜像を形成し、感光体ドラム４の表面の静電潜像をトナー像に現像して、感光体ドラム４の表面のトナー像を、中間転写ベルト５に１次転写する。これにより、カラーのトナー像が中間転写ベルト５上に形成される。このカラーのトナー像は、中間転写ベルト５と２次転写ローラー６の間のニップ域Ｎにおいて給紙部１４から搬送路８を通じて搬送されてきた記録紙Ｐに２次転写される。
【００１４】
この後、定着装置１５で記録紙Ｐが加熱及び加圧されて、記録紙Ｐ上のトナー像が熱圧着により定着され、更に記録紙Ｐが排出ローラー１６を通じて排出トレイ１７に排出される。
【００１５】
次に、画像形成装置１０の制御に係る構成について説明する。図２は、画像形成装置１０の主要内部構成を示す機能ブロック図である。図２に示すように画像形成装置１０は、制御ユニット２１、表示部２２、通信部２３、操作部２４、タッチパネル２５、撮像部２６、センサー群２７、記憶部２８、画像読取部１１、及び画像形成部１２などを備えている。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。
【００１６】
表示部２２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）ディスプレイなどから構成される。
【００１７】
通信部２３は、通信モジュールを備える通信インターフェイスであり、外部の端末装置（図示せず）との間でデータ通信を行う。
【００１８】
操作部２４は、テンキー、決定キー、スタートキーなどのハードキーを備えている。
【００１９】
表示部２２の画面には、タッチパネル２５が重ねられている。タッチパネル２５は、所謂抵抗膜方式や静電容量方式などのタッチパネルであって、タッチパネル２５に対するユーザーの指などの接触（タッチ）をその接触位置と共に検知し、表示部２２の画面上のＧＵＩなどに対するユーザーの指示を入力する。従って、タッチパネル２５は、表示部２２の画面に対するユーザー操作が入力される操作部としての役割を果たす。
【００２０】
記憶部２８は、ＲＡＭ、大容量のＨＤＤ（Hard Disk Drive）などからなり、各種のデータやプログラムを記憶している。
【００２１】
制御ユニット２１は、プロセッサー、ＲＡＭ(Random Access Memory）、及びＲＯＭ（Read Only Memory）などから構成される。プロセッサーは、ＣＰＵ（Central Processing Unit）、ＭＰＵ、又はＡＳＩＣ等である。この制御ユニット２１は、上記のＲＯＭまたは記憶部２８に記憶されている制御プログラムが上記のプロセッサーで実行されることにより、制御部３１及び表情検出部３２として機能する。なお、制御ユニット２１の上記の各構成は、制御プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。
【００２２】
制御部３１は、画像形成装置１０の全体的な動作制御を司り、種々の処理を実行する処理部としての役割を果たす。制御部３１は、表示部２２を制御して、各種の設定画面や情報などを表示させる。制御部３１は、通信部２３の通信動作を制御する。
【００２３】
また、撮像部２６は、レンズ及び撮像素子を備えるカメラであって、操作部２４の近傍に設けられており、その視野が画像形成装置１０の前方斜め上に向けられている。この撮像部２６は、操作部２４を操作しているユーザーを撮像して、撮像した画像を示す画像データを出力する。例えば、撮像部２６は、動画又は静止画の撮影を行い、表情検出部３２が顔画像及び顔の表情を検出可能なデータ形式で、画像データを表情検出部３２に出力する。
【００２４】
表情検出部３２は、撮像部２６により撮像された上記画像データに対して既知の表情認識処理を行う。例えば、表情検出部３２は、その画像データによって示される撮像画像の中からユーザーの顔画像を既知の技術により顔画像抽出処理により抽出し、この抽出した顔画像を解析して、顔の目、鼻、及び口を検出し、更に目尻の角度及び口端の角度等を検出し、目尻の角度及び口端の角度等に基づき顔の表情を検出する。
【００２５】
また、センサー群２７は、画像形成装置１０の様々な不具合が生じたときにその不具合を検出する複数のセンサーを含み、各センサーの検出出力が制御部３１に入力される。例えば、各センサーは、コピー機能やプリンター機能を利用したジョブの実行中の不具合として、紙詰まり（ジャム）、紙切れ、トナー切れ等を検出する。
【００２６】
制御部３１は、コピー機能やプリンター機能を利用したジョブの実行に際し、センサー群２７の各センサーの検出出力に基づきジャム、紙切れ、トナー切れなどの不具合を判定して、不具合発生時にはジョブを中断させる。
【００２７】
このような構成の画像形成装置１０において、ユーザーは、操作部２４又はタッチパネル２５を操作して、例えばコピー機能を利用したジョブの実行を指示すると、制御部３１は、画像読取部１１により原稿の画像を読取らせて、画像形成部１２より原稿の画像を記録紙に印刷させる。
【００２８】
また、制御部３１は、上記のようにジョブの実行に際し、センサー群２７の各センサーの検出出力に基づき画像形成装置１０の不具合を判定すると、ジョブを中断させる。制御部３１は、この不具合を解消するための取り扱い情報（画像形成装置１０の取り扱い方法）を記憶部２８から読み出して、当該取り扱い情報を表示部２２に表示させる。ユーザーは、表示部２２に表示されている取り扱い情報を見て、不具合を解消する操作を行う。
【００２９】
この取り扱い情報は、記憶部２８に予め記憶されている。例えば、取り扱い情報は、不具合を解消するための作業手順を示すＧＦＩアニメーションなどを構成する複数のイラスト画像からなる。
【００３０】
また、複数種の不具合毎に、不具合を解消するための複数の取り扱い情報が記憶部２８に記憶されている。例えば、不具合を解消するための作業手順を理解していないユーザーに対して好適な詳しい取り扱い情報（情報量が多い取り扱い情報）、当該不具合を解消するための作業手順を概ね理解しているユーザーに好適な通常の取り扱い情報（情報量が中程度の取り扱い情報）、当該不具合を解消するための作業手順を良く理解しているユーザーに好適な概略的な取り扱い情報（情報量が少ない取り扱い情報）が記憶部２８に記憶されている。例えば、詳しい取り扱い情報として作業手順を詳しく示す１５枚のイラスト画像（大きな情報量）が記憶部２８に記憶され、通常の取り扱い情報として作業手順を通常に示す１０枚のイラスト画像（中間の情報量）が記憶され、簡潔な取り扱い情報として作業手順を文字のみで示す画像（小さな情報量）が記憶される。
【００３１】
更に、上記不具合毎に記憶されている上記複数の取り扱い情報、すなわち、不具合を解消するための詳しい取り扱い情報、通常の取り扱い情報、及び概略的な取り扱い情報は、それぞれユーザーの表情の種類に対応付けて記憶部２８に記憶されている。上記に示した例の場合、作業手順を詳しく示す１５枚のイラスト画像が怒りの表情に対応付けられ、作業手順を通常に示す１０枚のイラスト画像が無表情に対応付けられ、作業手順を文字のみで簡潔に示す画像が笑いの表情に対応付けられる。
【００３２】
図３は、複数種の不具合毎に記憶部２８に記憶されている、上記複数の取り扱い情報とユーザーの表情の種類の対応関係を概念的に示す図である。図３においては、複数種の不具合として紙詰まり（ジャム）、紙切れ、トナー切れを例示している。
【００３３】
記憶部２８において、ジャム（紙詰まり）用の記憶領域ＪＲには、ジャムを解消するための作業手順を詳しく示す１５枚のイラスト画像と怒りの表情が対応付けられて記憶され、当該作業手順を通常に示す１０枚のイラスト画像と無表情が対応付けられて記憶され、当該作業手順を簡潔に示す文字のみの画像と笑いの表情が対応付けられて記憶されている。
【００３４】
また、記憶部２８において、紙切れ用の記憶領域ＫＲには、紙切れを解消するための作業手順を詳しく示す１３枚のイラスト画像と怒りの表情が対応付けられて記憶され、当該作業手順を通常に示す８枚のイラスト画像と無表情が対応付けられて記憶され、当該作業手順を簡潔に示す文字のみの画像と笑いの表情が対応付けられて記憶されている。
【００３５】
同様に、記憶部２８において、トナー切れ用の記憶領域ＴＲにも、１１枚のイラスト画像と怒りの表情が対応付けられて記憶され、６枚のイラスト画像と無表情が対応付けられて記憶され、当該作業手順を簡潔に示す文字のみの画像と笑いの表情が対応付けられて記憶されている。
【００３６】
すなわち、顔の表情の種類別に記憶部２８に記憶されているそれぞれの取り扱い情報は、不具合の種類毎に異なる情報量とされている。
【００３７】
ここで、例えば、制御部３１は、不具合を判定してジョブを中断させるとき、最初は、不具合の種類に対応する記憶部２８の記憶領域から無表情に対応する上記各画像を読み出して、デフォルトとして、当該各画像を表示部２２に表示させる。このとき、制御部３１は、撮像部２６による撮像を開始させる。
【００３８】
そして表情検出部３２は、撮像部２６から取得する撮像画像を示す画像データに基づき、ユーザーの顔画像を抽出し、この抽出した顔画像を解析して、ユーザーの顔の表情を検出する。表情検出部３２によって検出されたユーザーの顔の表情が、例えば怒りの表情や笑いの表情である場合、制御部３１は、デフォルトで表示させていた無表情に対応する各画像に代えて、怒りの表情に対応する各イラスト画像等、又は笑いの表情に対応する各画像を表示部２２に表示させる。
【００３９】
次に、画像形成装置１０において不具合発生時にジョブを中断させたときに、ユーザーの表情に対応する取り扱い情報を表示させる処理を、図４に示すフローチャートを参照して説明する。
【００４０】
まず、コピー機能やプリンター機能を利用したジョブの実行に際し（Ｓ１０１）、制御部３１は、ジョブが終了したか否かを判定すると共に（Ｓ１０２）、センサー群２７の各センサーの検出出力に基づき画像形成装置１０の不具合が発生したか否かを判定する（Ｓ１０３）。
【００４１】
このとき、制御部３１は、不具合が発生したと判定することなく（Ｓ１０３「Ｎｏ」）、ジョブが終了したと判定すると（Ｓ１０２「Ｙｅｓ」）、図４の処理を終了する。
【００４２】
また、制御部３１は、ジョブが終了したと判定する前に（Ｓ１０２「Ｎｏ」）、不具合が発生したと判定すると（Ｓ１０３「Ｙｅｓ」）、この時点で実行しているジョブを中断させる（Ｓ１０４）。制御部３１は、Ｓ１０３において、センサー群２７の各センサーの検出出力に基づき不具合の種類を判定しておく。制御部３１は、判定した不具合の種類に対応する取り扱い情報であって、無表情に対応する取り扱い情報としての上記各画像（ここでは１０枚のイラスト画像）を取得し、制御部３１により当該各画像を、デフォルトとして、表示部２２に１枚ずつ順次表示させる（Ｓ１０６：図５に例を示す）。
【００４３】
例えば、制御部３１は、不具合がジャムであると判定すると、記憶部２８のジャム用の記憶領域ＪＲを参照して、無表情に対応する１０枚のイラスト画像を読み出し、制御部３１により当該１０枚のイラスト画像を表示部２２に１枚ずつ順番に切り換えて表示させる。このため、ユーザーがジャムを解消するための作業手順を概ね理解していれば、表示部２２の表示による上記各イラスト画像による説明を視認することにより、ジャムを解消することができる。
【００４４】
また、制御部３１は、無表情に対応する各イラスト画像の表示を開始させた時点から、撮像部２６による撮像を開始させる（Ｓ１０７）。制御部３１は、撮像部２６が動画を撮像している場合は撮像開始時から撮像を続けさせ、撮像部２６が静止画を撮像している場合は、予め定められた周期（例えば、１秒）で静止画の撮像を繰り返させる。
【００４５】
そして、制御部３１は、センサー群２７の各センサーの検出出力に基づき画像形成装置１０の不具合が解消されたか否かを判定する（Ｓ１０８）。表情検出部３２は、動画撮像の場合は撮像部２６による撮像画像に基づいて上記予め定められた周期で静止画の画像データを取得し、又は、静止画撮像の場合は撮像部２６から画像データを取得する度に、当該画像データに基づいて、ユーザーの顔画像を抽出し、この抽出した顔画像を解析して、ユーザーの顔の表情が無表情であるか否かを判定する（Ｓ１０９）。
【００４６】
このとき、制御部３１は、表情検出部３２によりユーザーの顔の表情が無表情であると判定されている間に（Ｓ１０８「Ｎｏ」，Ｓ１０９「Ｙｅｓ」）、画像形成装置１０の不具合が解消されたと判定すると（Ｓ１０８「Ｙｅｓ」）、ジョブを再開する（Ｓ１１０）。この後、処理はＳ１０１に戻る。
【００４７】
また、制御部３１が画像形成装置１０の不具合が解消されたと判定する前に（Ｓ１０８「Ｎｏ」）、表情検出部３２によりユーザーの顔の表情が無表情でないと判定されると（Ｓ１０９「Ｎｏ」）、制御部３１は、表情検出部３２がユーザーの顔の表情を怒りの表情及又は笑いの表情のいずれと検出しているかを判定する（Ｓ１１１）。
【００４８】
例えば、制御部３１が、表情検出部３２によりユーザーの顔の表情が怒りの表情であると検出されていると判定したとき（Ｓ１１１「怒り」）、制御部３１は、記憶部２８のジャム用の記憶領域ＪＲを参照して、怒りの表情に対応する１５枚のイラスト画像を取得し、図６に例を示すような、当該１５枚のイラスト画像を表示部２２に１枚ずつ順次切り換えて表示させる（Ｓ１１２）。従って、表示部２２には、ユーザーの顔の表情が怒りの表情である場合には、作業手順を通常に示すそれまでの１０枚のイラスト画像に代わって、作業手順を更に詳しく示す１５枚のイラスト画像が表示されることとなる。このようにユーザーが怒った表情となっている場合は、ユーザーが、１０枚のイラスト画像を見ても作業手順を理解できず不機嫌となり怒った表情となっていると想定されるため、更に詳細に作業手順を示す１５枚のイラスト画像を見せて作業手順を理解させる。
【００４９】
そして、制御部３１は、センサー群２７の各センサーの検出出力に基づき画像形成装置１０の不具合が解消されたか否かを判定し（Ｓ１１３）、当該不具合が解消されるまで、上記怒りの表情に対応付けられた１５枚のイラスト画像を表示部２２に表示させる（１１３「Ｎｏ」、Ｓ１１２）。
【００５０】
また、制御部３１は、画像形成装置１０の不具合が解消されたと判定したとき（Ｓ１１３「Ｙｅｓ」）、それまで中断していた上記ジョブを再開する（Ｓ１１４）。この後、処理はＳ１０１に戻る。
【００５１】
また、制御部３１が、ユーザーの顔の表情が笑いの表情であると判定すると（Ｓ１１１「笑い」）、制御部３１は、記憶部２８のジャム用の記憶領域ＪＲを参照して、笑いの表情に対応する文字のみの画像（図７に例を示す）を読み出して、制御部３１により当該文字のみの画像を表示部２２に表示させる（Ｓ１１５）。従って、ユーザーの顔の表情が笑いの表情である場合には、作業手順を通常に示す１０枚のイラスト画像に代わって、作業手順を簡潔に示す文字のみの画像が表示されることとなる。つまり、ユーザーの顔の表情が笑いの表情である場合は、ユーザーがジャムを解消するための作業手順を理解していると想定されるため、簡素に作業手順を示す画像を見せて作業手順を理解させるに止める。これにより、表示部２２での作業手順の表示の無駄を防止する。
【００５２】
そして、制御部３１は、センサー群２７の各センサーの検出出力に基づき画像形成装置１０の不具合が解消されたか否かを判定し（Ｓ１１６）、制御部３１は、当該不具合が解消されるまで上記笑いの表情に対応付けられた文字のみの画像を表示部２２に表示させる（１１６「Ｎｏ」、Ｓ１１５）。
【００５３】
また、制御部３１は、画像形成装置１０の不具合が解消されたと判定すると（Ｓ１１６「Ｙｅｓ」）、それまで中断していた上記ジョブを再開する（Ｓ１１４）。この後、処理はＳ１０１に戻る。
【００５４】
このように本実施形態では、撮像部２６により撮像された撮像画像を示す画像データに基づき、ユーザーの顔の表情を判定し、このユーザーの顔の表情が無表情から怒りの表情や笑いの表情に変化した場合には、怒りの表情や笑いの表情に対応する各イラスト画像が表示される。これにより、ユーザーの表情に応じて表示部２２に表示させる取り扱い方法の表示内容を変更することで、画像形成装置１０の取り扱いに対するユーザーの作業手順理解度に応じた適確な支援が行われる。このため、画像形成装置１０の不具合を解消するための作業手順を理解していないユーザーに対しては、ユーザーの理解度に的確に対応して詳しい作業手順を見せることができ、或いは、画像形成装置１０の不具合を解消するための作業手順を理解しているユーザーに対しては簡素な作業手順を見せるに止めることで作業手順の表示の無駄を防止できる。
〔他の実施形態１〕
【００５５】
なお、上記実施形態では、撮像部２６により撮像された撮像画像に一人のユーザーの顔画像のみが含まれていることを前提としているが、撮像画像に複数人の顔画像が含まれている場合がある。他の実施形態として、このような場合、表情検出部３２は、撮像画像から各人のそれぞれの顔画像を検出して、これらの顔画像のうちから最も大きい面積（最大表示サイズ）で撮像されている顔画像を、表示部２２での表示による作業手順を見せるべきユーザーの顔画像として選択し、この選択した顔画像を解析して当該顔の表情が無表情、怒りの表情、及び笑いの表情のいずれであるかを検出する。すなわち、当該他の実施形態１は、上述したＳ１０９及びＳ１１１の処理において、表情検出部３２が表情検出の対象とする顔画像を、上記撮像画像から各人のそれぞれの顔画像のうちの最も大きい面積（最大表示サイズ）で撮像されている顔画像とするものである。
【００５６】
そして、制御部３１は、(i)上記選択された顔画像が示す顔の表情が無表情である間、無表情に対応付けられている１０枚のイラスト画像を表示部２２に表示させ（Ｓ１０６，Ｓ１０９「Ｙｅｓ」）、(ii) 上記選択された顔画像が示す顔の表情が怒りの表情であると検出された場合は１５枚のイラスト画像を表示部２２に表示させ（Ｓ１１１「怒り」，Ｓ１１２）、(iii) 上記選択された顔画像が示す顔の表情が笑いの表情であると検出された場合は文字のみの画像を表示部２２に表示させる（Ｓ１１１「笑い」，Ｓ１１５）。
〔他の実施形態２〕
【００５７】
撮像画像に複数人の顔画像が含まれている場合、表情検出部３２が、撮像画像から複数の顔画像を検出すると、顔画像毎に顔画像を解析して、顔の表情を検出する。そして、(a)制御部３１は、全ての顔の表情が無表情であると検出されている間は、無表情に対応するイラスト画像を表示部２２に表示させる。(b)そして、制御部３１は、いずれか一人のユーザーについてでも顔の表情が怒りの表情であると検出されるに至った場合は、怒りの表情に対応付けられているイラスト画像を表示部２２に表示させる。(c)更に、制御部３１は、いずれか一人のユーザーについてでも顔の表情が笑いの表情であると検出されるに至った場合は、笑いの表情に対応付けられている画像を表示部２２に表示させる。すなわち、当該他の実施形態２は、上述したＳ１０９及びＳ１１１の処理において、表情検出部３２が検出する表情を、上記(a)〜(c)のようにして検出する表情とするものである。
【００５８】
また、図１乃至図７を用いて説明した上記実施形態の構成及び処理は、本発明の一例に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。例えば、上記実施形態では、特許請求の範囲における電子機器の一例を画像形成装置１０として説明しているが、電子機器は画像形成装置に限られず、医療機器、工作機器等の他の電子機器であっても構わない。
【符号の説明】
【００５９】
１０      画像形成装置
１１      画像読取部
１２      画像形成部
２１      制御ユニット
２２      表示部
２３      通信部
２４      操作部
２５      タッチパネル
２６      撮像部
２７      センサー群
２８      記憶部
３１      制御部
３２      表情検出部
【図１】
2019159939.tif 000003
【図２】
2019159939.tif 000004
【図３】
2019159939.tif 000005
【図４】
2019159939.tif 000006
【図５】
2019159939.tif 000007
【図６】
2019159939.tif 000008
【図７】
2019159939.tif 000009