(57)【要約】      （修正有）【課題】処理負荷の増大を伴うことなく、感情推定の基準となる無表情な顔画像を取得することができる、画像形成装置を提供する。【解決手段】操作モニタリング部１０８は、印刷条件の入力操作をユーザーから受け付ける際、ユーザーによってなされる複数の入力操作の中から、ユーザー表情との紐付けがなされている特定の入力操作を検出する。画像処理部１０９は、入力操作の入力時点を、カメラによる撮影時間軸上の基点として、基点以降にカメラで撮影される顔画像の中から、基準顔を選ぶ。画像処理部１０９は、そうして選らんだ基準顔と、以降の時点に取得した判定対象顔とに基づき、ユーザーの感情を推定する。【選択図】図２
2020163660.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段によりユーザーの顔画像として、表情変化の基準とすべき基準顔、及び、判定対象顔を撮影して、基準顔からの表情変化の変化量に基づき、判定対象顔における感情を判定し、判定対象顔における感情に対応したメッセージ支援を行う画像形成装置であって、
ユーザーの要求により印刷ジョブを実行する際の印刷条件の設定にあたって、ユーザーによって滞留なくなされる入力操作を検出する検出手段と、
前記滞留なき入力操作が検出手段により検出されて、前記ユーザーの表情が、前記表情変化の基準になると想定される時点において、前記撮影手段が撮影した顔画像を、基準顔として取得する取得手段と
を備えることを特徴とする画像形成装置。
【請求項２】
前記印刷条件は、複数の設定項目を有し、そのうちの何れか１つは、ユーザーによる入力操作が滞留しないとして、予め定められた特定の設定項目であり、
前記検出手段は、印刷条件の前記特定の設定項目に対する操作を、ユーザーの入力操作が滞留しない操作として検出する
ことを特徴とする請求項１に記載の画像形成装置。
【請求項３】
前記画像形成装置は、前記印刷条件における各設定項目の重み付けを示す重み係数テーブルを有し、
前記重み係数による重みは、対象となる設定項目がユーザーの入力操作の滞留をどれだけもたらすかを示し、
前記特定の設定項目は、前記複数の設定項目のうち、所定の閾値を下回る重み係数により重み付けがなされるものである
ことを特徴とする請求項２に記載の画像形成装置。
【請求項４】
前記画像形成装置は、表示装置と接続され、
ユーザーによる画面の切替操作に従い、階層化された複数の設定画面のそれぞれを表示装置に表示させる表示制御手段を備え、
前記重み係数による重み付けは、対象となる設定項目が属する設定画面の階層値に応じてなされ、
前記階層値は、対象となる設定項目が属する設定画面が、前記設定画面の階層構造の最上位から数えて、何回目の切替操作により、到達するかを示す
ことを特徴とする請求項３に記載の画像形成装置。
【請求項５】
前記閾値を下回る重み係数をもつ設定項目が複数存在する場合、前記複数の設定項目のそれぞれが、特定の設定項目となり、
前記取得手段は、特定の設定項目のそれぞれを重み付ける重み係数の大小を要件にして、基準顔の更新を行う
ことを特徴とする請求項３又は４に記載の画像形成装置。
【請求項６】
前記画像形成装置は、各設定画面における設定項目の実行頻度を算出する算出手段を備え、
前記重み係数による重み付けは、重み付けの対象となる設定項目の実行頻度に応じてなされる
ことを特徴とする請求項３に記載の画像形成装置。
【請求項７】
前記画像形成装置は、直前の設定項目に対する操作を受け付けてから、前記特定の設定項目に対する操作を受け付けるまでの時間間隔を計数する計数手段を備え、
前記取得手段は、前記計数された時間間隔が滞留時間の上限値を下回る場合、基準顔の取得を行い、
前記特定の設定項目に対する操作を受け付けるまでの時間間隔が前記滞留時間の上限値を上回る場合、前記取得手段は、基準顔の取得を行わない
ことを特徴とする請求項３〜６の何れかに記載の画像形成装置。
【請求項８】
前記判定対象顔は、直前の設定項目に対する操作を受け付けた時点に時間間隔の計数を開始したが、前記特定の設定項目が操作されることなく、前記計数手段の計数値が前記滞留時間の上限値を上回った場合、又は、前記特定の設定項目が操作されたが、当該特定の設定項目を重み付ける重み係数が前記所定の閾値を上回る場合、前記滞留時間の経過時点以降、又は、特定の設定項目に対する入力操作の入力時点以降に撮影手段が撮影した顔画像の中から選ばれる
ことを特徴とする請求項７に記載の画像形成装置。
【請求項９】
前記特定の設定項目とは、印刷条件のうち、印刷部数を設定する設定項目、形成される画像のカラーモードを設定する設定項目、又は、形成される画像が転写されるシートのサイズ設定する設定項目である
ことを特徴とする請求項２〜８の何れかに記載の画像形成装置。
【請求項１０】
前記画像形成装置は、１の入力操作を受け付けてから、他の入力操作を受け付けるまでの時間間隔を計数する計数手段を備え、
１の入力操作を受け付けてから、他の入力操作を受け付けるまでの時間間隔が閾値を下回る場合、前記検出手段は、当該他の入力操作を、ユーザーの入力操作が滞留しない入力操作であるとして検出する
ことを特徴とする請求項１に記載の画像形成装置。
【請求項１１】
前記取得手段は、前記取得手段により取得された基準顔を特徴付ける顔特徴点と、判定対象顔を特徴付ける顔特徴点とを抽出し、
前記画像形成装置は、基準顔を特徴付ける顔特徴点と、判定対象顔を特徴付ける顔特徴点との位置関係に応じた特徴量を算出する算出手段を備え、
前記表情変化の変化量は、前記算出手段により算出される位置関係に応じた特徴量である
ことを特徴とする請求項１〜１０の何れかに記載の画像形成装置。
【請求項１２】
前記取得手段は、基準顔の眉、瞼、鼻、唇、口角、判定対象顔の眉、瞼、鼻、唇、口角から顔特徴点を抽出し、
前記算出手段により算出される特徴量は、直線特徴及び／又は三角形特徴であり、
前記直線特徴は、基準顔から抽出された顔特徴点を結ぶ直線の直線長と、判定対象顔から抽出された顔特徴点を結ぶ直線の直線長との比率を示し、
前記三角形特徴は、基準顔から抽出された顔特徴点を頂点とする三角形領域と、判定対象顔から抽出された顔特徴点を頂点とする三角形領域との比率に基づく
ことを特徴とする請求項１１に記載の画像形成装置。
【請求項１３】
前記画像形成装置は、複数の識別器を備え、
各識別器は、感情モデルに規定された複数の感情のうち、算出手段により算出された特徴量に対応するものに、１票を投じ、
前記感情判定の結果として、出力される感情は、感情モデルに規定された複数の感情のうち、複数の識別器から獲得した得票数が上位となるものである
ことを特徴とする請求項１２に記載の画像形成装置。
【請求項１４】
前記メッセージ支援は、前記複数の識別器による投票により、幸福の感情と、嫌悪の感情とが上位になった場合、又は、悲しみの感情と、嫌悪の感情とが上位になった場合になされる
ことを特徴とする請求項１３に記載の画像形成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置に関し、特に、画像形成に関する様々な設定項目をユーザーから受け付ける際のユーザーの感情を推定する改良に関する。
【背景技術】
【０００２】
感情推定とは、画像形成装置を操作するユーザーの表情をカメラでとらえて、当該カメラにより撮影された顔画像に対して画像処理を施し、ユーザーが困惑しているかどうかを判断する機能である。画像形成装置の多機能化が進んだ今日では、操作に行き詰まり、画像形成装置の前で立ち竦むユーザーも少なからず存在する。
【０００３】
画像形成装置の前で、ユーザーが困惑の瞬間を捉えて、ヘルプ画像を表示すれば、困惑しているユーザーに適切な操作を行わせることができ、サービスマンコールの回数を少なくすることができる。
【０００４】
ところで人の顔の口角の上がり具合や眉の下り具合には個人差があり、元来の顔が笑い顔に見えたり、困り顔に見えることが少なくない。こうした個人差があるので、一枚の静止画に現れている顔画像のみでは、口角が上がり気味の人物の感情、眉が下がり気味の人物の感情を取得し得ない。こうした顔の個人差に対応し得る感情推定の１つとして、基準顔を用いた感情推定手法が、存在する。
【０００５】
尚、感情推定を行い得る従来の画像形成装置としては、特許文献１に記載されたものが知られている。また、基準顔の取得手法としては、ユーザーに事前登録を行わせるもの（特許文献２）と、画像形成装置を操作するユーザーの唇の形状変化や、瞼の開閉、眼の大きさの変化をリアルタイムに捉えて、その変化量が所定の閾値を越えない場合、基準顔とするもの（特許文献３）とがある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2002-258682号公報
【特許文献２】特開2005-056388号公報
【特許文献３】特開2009-017215号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記画像形成装置において、適切なタイミングでヘルプ画像を表示するには、カメラにより撮影されたフレーム画像の中から、兆候となる表情変化を捉えて、ユーザーの困惑を察せねばならない。そうした困惑の感情は、例えば、悲しみ、嫌悪が入り混じったような表情、又は、幸福、嫌悪が入り混じったような表情としてユーザーの顔に表われる。
【０００８】
２以上の感情が入り混じったような複雑な表情変化を捉えるには、感情的にニュートラルな顔画像を、基準顔とせねばならない。感情的にニュートラルな顔画像とは、いわゆる無表情のことであり、顔面筋（前頭筋、皺眉筋、眼輪筋、頬骨筋、口輪筋、口角筋から構成される）の収縮運動、咀嚼筋の収縮が存在しないか、存在しても微差の程度であり、額の部分（顔上部）、目と鼻の付け根部分（顔中央部）、口と頬の部分（顔下部）の何れにも目立った表情変化が出現しない状態をいう。
【０００９】
特許文献２では、表情判別を行う前に、ユーザーの画像から抽出した特徴量を参照特徴として事前登録しておき、この参照特徴からの変化量を算出している。しかし、そうした事前登録を行ったとしても、上記のような無表情の顔画像の特徴量が、画像形成装置に登録される保証はない。無表情の顔画像を登録しておくことの意義がユーザーに理解されず、薄笑いを浮かべた表情や、緊張した面持ちの顔の参照特徴が登録されてしまう可能性がある。そのような顔の参照特徴が、事前登録されると、認識精度を維持することができず、ユーザーの困惑がない状態にヘルプ画像を表示してしまうという行き過ぎが発生する可能性がある。また、特許文献２の技術は、ユーザーによる事前登録を必要とするので、不特定多数による操作が想定されるような画像形成装置に適用することはできない。
【００１０】
一方、特許文献３では、唇や瞼といった局所的な領域の変化の有無を手掛かりにしているので、顔全体の変化を検出し得るものではない。顔全体としては、無表情ではない顔を基準顔として捉える可能性がある。
【００１１】
本発明の目的は、処理負荷の増大を伴うことなく、感情推定の基準となる無表情な顔画像を取得することができる、画像形成装置を提供することである。
【課題を解決するための手段】
【００１２】
上記課題は、撮影手段によりユーザーの顔画像として、表情変化の基準とすべき基準顔、及び、判定対象顔を撮影して、基準顔からの表情変化の変化量に基づき、判定対象顔における感情を判定し、判定対象顔における感情に対応したメッセージ支援を行う画像形成装置であって、ユーザーの要求により印刷ジョブを実行する際の印刷条件の設定にあたって、ユーザーによって滞留なくなされる入力操作を検出する検出手段と、前記滞留なき入力操作が検出手段により検出されて、前記ユーザーの表情が、前記表情変化の基準になると想定される時点において、前記撮影手段が撮影した顔画像を、基準顔として取得する取得手段とを備えることを特徴とする画像形成装置により解決される。
【００１３】
前記印刷条件は、複数の設定項目を有し、そのうちの何れか１つは、ユーザーによる入力操作が滞留しないとして、予め定められた特定の設定項目であり、
前記検出手段は、印刷条件の前記特定の設定項目に対する操作を、ユーザーの入力操作が滞留しない操作として検出してもよい。
【００１４】
前記画像形成装置は、前記印刷条件における各設定項目の重み付けを示す重み係数テーブルを有し、前記重み係数による重みは、対象となる設定項目がユーザーの入力操作の滞留をどれだけもたらすかを示し、前記特定の設定項目は、前記複数の設定項目のうち、所定の閾値を下回る重み係数により重み付けがなされるものであってもよい。
【００１５】
前記画像形成装置は、表示装置と接続され、ユーザーによる画面の切替操作に従い、階層化された複数の設定画面のそれぞれを表示装置に表示させる表示制御手段を備え、前記重み係数による重み付けは、対象となる設定項目が属する設定画面の階層値に応じてなされ、前記階層値は、対象となる設定項目が属する設定画面が、前記設定画面の階層構造の最上位から数えて、何回目の切替操作により、到達するかを示してもよい。
【００１６】
前記閾値を下回る重み係数をもつ設定項目が複数存在する場合、前記複数の設定項目のそれぞれが、特定の設定項目となり、前記取得手段は、特定の設定項目のそれぞれを重み付ける重み係数の大小を要件にして、基準顔の更新を行ってもよい。
【００１７】
前記画像形成装置は、各設定画面における設定項目の実行頻度を算出する算出手段を備え、前記重み係数による重み付けは、重み付けの対象となる設定項目の実行頻度に応じてなされてもよい。
【００１８】
前記画像形成装置は、直前の設定項目に対する操作を受け付けてから、前記特定の設定項目に対する操作を受け付けるまでの時間間隔を計数する計数手段を備え、前記取得手段は、前記計数された時間間隔が滞留時間の上限値を下回る場合、基準顔の取得を行い、前記特定の設定項目に対する操作を受け付けるまでの時間間隔が前記滞留時間の上限値を上回る場合、前記取得手段は、基準顔の取得を行わないとしてもよい。
【００１９】
前記判定対象顔は、直前の設定項目に対する操作を受け付けた時点に時間間隔の計数を開始したが、前記特定の設定項目が操作されることなく、前記計数手段の計数値が前記滞留時間の上限値を上回った場合、又は、前記特定の設定項目が操作されたが、当該特定の設定項目を重み付ける重み係数が前記所定の閾値を上回る場合、前記滞留時間の経過時点以降、又は、特定の設定項目に対する入力操作の入力時点以降に撮影手段が撮影した顔画像の中から選ばれるとしてもよい。
【００２０】
前記特定の設定項目とは、印刷条件のうち、印刷部数を設定する設定項目、形成される画像のカラーモードを設定する設定項目、又は、形成される画像が転写されるシートのサイズ設定する設定項目であってもよい。
【００２１】
前記画像形成装置は、１の入力操作を受け付けてから、他の入力操作を受け付けるまでの時間間隔を計数する計数手段を備え、１の入力操作を受け付けてから、他の入力操作を受け付けるまでの時間間隔が閾値を下回る場合、前記検出手段は、当該他の入力操作を、ユーザーの入力操作が滞留しない入力操作であるとして検出してもよい。
【００２２】
前記取得手段は、前記取得手段により取得された基準顔を特徴付ける顔特徴点と、判定対象顔を特徴付ける顔特徴点とを抽出し、前記画像形成装置は、基準顔を特徴付ける顔特徴点と、判定対象顔を特徴付ける顔特徴点との位置関係に応じた特徴量を算出する算出手段を備え、前記表情変化の変化量は、前記算出手段により算出される位置関係に応じた特徴量としてもよい。
【００２３】
前記取得手段は、基準顔の眉、瞼、鼻、唇、口角、判定対象顔の眉、瞼、鼻、唇、口角から顔特徴点を抽出し、前記算出手段により算出される特徴量は、直線特徴及び／又は三角形特徴であり、前記直線特徴は、基準顔から抽出された顔特徴点を結ぶ直線の直線長と、判定対象顔から抽出された顔特徴点を結ぶ直線の直線長との比率を示し、前記三角形特徴は、基準顔から抽出された顔特徴点を頂点とする三角形領域と、判定対象顔から抽出された顔特徴点を頂点とする三角形領域との比率に基づいてもよい。
【００２４】
前記画像形成装置は、複数の識別器を備え、各識別器は、感情モデルに規定された複数の感情のうち、算出手段により算出された特徴量に対応するものに、１票を投じ、前記感情判定の結果として、出力される感情は、感情モデルに規定された複数の感情のうち、複数の識別器から獲得した得票数が上位となるものであってもよい。
【発明の効果】
【００２５】
取得手段は、ユーザーにより滞留なき入力操作がなされて、前記ユーザーの表情が、表情変化の基準になると想定される時点において、撮影手段が撮影した顔画像を、基準顔として取得する。こうした過程を経て、基準顔を取得することで、顔上部、顔中央部、顔下部の何れにも、顔面筋の収縮が現れない顔画像を、基準顔として捉えることができる。かかる基準顔を基に感情推定を実行すれば、悲しみ、嫌悪が入り混じったような表情による困惑の感情、又は、幸福、嫌悪が入り混じったような表情による困惑の感情を捉えて、適切なヘルプを提示することができる。
【００２６】
ユーザーの顔画像のうち、どれを感情推定の基準とするかを、印刷条件の設定項目に対する操作から定めるので、基準顔の取得にあたって、ユーザーに事前登録を求めることはない。そのため、不特定多数による利用が想定される画像形成装置において、感情推定に基づく適切なヘルプを実行することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明に係る画像形成装置の外観を示す。
【図２】本実施形態に係る画像形成装置１０００の内部構成を示すブロック図である。
【図３】操作モニタリング部１０８の内部構成を示す。
【図４】画像処理部１０９の内部構成を示すブロック図である。
【図５】タッチパネルディスプレイ１００１に表示される画面の階層構造を示す。
【図６】操作／感情テーブル２０２の動的な更新を示す。
【図７】画像形成装置１０００の処理手順のメインルーチンを示すフローチャートである。
【図８】基準顔の取得手順の詳細を示すフローチャートである。
【図９】基準顔取得から、判定対象顔の取得、感情推定までの一連の流れを示すタイミングチャートである。
【図１０】基準顔を用いた感情推定手順の詳細を示すフローチャートである。
【図１１】基準顔、判定対象顔から抽出された２４個の顔特徴点Ｐ´１〜Ｐ´２４と、直線特徴、三角形特徴とを示す。
【図１２】ステープルの位置設定に応じたヘルプ画面１０９Ｈを示す
【図１３】第２実施形態における操作モニタリング部１０８の構成を示す。
【図１４】図１４（ａ）は、第２実施形態におけるメインルーチンを示す。図１４（ｂ）は、第２実施形態にかかる基準顔取得手順のフローチャートを示す。
【図１５】第２実施形態における基準顔の選択の過程を示すタイミングチャートである。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら、本発明に係る画像形成装置の一態様の実施形態を説明する。図１は、本発明に係る画像形成装置の外観を示す。
【００２９】
［１］画像形成装置の外観
図１に示す画像形成装置１０００は、ユーザーからの要求に応じて、コピー、スキャン、ＦＡＸ、プリンタといった様々な機能を実行できる多機能周辺機 (Multifunction Peripheral)であり、表示装置であるタッチパネルディスプレイ１００１と接続され、ＡＤＦ（Auto Document Feeder）１００２、給紙カセット１００３ａ、ｂ、ｃ、ｄ、フィニッシャー１００４、カメラ１００５を有する。ユーザーから印刷ジョブの実行が要求された際、接続されたタッチパネルディスプレイ１００１を通じて、ユーザーによる入力操作を受け付け、印刷条件の設定を行う。画像形成装置１０００は、こうして設定された印刷条件に基づき、印刷ジョブを実行する。
【００３０】
カメラ１００５は、タッチパネルディスプレイ１００１の近辺位置に取り付けられ、タッチパネルディスプレイ１００１を操作するユーザーの顔を捉えるよう、仰角、方位角が設定されている。カメラ１００５は、ユーザーが画像形成装置１０００に接近した際、撮影を開始し、所定のフレームレート（例えば、２４Ｈｚ、４８Ｈｚ、６０Ｈｚ）でフレーム画像の撮影を開始する。そして、撮影されたフレーム画像にタイムコードを対応付けて出力する。このタイムコードは、ユーザーの撮影開始から起算して、上記フレームレートの時間精度でカメラ１００５による撮影時点を示す。
【００３１】
［２］画像形成装置１０００
図２は、本実施形態に係る画像形成装置１０００の内部構成を示すブロック図である。以下、本ブロック図を参照しながら、画像形成装置１０００の内部構成について説明する。
【００３２】
図２に示すように、画像形成装置１０００は、固定記憶装置１０１、画面記述データ１０２ａ、ｂ、ｃ、ｄ・・・・、制御部１０３（ＣＰＵ１０３Ｃ、メモリ１０３Ｍ、時計ＩＣ１０３Ｔを含む）、ＧＵＩ制御部１０４、画像読取部１０５、ネットワークインターフェイス１０６、画像出力部１０７、操作モニタリング部１０８、画像処理部１０９、オンデマンドヘルプ部１１０により構成される。
【００３３】
（２−１）固定記憶装置１０１
固定記憶装置１０１は、ハードディスク装置等であり、画面記述データ１０２ａ、ｂ、ｃ、ｄ・・・・（設定項目記述子１０２Ｄ、切替項目記述子１０２Ｅを含む）、制御プログラム１０３Ｐが予めインストールされている。
【００３４】
（２−２）画面記述データ１０２
画面記述データ１０２は、タッチパネルディスプレイ１００１により表示される印刷条件の設定画面１００ａ、ｂ、ｃ、ｄ・・・の画面構成を規定するデータであり、ＧＵＩ制御部１０４のブラウザが解釈可能な画面記述言語で記述される。タッチパネルディスプレイ１００１の設定画面１００ａ、ｂ、ｃ、ｄ・・は設定項目１００ｓ、切替項目１００ｗによって、印刷条件の設定入力を受け付ける設定項目１００ｓ、切替項目１００ｗは、何れもソフトキー（ＧＵＩ部品で描画されるキー）であり、画面記述データ１０２は、設定項目１００ｓを定義する設定項目記述子１０２Ｄ、切替項目１００ｗを定義する切替項目記述子１０２Ｅを含む。
【００３５】
設定項目記述子１０２Ｄは、タッチパネルディスプレイ１００１の表示座標系におけるソフトキーの配置座標、ソフトキーのタイプフェイスや図形枠となるグラフィクスデータ、ソフトキーのタッチ時に出力すべきキーコード、ソフトキーのタッチ時に実行すべきＡＰＩ（Application Programming Interface）関数の呼出文により構成される。ＡＰＩ関数の呼出文は、印刷条件に対応する具体的なパラメータが引数として設定されている。
【００３６】
切替項目記述子１０２Ｅは、タッチパネルディスプレイ１００１の表示座標系におけるソフトキーの配置座標、ソフトキーのタイプフェイスや図形枠となるグラフィクスデータ、ソフトキーのタッチ時に出力すべきキーコード、ソフトキーのタッチ時に実行すべきブラウザ関数の呼出文により構成される。ブラウザ関数の呼出文は、画面切替先となる画面記述データ１０２の識別子が引数として設定されており、画面切替先となる画面記述データ１０２への画面切り替えをＧＵＩ制御部１０４に命じる。
【００３７】
（２−３）制御部１０３
制御部１０３は、ＣＰＵ１０３Ｃ、メモリ１０３Ｍ、時計ＩＣ１０３Ｔに加え、固定記憶装置１０１からメモリ１０３Ｍにロードされる制御プログラム１０３Ｐにより構成される。画像形成装置１０００が起動された際、ＣＰＵ１０３Ｃは、メモリ１０３Ｍに制御プログラム１０３Ｐをロードし、制御プログラム１０３Ｐを構成する命令コードをフェッチして解読し、実行する。
【００３８】
またＣＰＵ１０３Ｃは、設定項目記述子内のＡＰＩ関数の呼出文に応じて、画像読取部１０５による原稿読み取りや、画像出力部１０７による画像出力を制御する。この際、ＡＰＩ関数の呼出文の実行時に設定された引数に基づき、様々な印刷条件を、画像読取部１０５、画像出力部１０７に設定する。かかる印刷条件の代表的なものとしては、カラー／モノクロ設定、ステープル設定、部数設定、用紙設定、カードコピー設定がある。
【００３９】
時計ＩＣ１０３Ｔは、画像形成装置１０００が属するタイムゾーンにおいて、現在時刻を計時する。カメラ１００５がフレーム画像に付与するタイムコードは、この時計ＩＣ１０３Ｔが計時する計時時刻に基づく。
【００４０】
（２−４）ＧＵＩ制御部１０４
ＧＵＩ制御部１０４は、画面記述言語で記述されたデータを解読し得るブラウザを有し、画面記述データ１０２ａ、ｂ、ｃ、ｄ・・・に基づき、階層化された設定画面ａ、ｂ、ｃ・・・をタッチパネルディスプレイ１００１に表示させる。ユーザーによりタッチパネルディスプレイ１００１がタッチされれば、設定画面１００ａ、ｂ、ｃ、ｄ・・・に含まれる設定項目１００ｓ、又は、切替項目１００ｗのうち、タッチされた座標に対応するものをアクティブ化し、設定項目１００ｓに対応するＡＰＩ関数の呼出文、切替項目１００ｗに対応するブラウザ関数の呼出文をＣＰＵ１０３Ｃに実行させる。また、タッチがなされた設定項目１００ｓのキーコードと、その設定項目１００ｓが属する設定画面１００ａ、ｂ、ｃ、ｄ・・・の階層値とを操作モニタリング部１０８に出力する。ここで階層値とは、画面記述データ１０２に基づき描画される、個々の設定画面の階層の深さを識別するための数値パラメータであり、設定画面１００ａ、ｂ、ｃ、ｄ・・・がなす階層構造において、最上位となる基本画面から、何回目の切り替え操作で、当該設定画面に到達するかを示す。
【００４１】
（２−５）画像読取部１０５
画像読取部１０５は、制御プログラム１０３Ｐによる制御に従い、ＡＤＦ（Auto Document Feeder）１００２を駆動し、ＡＤＦ１００２によって搬送される原稿紙面を光学的に読み取り、１ページ分の画像データを得る。この読み取りにあたって、読み取りの対象となる原稿サイズは、設定項目記述子１０２Ｄにより設定された値となる。
【００４２】
（２−６）ネットワークインターフェイス（ＮＩＦ）１０６
ＮＩＦ１０６は、画像形成装置１０００が帰属するネットワークシステムにおいて、端末（図示せず）から印刷ジョブが要求された際、印刷条件を示すジョブデータや画像形成の対象となるページ画像データを、当該他の端末から受信する。
【００４３】
（２−７）画像出力部１０７
画像出力部１０７は、制御プログラム１０３Ｐによってなされた印刷条件の設定に従い、給紙カセット１００３ａ、ｂ、ｃ、ｄからの用紙の供給や、現像部１００６によるＹ色、Ｍ色、Ｃ色、Ｋ色のトナー像形成、転写部１００７によるトナー像の転写、定着部１００８によるトナー像の熱定着、フィニッシャー１００４による仕上げを実行する。この画像出力にあたって、供給すべき用紙のサイズや部数、形成すべきトナー像のカラー／モノクロの指定、フィニッシャー１００４によるステープルの有無等は、設定項目記述子１０２Ｄにより設定された値になる。
【００４４】
（２−８）操作モニタリング部１０８
操作モニタリング部１０８は、ＧＵＩ制御部１０４から出力された階層値及びキーコードに示される操作の入力時点は、基準顔取得のタイミングとして、適切であるかどうかの判定を行う。適切であれば、出力信号の信号レベルをＨｉｇｈとし、正論理を出力する。階層値及びキーコードに示される操作の入力時点が、基準顔取得のタイミングとして、不適切であれば、出力信号の信号レベルをＬｏｗとし、負論理を出力する。
【００４５】
（２−９）画像処理部１０９
画像処理部１０９は、ユーザーの判断による滞留をもたらさない特定の操作の入力時点を基点として、カメラ１００５により撮影されたフレーム画像を顔画像に変換し、基準顔と、判定対象顔とを得る。ここで判定対象顔は、何等かの表情が表出している表出顔であり、感情推定の対象となる顔である。一方、基準顔は、感情的にニュートラルで、表情変化の基準となる顔画像をいう。画像処理部１０９は、これらの基準顔と、判定対象顔とを用いて、ユーザーの感情推定を行う。
【００４６】
（２−１０）オンデマンドヘルプ部１１０
オンデマンドヘルプ部１１０は、操作の対象になっている画面の階層を示す階層値に対応するヘルプ画像をタッチパネルディスプレイ１００１に表示させる。
【００４７】
［３］操作モニタリング部１０８の内部構成
操作モニタリング部１０８の内部構成を、図３に示す。図３に示すように、操作モニタリング部１０８は、頻度分析部２０１、操作頻度テーブル２０１Ｔ、操作／感情テーブル２０２、比重更新部２０３、コード変換部２０４、比較器２０５、タイマー回路２０６、比較器２０７、カレント無表情度レジスタ２０８、候補無表情度レジスタ２０９、比較器２１０、判定論理２１１（ＡＮＤ回路２１１Ａ、２１１Ｂ）により構成される。
【００４８】
（３−１）頻度分析部２０１
頻度分析部２０１は、ＧＵＩ制御部１０４が、印刷条件の設定項目１００ｓに対する操作を受け付ける度に、操作がなされた画面の階層値と、キーコードとを受け付け、その操作に応じて、操作頻度テーブル２０１Ｔにおける各操作毎の操作回数をインクリメントする。そして、単位時間当りの操作回数の増分を算出することで、タッチパネルディスプレイ１００１における操作頻度を算出する。
【００４９】
（３−２）操作／感情テーブル２０２
操作／感情テーブル２０２は、印刷条件の設定にあたって、ユーザーによりなされる操作を、ユーザーの表情に紐付けるための紐付けテーブルであり、タッチパネルディスプレイ１００１の画面の階層構造において、ユーザーの判断による滞留をもたらさない特定の設定項目（階層値と、キーコードとの組で表現される）を、無表情度に対応付けて示す。操作／感情テーブル２０２における無表情度は、０．０１から０．９９までの値をとる。こうした、設定項目に対する重み付けにより、操作／感情テーブル２０２は、特定の設定項目に対する操作と、ユーザーの表情変化との紐付けを示す。
【００５０】
（３−３）比重更新部２０３
比重更新部２０３は、操作頻度テーブル２０１Ｔに示される設定項目の頻度と、設定項目が属する画面の階層値とに基づき操作／感情テーブル２０２に示される無表情度を更新する。操作／感情テーブル２０２は、設定項目が属する画面の階層値に応じた値がデフォルト値として設定されており、このデフォルトの無表情度を、設定項目の操作頻度に応じて動的に減少又は増加させてゆく。
【００５１】
高い頻度でなされる操作は、ユーザーが手馴れていると考えられ、操作がユーザーの判断による滞留及びユーザー表情変化をもたらす可能性は低いと考えられる。逆に、実行頻度が低い操作は、ユーザーが画面を見て判断に迷っている可能性が高い。そこで、階層値に応じた値をデフォルト値としつつも、操作頻度に応じて、無表情度に高低差を設けることで、比重更新部２０３は、操作と、表情との相関を重み係数に表現させることにしている。
【００５２】
（３−４）コード変換部２０４
コード変換部２０４は、タッチパネルディスプレイ１００１に表示される何れかの設定項目に対し、ユーザーが操作を行った場合、ＧＵＩ制御部１０４から出力される、当該画面の階層を示す階層値と、ユーザーによる操作がなされたソフトキーのキーコードとを、無表情度に変換する。この変換は、ＧＵＩ制御部１０４から出力された階層値及びキーコードの組み合わせに対応付けられた無表情度を操作／感情テーブル２０２から読み出して、比較器２０５に出力することでなされる。
【００５３】
（３−５）比較器２０５
比較器２０５は、コード変換部２０４が出力した無表情度と、閾値とを比較して、無表情度が閾値以下となる場合、出力信号の信号レベルをＨｉｇｈとし、正論理を出力する。一方、コード変換部２０４から出力された無表情度が閾値を上回る場合、出力信号の信号レベルをＬｏｗとし、負論理を出力する。本実施形態では、悲しみと嫌悪とが入り混じった表情、又は、幸福と嫌悪とが入り混じった表情を困惑の表情として検出すべく、低めの閾値（例えば、０．１）に定めている。
【００５４】
（３−６）タイマー回路２０６
タイマー回路２０６は、画面切り替え操作、又は、特定の設定項目以外の設定項目に対する操作に従いカウントを開始し、特定の設定項目に対する操作に従い、カウントを停止して、それまでのカウント値を、比較器２０７に出力する。またタイマー回路２０６には、ユーザーが困惑しているかどうかの基準として、相応の時間長(例えば、５分等)のタイムアウト時間が設定されている。特定の設定項目の入力によるカウント停止がなされないまま、タイマー回路２０６のカウントが継続してタイマー回路２０６のカウント値がこのタイムアウト時間に到達した場合、タイマー回路２０６はタイムアウトする。かかるタイムアウトのタイミングを画像処理部１０９に通知することで、タイマー回路２０６のタイムアウトを契機とした感情推定を、画像処理部１０９に実行させる。
【００５５】
（３−７）比較器２０７
比較器２０７は、タイマー回路２０６のカウント値と、上限値とを比較して、カウント値Ｔが上限値以下となる場合、出力信号の信号レベルをＨｉｇｈとし、正論理を出力する。一方、カウント値Ｔが上限値を上回る場合、出力信号の信号レベルをＬｏｗとし、負論理を出力する。比較器２０７の上限値は、設定項目の入力操作に何らかの判断の迷いが伴っていて、操作の滞留が生じている場合の滞留時間が設定される。詳しくは後述するが、一般ユーザーが、テンポ良く、サクサクと入力操作を行っている際の、操作入力の時間間隔は、約２秒であるといわれる。本実施形態では、比較器２０７に設定される上限値として、この時間間隔以上の滞留時間（例えば、２秒から８秒までの範囲）を採用することにしている。
【００５６】
（３−８）カレント無表情度レジスタ２０８
カレント無表情度レジスタ２０８は、カレントの無表情度を保持する。
【００５７】
（３−９）候補無表情度レジスタ２０９
候補無表情度レジスタ２０９は、テーブル保持部が出力された無表情度を保持する。
【００５８】
（３−１０）比較器２１０
比較器２１０は、候補無表情度レジスタ２０９に保持されている無表情度が、カレント無表情度レジスタ２０８に保持されているカレントの無表情度よりも小さいかどうかの大小比較をおこなう。候補無表情度レジスタ２０９に保持されている無表情度が、カレントの無表情度よりも小さい場合、出力信号の信号レベルをＨｉｇｈとし、正論理を出力する。一方、候補無表情度レジスタ２０９に保持されている無表情度が、カレントの無表情度以上となる場合、出力信号の信号レベルをＬｏｗとし、負論理を出力する。
【００５９】
（３−１１）判定論理２１１
判定論理２１１は、ＡＮＤ回路２１１Ａ、２１１Ｂにより構成され、 タイマー回路２０６のカウント値Tが、上限値以下であり（比較器２０７の出力が正論理）、尚且つ、コード変換部２０４から出力された無表情度が、閾値以下であり（比較器２０５の出力が正論理）、尚且つ、既存のカレント無表情度Ｃを下回ると（比較器２１０の出力が正論理）、正論理を出力する。この判定論理２１１による正論理の出力が、操作モニタリング部１０８の正論理の出力となる。
【００６０】
タイマー回路２０６のカウント値Tが、上限値を上回る場合（比較器２０７の出力が負論理）、若しくは、コード変換部２０４から出力された無表情度が、閾値を上回る場合（比較器２０５の出力が負論理）、若しくは、既存のカレント無表情度Ｃ以上である場合（比較器２１０の出力が負論理）負論理を出力する。この判定論理２１１による負論理の出力が、操作モニタリング部１０８の負論理の出力となる。
【００６１】
［４］画像処理部１０９
図４は、画像処理部１０９の内部構成を示すブロック図である。本図に示すように、画像処理部１０９は、フレーム画像キャプチャ部１１１、フレーム画像メモリ１１１Ｍ、顔認識部１１２、基準顔メモリ１１２Ｍ、対象顔メモリ１１２Ｎ、感情推定部１１３（フレーム間特徴量算出部１１３ａ、ＳＶＭ１１４ａ、ｂ、ｃ・・・・・を含む）により構成される。
【００６２】
（４−１）フレーム画像キャプチャ部１１１
フレーム画像キャプチャ部１１１は、ＭＦＰ上部に取り付けられたカメラ１００５が撮影したフレーム画像をフレーム画像メモリ１１１Ｍに書き込む。
【００６３】
（４−２）顔認識部１１２
顔認識部１１２は、操作モニタリング部１０８の出力が正論理になった際、操作モニタリング部１０８の出力が、負論理から正論理に転じた時点を基点とし、基点以降のタイムコードを有するフレーム画像から基準顔を取得する。その他、操作モニタリング部１０８のタイマー回路２０６がタイムアウトした場合、特定の設定項目の無表情度が閾値を上回った場合、これらのタイムアウト時点、又は、無表情度が閾値を上回った時点を基点とし、基点以降のタイムコードを有するフレーム画像から判定対象顔を取得する。
【００６４】
判定対象顔を取得した後、フレーム画像キャプチャ部１１１がキャプチャしたフレーム画像から表情推定の手掛かりとなる２４個の顔特徴点を、基準顔及び判定対象顔の顔上部、顔中央部、顔下部から取得する。基準顔については、基準顔の顔上部、顔中央部、顔下部から２４個の顔特徴点を抽出し、かかる顔特徴点を示す情報を、基準顔の情報として、基準顔メモリ１１２Ｍに書き込む。判定対象顔についても、判定対象顔の顔上部、顔中央部、顔下部から２４個の顔特徴点を抽出し、かかる顔特徴点の情報を、判定対象顔の情報として、対象顔メモリ１１２Ｎに書き込む。
【００６５】
（４−３）感情推定部１１３
感情推定部１１３は、フレーム間特徴量算出部１１３ａ、ＳＶＭ（Support  Vector  Machine）１１４ａ、ｂ、ｃ・・・・・とを含み、基準顔と、判定対象顔から、表情変化の変化量であるフレーム間特徴量を算出して、感情モデルに規定されたｋ種の感情の中で、顔認識部１１２が算出したフレーム間特徴量に該当するものはどれかを判定する。
【００６６】
（４−３−１）フレーム間特徴量算出部１１３ａ
フレーム間特徴量算出部１１３ａは、基準顔から抽出された顔上部、顔中央部、顔下部における一群の特徴点と、判定対象顔から抽出された顔上部、顔中央部、顔下部における一群の特徴点との位置関係から、ユーザーの表情を特徴付けるフレーム間特徴量を求める。上記位置関係から得られるフレーム間特徴量には、例えば、直線特徴、三角形特徴がある。
【００６７】
（４−３−２）ＳＶＭ１１４ａ、ｂ、ｃ・・・・・
ＳＶＭ１１４ａ、ｂ、ｃ・・・・は、k(k-1)/2個の識別器であるサポートベクタマシン（ＳＶＭ）により構成される。ここで、k(k-1)/2とは、感情モデルに規定されたｋ種の感情から、任意の２つを選ぶ際の組み合わせの個数(kＣ2)であり、k種の感情 から、任意の２つを選ぶ際の全ての組合せを網羅する。本実施形態における感情モデルは、無表情、幸福、驚き、恐怖、嫌悪、怒り、悲しみといった7種の感情を表す。
【００６８】
ＳＶＭ１１４ａ、ｂ、ｃ・・・・には、訓練集合を用いて学習がなされた学習データ１１５ａ、ｂ、ｃ・・・が割り当てられており、k(k-1)/2個の感情 の組み合わせのうち、何れかの１つの組み合わせ（この組み合わせを、感情 ei、ejとする）を決定する。そして感情推定部１１３は、ｋ種の表情のうち、ＳＶＭ１１４ａ、ｂ、ｃ・・・・・による得票がもっとも多いもの及びその次順位となるものを示すコード（感情コード）を出力する。
【００６９】
［５］画像形成装置の動作
以上のように構成された画像形成装置１０００の動作について説明する。
【００７０】
（５−１）画面の階層構造
タッチパネルディスプレイ１００１に表示される画面は、図５に示すような階層構造をなすものとする。図５の階層構造において、１階層は、コピー、スキャン、ＦＡＸといった機能を統合する基本画面Ｄ１の階層である。
【００７１】
２階層は、コピー基本画面Ｄ２１、スキャン基本画面Ｄ２２、ＦＡＸ基本画面Ｄ２３が存在する階層である。
【００７２】
３階層は、コピー基本画面Ｄ２１からワンアクションの切り替えで表示される、設定画面が存在する階層である。そうした設定画面としては、部数入力キーＫ３１を含む部数入力画面Ｄ３１、カラーモード設定キーＫ３２を含むカラーモード設定画面Ｄ３２、仕上げ入力キーＫ３３を含む応用設定１画面Ｄ３３、原稿サイズ入力キーＫ３４を含む原稿サイズ設定画面Ｄ３４、用紙サイズ入力キーＫ３５を含む用紙サイズ設定画面Ｄ３５がある。
【００７３】
４階層は、コピー基本画面Ｄ２１から２回のアクションの切り替えで表示される、設定画面が存在する階層である。そうした設定画面としては、ステープルキーＫ４１を含む仕上げ画面Ｄ４１、切替キーＫ４２を含む応用設定２画面Ｄ４２がある。
【００７４】
５階層は、コピー基本画面Ｄ２１から３回のアクションの切り替えで表示される、設定画面が存在する階層である。そうした設定画面としては、設定キーＫ５１が存在するステープル設定画面Ｄ５１、カードコピーキーＫ５２が存在する応用設定３画面Ｄ５２がある。
【００７５】
６階層は、コピー基本画面Ｄ２１から４回のアクションの切り替えで表示される、設定画面が存在する階層である。そうした設定画面としては、設定キーＫ６１を含む位置決め設定画面Ｄ６１、設定キーＫ６２を含むカードコピー設定画面Ｄ６２がある。
【００７６】
７階層は、コピー基本画面Ｄ２１から５回のアクションの切り替えで表示される、設定画面が存在する階層である。そうした設定画面としては、選択キーＫ７１を含む位置選択画面Ｄ７１、選択キーＫ７２を含むカードコピー選択画面Ｄ７２がある。
【００７７】
操作／感情テーブル２０２は、階層構造の３階層以下の設定項目を特定の設定項目として、重み付けの対象としている。無表情度は、そのソフトキーが表示される画面の階層値に応じた値になる。つまりソフトキーが属する階層が深く、階層値が多い設定項目程、無表情度は大きな値になる（図中の０．５５、０．６３、０．７５）。
【００７８】
（５−２）無表情度の動的な設定
頻度分析部２０１、比重更新部２０３は、感情推定の前処理として、操作／感情テーブル２０２の動的な更新を実行する。図６は、操作／感情テーブル２０２の動的な更新を示す。
【００７９】
操作／感情テーブル２０２は、図６の左側の操作／感情テーブル２０２Ｉに示すように設定されているものとしている。
【００８０】
操作／感情テーブル２０２Ｉは、操作／感情テーブル２０２の初期状態であり、第３階層の部数入力キーＫ３１、カラーモード設定キーＫ３２、原稿サイズ入力キーＫ３４、用紙サイズ入力キーＫ３５のそれぞれの階層値及びキーコードを、ユーザーの表情変化に紐付けるキーとして特定していて、これらのキーのキーコードを、図５の階層構造に応じた共通のデフォルト値（０．０５）で重み付けている。
【００８１】
その後、部数入力キーＫ３１の操作、カラーモード設定キーＫ３２の操作、原稿サイズ入力キーＫ３４の操作、用紙サイズ入力キーＫ３５の操作が継続してなされて、これらのキーの頻度が異なる値になったとする（図中の１０回、８回、５回、２回）。
【００８２】
こうした頻度に従い、比重更新部２０３は、操作／感情テーブル２０２において、ユーザーの表情への紐付けがなされた操作の無表情度を、更新する。これにより、操作／感情テーブル２０２に示される無表情度には、高低差（部数入力キーＫ３１は０．０２、カラーモード設定キーＫ３２が０．０３、原稿サイズ入力キーＫ３４が０．０４、用紙サイズ入力キーＫ３５が０．０５）が生じている。
【００８３】
（５−３）メインルーチンの処理
こうして、操作／感情テーブル２０２が更新された後、ユーザーが画像形成装置１０００に対し、印刷ジョブの実行を要求したとする。印刷ジョブの要求により、画像形成装置１０００は、図７、図８、図１０のフローチャートに示される処理手順を実行する。
【００８４】
図７は、これらのフローチャートのメインルーチンである。図７のメインルーチンの処理が開始されると、ユーザーが接近したかどうかの判定待ちとなり（ステップＳ１０１）、ユーザーが接近すると、ステップＳ１０２〜ステップＳ１０５からなるループに移行する。このループは、スタートボタンが押下されたかどうか（Ｓ１０２）、タッチパネルディスプレイ１００１の画面切り替え操作がなされたかどうか（ステップＳ１０３）、画面内の設定項目が操作されたか（ステップＳ１０４）、タイマー回路２０６がタイムアウトしたか（ステップＳ１０５）の判定を行うものである。
【００８５】
画面切替え操作がなされた際（ステップＳ１０３でYes）、タイマー回路２０６をリセットして、カウントを開始する（ステップＳ１０６）。その後、ユーザーによってなされた操作に従い、画面切り替えを実行する（ステップＳ１０７）。
【００８６】
設定項目が操作された場合（ステップＳ１０４でYes）、ユーザー操作は特定の操作、つまり操作の対象となった設定項目は、ユーザーの表情との紐付けがなされた、特定の設定項目であるかどうかを判定する（ステップＳ１１１）。特定の設定項目でない場合（ステップＳ１１１でNo）、タイマー回路２０６をリセットして、カウントを開始する（ステップＳ１１２）。その後、ユーザーによってなされた操作に応じた処理を実行する（ステップＳ１１３）。特定の操作であれば（ステップＳ１１１でYes）、基準顔の取得を行う（ステップＳ１１４）。
【００８７】
（５−４）基準顔の取得
ステップＳ１１４における基準顔の取得手順は、図８のサブルーチンに展開することができる。図８は、基準顔の取得手順の詳細を示すフローチャートである。
【００８８】
始めに、タイマー回路２０６によるカウントをストップさせ（ステップＳ１２１）、表示されている画面の階層値及びキーコードから、無表情度への変換をコード変換部２０４に行わせる（ステップＳ１２２）。
【００８９】
その後、ステップＳ１２３〜Ｓ１２６の判定ステップ列を実行する。ステップＳ１２３は、階層値、キーコードの変換により得られた無表情度が、閾値以下かどうかの判定であり、ステップＳ１２４は、タイマー回路２０６のカウント値が、上限値以下かどうかの判定である。新たなキーコードについての無表情度が閾値以下であり、尚且つ、タイマー回路２０６のカウント値が上限値以下であれば、ステップＳ１２３がYes、Ｓ１２４がYesになって、ステップＳ１２５に移行する。ステップＳ１２５は、カレント基準顔が存在するかどうかの判定であり、ステップＳ１２６は、新たな操作の無表情度vは、カレント基準顔の無表情度uを下回るかどうかの判定である。
【００９０】
カレント基準顔が存在しない場合、ステップＳ１２５がNoになり、ステップＳ１２６の判定を実行することなく、特定の設定項目の入力操作がなされた、入力時点を基点として、基準顔を取得する（ステップＳ１２７）。
【００９１】
基準顔取得の詳細な過程は以下の通りである。フレーム画像キャプチャ部１１１は、カメラ１００５により撮影されたフレーム画像のうち、上記の基点以降のタイムコードを有するものから、顔画像を分離する。具体的にいうと、顔認識部１１２は、フレーム画像から顔の輪郭線を抽出する。
【００９２】
この輪郭線を境界にして、フレーム画像の顔以外の部分（背景、首以下の部分）を分離する。こうした分離により、基準顔を表した顔画像を得て、顔認識部１１２が顔特徴点の抽出を行う。
【００９３】
以上の過程を経て、基準顔の顔特徴点が抽出されれば、基準顔の顔特徴点についての情報を基準顔メモリ１１２Ｍに書き込むのと共に、その特定の操作の無表情度を、カレント無表情度レジスタ２０８に書き込み（ステップＳ１２８）、呼出し元のメインルーチンにリターンする（ステップＳ１３０）。
【００９４】
カレント基準顔が存在していて、新たになされた特定の操作についての無表情度ｖが、カレント基準顔の無表情度以上である場合（ステップＳ１２６でNo）、基準顔の書き込みを行うことなく、呼び出し元のメインルーチンにリターンする（ステップＳ１３０）。
【００９５】
（５−５）基準顔の更新
図９は、基準顔取得から、判定対象顔の取得、感情推定までの一連の流れを示すタイミングチャートである。第１段目は、タッチパネルディスプレイ１００１の画面遷移を示し、第２段目は、カメラ１００５が撮影したフレーム画像列を示す。第３段目は、フレーム画像から取得された基準顔及び判定対象顔、第４段目は、感情推定の過程を示す。
【００９６】
コピー基本画面Ｄ２１のカラーモードが押下されて、カラーモード設定キーＫ３２が表示されたとする。このカラーモード設定キーＫ３２は、紐付けの対象として操作／感情テーブル２０２に特定されているキーなので、かかるソフトキーが押下されると、当該ソフトキーのキーコードに対応付けられている、０.０３の無表情度が閾値「０．１」と比較され、閾値以下であると判断される（ステップＳ１２３）。その結果、第２段目の時間軸において、カラーモード設定キーＫ３２の入力操作がなされた、入力時点ｔ１を時間軸上の基点として、基準顔Ｆ１を取得する（ステップＳ１２７）。
【００９７】
その後、コピー基本画面Ｄ２１の部数キーＫ２１が押下され、テンキー形状の部数入力キーＫ３１が表示されたとする。この部数入力キーＫ３１は、操作／感情テーブル２０２において、ユーザー表情との紐付けがなされたキーなので、かかる部数入力キーＫ３１がタッチされると、部数入力キーＫ３１の入力操作がなされた、入力時点ｔ２を時間軸上の基点とし、この基点以降のタイムコードを有するフレーム画像から、基準顔Ｆ２を取得する。
【００９８】
こうして２つの基準顔が取得されたので、先に取得された基準顔Ｆ１と、今回の基準顔Ｆ２とで無表情度の大小比較がなされる（ステップＳ１２６）。
【００９９】
部数入力キーＫ３１を重み付ける「０．０２」の無表情度は、カレント無表情度レジスタ２０８に格納されている、カラーモード設定キーＫ３２の無表情度「０．０３」よりも小さいため（ステップＳ１２６でＹｅｓ）、比較器２１０の出力は正論理となる。結果、カレント無表情度レジスタ２０８の無表情度は、「０．０２」に上書きされる（ステップＳ１２８）。
【０１００】
（５−６）感情推定
コード変換部２０４の変換により得られた無表情度が閾値を上回る場合（ステップＳ１２３でＮｏ）、基準顔を用いた感情推定を実行する（ステップＳ１２９）。コード変換部２０４の変換で得られた無表情度が閾値以下であるが（ステップＳ１２３でYes）、タイマー回路２０６のカウント値が上限を上回った場合（ステップＳ１２４でNo）も同様に、基準顔を用いた感情推定を実行する（ステップＳ１２９）。
【０１０１】
ユーザーが操作を行わず、タイマー回路２０６がタイムアウトした場合も、図７のステップＳ１０５がYesになり、基準顔を用いた感情推定を実行する（ステップＳ１０８）。
【０１０２】
ステップＳ１２９、Ｓ１０８の手順は、図１０のサブルーチンに展開することができる。図１０は、基準顔を用いた感情推定手順の詳細を示すフローチャートである。基準顔が取得済みかどうかを判定する（ステップＳ１４１）、基準顔が未取得であれば（ステップＳ１４１でＮｏ）、何の処理も行わず、呼出元のフローチャートにリターンする（ステップＳ１４０）
基準顔が取得済みであれば（ステップＳ１４１でＹｅｓ）、フレーム画像キャプチャ部１１１に、フレーム画像のキャプチャを行わせて、顔認識部１１２に判定対象顔を取得させ、顔特徴点の取得を行わせる（ステップＳ１４２）。
【０１０３】
ユーザーの体勢は時々刻々と変化するので、基準顔の取得タイミングと、判定対象顔の取得タイミングとでフレーム画像における顔の位置、大きさが変化している可能性が高い。そこで、顔認識部１１２は、判定対象顔からの顔特徴点の抽出に先だち、基準顔の眼、鼻、唇の輪郭と、判定対象顔の眼、鼻、唇の輪郭とが一致するよう、判定対象顔の顔画像に対してアフィン変換を施す。
【０１０４】
アフィン変換は、顔特徴点の位置移動、顔の拡大・縮小を伴うので、基準顔、判定対象顔は、位置的に対応したものになる。そのように、基準顔、判定対象顔の対応をとった後、顔認識部１１２は、判定対象顔を特徴付ける、２４個の顔特徴点のサーチを行う。
【０１０５】
このサーチにより、基準顔から図１１に示す２４個の顔特徴点Ｐ１〜Ｐ２４が抽出されたとする。一方、判定対象顔から、図１１に示す２４個の顔特徴点Ｐ´１〜Ｐ´２４が抽出されたとする。
【０１０６】
こうして、顔特徴点が抽出されれば、基準顔、判定対象顔のそれぞれにおける、顔上部、顔中央部、顔下部の特徴点に基づき、フレーム間特徴量（直線特徴、三角形特徴）を算出する（ステップＳ１４３）。フレーム間特徴量算出部１１３ａが、これらの顔特徴点に対し、フレーム間特徴量を算出する。
【０１０７】
図１１においてＬ（Ｐi、Ｐj、Ｐ´i、Ｐ´j）は、基準顔における任意の２つの顔特徴点Ｐi、Ｐjを結ぶ直線Ｌ1と、判定対象顔における任意の２つの顔特徴点Ｐ´i、Ｐ´jを結ぶ直線Ｌ´1との長さの比率を示す。
【０１０８】
Ｔ1（Ｔijk、Ｔ´ijk）は、基準顔における任意の３つの顔特徴点Ｐi、Ｐj、Ｐkを頂点とした三角形領域Ｔijkと、判定対象顔における任意の３つの顔特徴点Ｐ´i、Ｐ´j、Ｐ´kを頂点とした三角形領域Ｔ´ijkとの比率に応じた三角形特徴を示す。
【０１０９】
三角形特徴Ｔ1（Ｔijk、Ｔ´ijk）としては、１）輝度平均による三角形特徴、２）輝度ヒストグラムによる三角形特徴、３）面積による三角形特徴という３つの種類がある。
【０１１０】
１）輝度平均による三角形特徴を算出するにあたって、顔認識部１１２は、基準顔における三角形領域Ｔijk内の画素輝度の平均値Ｉを算出する。それと共に、判定対象顔の三角形領域Ｔ´ijkにおける画素輝度の平均値Ｉ´を算出する。これら画素輝度の平均値の比率Ｉ´／Ｉを求め、平均値による三角形特徴とする。
【０１１１】
２）輝度ヒストグラムによる三角形特徴を算出するにあたって、顔認識部１１２は、基準顔の三角形領域Ｔijk、判定対象顔の三角形領域Ｔ´ijkのそれぞれについて、画素輝度の４階調のヒストグラムを作成する。この画素輝度の４階調ヒストグラムにおいて、基準顔のｉ番目（i=1,2,3,4）の階調値をＨi、判定対象顔のｉ番目の階調値をＨ´iとし、基準顔の三角形領域Ｔijkに含まれる画素数をＰ、判定対象顔の三角形領域Ｔ´ijkに含まれる画素数をＰ´として、（Ｈ´i／Ｐ´−Ｈi／Ｐ）を要素にもつ４次元数値ベクトルを算出し、これを輝度ヒストグラムによる三角形特徴とする。
【０１１２】
３）面積による三角形特徴を算出するにあたって、顔認識部１１２は、基準顔の三角形領域Ｔijkの面積と、判定対象顔の三角形領域Ｔ´ijkの面積との比率を、面積比による三角形特徴とする。
【０１１３】
こうして算出されたフレーム間特徴量をk(k-1)/2個のＳＶＭ１１４ａ、ｂ、ｃ、ｄ・・・に適用して、感情モデルに規定されたｋ種の感情の中からもっとも確からしい上位２個の感情を選ぶ（ステップＳ１４４）。
【０１１４】
学習データ１１５a、b、c・・・は、学習過程を経て、生成された訓練集合｛x1，x´1，y1｝〜｛xn，x´n，yn｝である。ここで、ｘ1〜nは、無表情が判明している顔画像から得られる顔特徴点の集合であり、ｙ1〜nは、感情モデルの７種の感情の１つを示す。ｘ´1〜nは、ｙ1〜nに示される表情が表出していることが判明している顔画像から得られる顔特徴点の集合を示す。
【０１１５】
ＳＶＭ１１４ａ、ｂ、ｃ・・・・・は、学習データの訓練集合｛x1，x´1，y1｝〜｛xn，x´n，yn｝と、基準顔ｘと、判定対象顔ｘ´と、生成された特徴量fi（x,x´)とを以下の数１の式（２）、式（３）に適用することで、特徴量fiの平均μci、特徴量fiの分散σ2ciを得る。尚、数１の式（２）、式（３）におけるｎcは、表情ｃを表出している事例の総数であり、Ｉ(yk=c)は、事例集合の表情ycが、表情cである場合、正論理を返し、事例集合の表情ycが、表情cでない場合、負論理を返す関数である。
【０１１６】
【数１】
2020163660.tif 000003
更に、基準顔ｘと、判定対象顔ｘ´と生成された特徴量ｆi(ｘ,ｘ´)と、特徴量fiの平均μciと、特徴量fiの分散σ2ciとを識別関数Ｎc(ｘ,ｘ´)に適用する。
【０１１７】
上記の数１の式（１）は、基準顔、判定対象顔の特徴量fiにより表情Ciを識別するための識別関数Ｎci(ｘ,ｘ´)を示す。
【０１１８】
尚、数１における式（１）、（２）、（３）は、一例に過ぎない。フレーム間特徴量の種別に応じて、異なるものを用いることが望ましい。
【０１１９】
学習データ１１５ａ、ｂ、ｃ・・・における訓練集合は、以下に述べる訓練事例を用いて作成されている。
【０１２０】
１．驚き
否定的な表情のうち、驚きが出現する際の顔各部の動作は以下の通りである。
【０１２１】
顔上部は、眉が湾曲し引き上げられる。
【０１２２】
顔中央部は、上瞼が引き上げられ、下瞼が弛緩する。
【０１２３】
顔下部は、顎が下方に下がり、口が緊張なく開いて歯が現れる。
【０１２４】
２．恐怖
否定的な表情のうち、恐怖が出現する際の顔各部の動作は以下の通りである。
【０１２５】
顔上部は、全体的に引き上げられ水平の皺ができる。
【０１２６】
顔中央部は、上瞼が引き上げられ、下瞼が緊張する。
【０１２７】
顔下部は、唇が緊張して開くか、口角が後方にひかれ緊張して閉じる。
【０１２８】
３．嫌悪
否定的な表情のうち、嫌悪が出現する際の顔各部の動作は以下の通りである。
【０１２９】
顔上部は、眉が下がる。
【０１３０】
顔中央部は、眼の開き具合が狭くなり、目の下に窪み、皺が現れる。
【０１３１】
顔下部は、上唇が持ち上がり、鼻付け根に皺ができる、また唇については、（１）下唇が持ち上げられ前にでる、（２）下唇が下げられて口が開き突き出る、（３）唇の一方端が隆起する、という３パターンがある。
【０１３２】
４．怒り
否定的な表情のうち、怒りが出現する際の顔各部の動作は以下の通りである。
【０１３３】
顔上部は、眉が下がり、内側に寄せられ眉間にしわができる。
【０１３４】
顔中央部は、上瞼が下がり、下瞼が緊張する。
【０１３５】
顔下部には、（１）上下の唇が押し付けられ閉じる、（２）何かを叫ぶが如く開くという２パターンがある。
【０１３６】
５．悲しみ
否定的な表情のうち、悲しみが出現する際の顔各部の動作は以下の通りである。
【０１３７】
顔上部は、眉の内側両端が上がり引き寄せられる。
【０１３８】
顔中央部は、上瞼の両外側に三角形状が現れ、下瞼が持ち上がる。
【０１３９】
顔下部は、唇の両端が下がる。
【０１４０】
６．幸福
肯定的な表情のうち、幸福が出現する際の顔各部の動作は以下の通りである。
【０１４１】
顔上部には目立った変化は現れないものの、顔中央部では目の下や目尻に皺が現れる。また顔下部には、（１）唇がくっついている、（２）唇は離れるが歯は離れない、（３）口が開き歯が離れるといったパターンの何れかが現れ、これに加え、唇の両端が後方にひかれ持ち上がり、鼻から口の両端への特徴的な皺ができる。
【０１４２】
上述した１．〜６．までの表情変化で特定される感情のうち、ＳＶＭ１１４ａ、ｂ、ｃ・・・によって、最も多くの票が投じられた感情、及び、その次に多くの票が投じられた感情が、判定対象顔に表出される表情であるとして、出力する。ＳＶＭ１１４ａ、ｂ、ｃ・・・・・は、上記の１．から６．の類型の何れにも該当せず、直線特徴、三角形特徴に示される２４の顔特徴点が同じとなる判定対象顔を、無表情とする。
【０１４３】
そうして感情推定を実行した後、推定結果となる感情が、予め定められた否定的感情（幸福＋嫌悪、悲しみ＋嫌悪）であるか否かを判定する（ステップＳ１４５）。かかる否定的感情であれば（ステップＳ１４５でＹｅｓ）、階層値、キーコードに基づくヘルプ画像（ヘルプメニュー、ヘルプガイダンス、）の表示を、オンデマンドヘルプ部１１０に実行させて（ステップＳ１４６）、ステップＳ１０２〜Ｓ１０５からなるループにリターンする（ステップＳ１４０）。感情推定の結果が、予め定められた否定的な感情ではない場合、ステップＳ１４６をスキップし、図７のステップＳ１０２〜Ｓ１０６にリターンする（ステップＳ１４０）。
【０１４４】
（５−７）ヘルプの表示
印刷ジョブの印刷条件の１つとして、ステープルの位置決め設定を選択したとする。ステープルの位置決め設定では、図５の階層構造において、基本画面Ｄ１からコピー基本画面Ｄ２１への切り替えを行い、次いで応用設定１画面Ｄ３３、仕上げ画面Ｄ４１、ステープル設定画面Ｄ５１、位置決め設定画面Ｄ６１を経て、位置選択画面Ｄ７１に到達する。位置選択画面Ｄ７１における位置選択キーＫ７１は、紙面のコーナを対象とするか、２穴とするかの選択を受け付ける。
【０１４５】
こうした、多くの画面切替えを経た後の設定項目に対する操作であると、操作に迷いが生じたり、また、操作が判らず苛立っていて、ユーザーが平静な心理状態を保っていない可能性が高い。そこで、ユーザーが困惑している可能性が高いとして、タイマー回路２０６のタイムアウト、又は、７階層の設定項目に対する操作を契機として、判定対象顔を取得し、感情推定を行う。
【０１４６】
そのため、ステープルの位置選択キーＫ７１は、特定の操作として特定され、且つ、階層構造における７の階層値に応じた、比較的高めの階層値（０．７５）により重み付けられている。かかる階層値は閾値よりも大きいので（ステップＳ１２３でNo）、感情推定を実行する。
【０１４７】
ＳＶＭ１１４ａ、ｂ、ｃ、ｄ・・・・により、悲しみと、嫌悪とが多くの票を獲得した場合、又は、幸福と、嫌悪との組み合わせが多くの票を獲得した場合、ユーザーの表情は困惑に転じている可能性が高い。この場合、ステップＳ１４５がYesとなり、ステップＳ１４６に移行する。ステップＳ１４６において、図１２に示すようにステープルの位置設定に応じたヘルプ画面１０９Ｈを表示する。これにより、ユーザーに、適切な助言を促す。
【０１４８】
第７階層のカードコピー機能を選択するケースについて説明する。カードコピーは、名刺、免許証、保険証のコピーを行う際、これら名刺、免許証、保険証の表面、裏面の画像を、用紙の１つの紙面に転写する応用機能の１つである。カードコピーでは、図５の階層構造において、基本画面Ｄ１からコピー基本画面Ｄ２１への切り替えを行い、次いで応用設定１画面Ｄ３３、応用設定２画面Ｄ４２、応用設定３画面Ｄ５２、カードコピー設定画面Ｄ６２を経て、カードコピー選択画面Ｄ７２に到達する。カードコピー選択キーＫ７２は、こうした複数回の画面切り替えを経た後に到達するので、上記のステープルの位置決めと同様、操作時に平静状態を保てない可能性が高い。そのため、カードコピー選択キーＫ７２を、特定の操作として特定しつつ、階層構造における７の階層値に応じた、比較的高めの階層値（０．７５）により重み付けている。かかる階層値は閾値よりも大きいので（ステップＳ１２３でNo）、カードコピー選択キーＫ７２が押下された際、感情推定を実行する。
【０１４９】
感情推定において、ＳＶＭ１１４ａ、ｂ、ｃ・・・・・が多数決を行うことで、「悲しみ」と、「嫌悪」との組み合わせが多くの票を得た場合、又は、「幸福」と、「嫌悪」との組み合わせが多くの票を得た場合、オンデマンドヘルプ部１１０に、カードコピーについてのヘルプ画像を表示させる。
【０１５０】
［６］まとめ
階層構造の途中において、テンポ良くタッチパネルディスプレイ１００１を操作している場合、ユーザーには操作に関する迷いはなく、ユーザーの感情は平静を保っている。そのように、感情が平静を保っている可能性が高い操作を、表情変化に紐付けるべき操作として、操作／感情テーブル２０２で特定し、かかる操作がなされたタイミングの前後から、基準顔を取得するので、怒りや悲しみ等の感情を示す顔特徴点を高精度に抽出することができる。こうした無表情の顔画像を基準として、感情推定を行うことで、感情推定の精度を高めることができる。
【０１５１】
（第２実施形態）
第１実施形態では、操作と、無表情度との対応付けにより、基準顔を取得すべきタイミングを特定した。これに対し、第２実施形態では、タイマー回路によりカウントされる操作の時間間隔が、下限値以下かどうかで、操作と、ユーザーの表情変化との相関の有無を判定する。
【０１５２】
［７］操作モニタリング部１０８の構成
第２実施形態における操作モニタリング部１０８の構成を、図１３に示す。図１３に示すように、第２実施形態に係る操作モニタリング部１０８は、タイマー回路２２１、比較器２２２により構成される。
【０１５３】
（７−１）タイマー回路２２１
タイマー回路２２１は、設定項目を含む画面が表示された際、その設定項目が操作された時点から、他の設定項目が操作されるまでの経過時間をカウントする。
【０１５４】
（７−２）比較器２２２
比較器２２２は、タイマー回路２２１によるカウント値が下限値以下かどうかを判定する。この下限値は、画像形成装置１０００のタッチパネルディスプレイ１００１が快適に操作される際の時間間隔に設定されている。相当数のユーザーを対象とした操作性評価によると、ユーザーが、テンポ良く、サクサクと画像形成装置１０００の入力操作を行っている際の操作の時間間隔は約２秒になるといわれる。直前の操作からの時間間隔が２秒以下であると、操作に関する迷いはなく、ユーザーの感情は平静を保っていると考えられる。そこで、比較器２２２は、タイマー回路２２１によるカウント値が、２秒以下かどうかの判定を行い、２秒以下であれば、出力信号の信号レベルをＨｉｇｈとし、正論理を出力する。２秒を上回る場合、比較器２２２は、出力信号の信号レベルをＬｏｗとし、負論理を出力する。
【０１５５】
第２実施形態の操作モニタリング部１０８は、比較器２２２の出力を、基準顔かどうかの真理値を示す信号とする。つまり、操作モニタリング部１０８の出力が正論理であれば、ＧＵＩ制御部１０４から出力された階層値及びキーコードに示される操作の入力時点は、基準顔取得のタイミングとして、適切である旨を示す。一方、操作モニタリング部１０８の出力が負論理であれば、ＧＵＩ制御部１０４から出力された階層値及びキーコードに示される操作の入力時点は、基準顔取得のタイミングとして、適切でない旨を示す。
【０１５６】
［８］フローチャートの変更点
第２実施形態におけるメインルーチンを、図１４（ａ）に示す。図１４（ａ）と、第１実施形態のメインルーチン（図７）とは、ステップＳ１０４がYesになった際の処理が異なる。つまり図７では、ステップＳ１０４がＹｅｓになった際、タッチパネルディスプレイ１００１に対してなされた操作が、特定の操作であるかの判定を行っていたのに対し（図７のステップＳ１１１）、図１４（ａ）では、ステップＳ１０４がYesになった際、特定の操作がなされたかどうかの判定（ステップＳ１１１）を行うことなく、基準顔の取得を実行する点（ステップＳ１５１）、基準顔の取得した後、タイマー回路２２１のリセットして、カウントを開始し（ステップＳ１１２）、操作に応じた処理を実行して（ステップＳ１１３）、ステップＳ１０２〜Ｓ１０５のループに戻る点が異なる。
【０１５７】
第２実施形態にかかる基準顔取得手順のフローチャートを図１４（ｂ）に示す。図１４（ｂ）のフローチャートと、第１実施形態に示した図８のフローチャートとでは、タイマーをストップした後の処理が異なる。つまり、図１４（ｂ）では、タイマー回路２２１のカウントをストップさせた後、無表情度の変換（ステップＳ１２２）や閾値との比較（ステップＳ１２３）を行うことなく、タイマー回路２２１のカウント値が上述した下限値を下回るかどうかの判定を実行する点が異なる（ステップＳ１５２）。
【０１５８】
また、カレントの基準顔との比較や無表情度の更新を行うことなく（図８のステップＳ１２５、Ｓ１２６）、キーの入力操作がなされた、入力時点を基点とし、当該基点以降のタイムコードを有するフレーム画像から、基準顔を取得する点が異なる（ステップＳ１２７）。
【０１５９】
［９］第２実施形態に係る操作モニタリング部１０８の動作
図１４（ａ）のメインルーチンにおいて、画面の表示がなされた際、ステップＳ１０６において、タイマー回路２２１をリセットし、カウント動作をスタートさせる。これにより、タイマー回路２２１のカウント値には、それまでの経過時間が表されている。図１４（ｂ）の基準顔取得にあたっては、比較器２２２がかかるタイマー回路２２１のカウント値と、下限との比較を行う（図１４（ｂ）のステップＳ１５２）。タイマー回路２２１のカウント値が、下限以下であれば、第１実施形態と同様、基準顔の取得がなされる（ステップＳ１２７）。
【０１６０】
タイマー回路２２１のカウント値が、下限値を上回る場合、第１実施形態と同様、図１０のフローチャートにより、基準顔を用いた感情推定を実行して（ステップＳ１２８）、メインルーチンにリターンする（ステップＳ１３０）。
【０１６１】
メインルーチンの処理を再開するにあたって、タイマー回路２２１をリセットし、タイマー回路２２１によるカウントを開始する（図７のステップＳ１１２）。その後、操作された設定項目に応じた処理を実行する（ステップＳ１１３）。
【０１６２】
第２実施形態における基準顔の選択の過程を、図１５のタイミングチャートに示す。
【０１６３】
第２階層のコピー基本画面Ｄ２１が表示され、部数設定の部数キーＫ２１の操作がなされてから、部数入力キーＫ３１が押下されたとする。この際、直前の操作からの経過時間がタイマー回路２２１によりカウントされているので、部数入力キーＫ３１の操作がなされてから、部数入力キーＫ３１が押下されるまでの経過時間が、２秒の下限値と比較される。画面が表示されてからの経過時間が下限値以下になると、比較器２２２の出力信号の信号レベルがＨｉｇｈになり、正論理を出力する。この際、部数入力キーＫ３１の押下は、ユーザーの判断による滞留がなく、基準顔タイミングとして適正であるとして、部数入力キーＫ３１の押下がなされた時点の近辺に撮影されたフレーム画像を基準顔の顔画像とする。
【０１６４】
［９］まとめ
以上のように本実施形態によれば、直前の設定項目が操作されてから、１の設定項目が操作されるまでの時間間隔が所定の閾値以下になった場合、タッチパネルディスプレイ１００１がテンポ良く、サクサクと操作されており、カメラ１００５は、感情的にニュートラルな表情を捉えている可能性が高い。そうした表情のユーザーの顔を基準顔として決定するので、簡易な処理により、基準顔を特定することができる。
【０１６５】
［１０］変形例
以上、本発明を実施の形態に基づいて説明してきたが本発明は上述の実施の形態に限定されないのは勿論であり以下の変形例が考えられる。
【０１６６】
（１）上記実施形態では、特定の設定項目であるソフトキーの入力操作がなされた入力時点を基点として基準顔を取得した。ここで、上記基点から基準顔が出現するまでの間には、相応の時間遅延があるとして、その相応の遅延時間の経過後に、基準顔を取得することが望ましい。この相応の遅延時間は、人間の顔面筋や咀嚼筋の伸縮に要する時間等に応じた値とすることが望ましい。また、カメラ１００５のフレームレートに応じて、微調整を施した値を採用してもよい。
【０１６７】
（２）特定の設定項目として、３階層以下の設定画面における設定項目を、特定の設定項目としたが、１階層、２階層の設定画面における設定項目を、特定の設定項目として、操作／感情テーブル２０２における無表情度による重み付けの対象としてもよい。この際、１階層、２階層の設定画面における設定項目についての無表情度としては、３階層の設定画面における設定項目よりも、高く設定してもよいし、低く設定してもよい。
【０１６８】
そして、基本画面の設定項目において、コピー等の設定項目が選択された際、このコピーの設定項目の無表情度に従い、基準顔を取得してもよい。また、基本画面の表示からの経過時間をカウントして、この経過時間が、第２実施形態に述べた下限値を下回る場合（例えば、基本画面の表示からの時間間隔が０．３秒である等）、カメラ１００５が撮影したフレーム画像から基準顔を取得してもよい。
【０１６９】
（３）画像形成装置１０００のデフォルトの機能として、コピーが選択されていることが多い。このように、デフォルトの機能選択がなされている場合、コピー基本画面から何回の切替操作で到達するかにより、画面の階層値を設定することが望ましい。また、各設定画面の設定項目は、このコピー基本画面からの切替数（階層値）に応じて、高低を定めることが望ましい。
【０１７０】
（４）基準顔を取得するにあたって、特定操作の入力時点以降のタイムコードを有するフレーム画像に対し、感情推定を実行してもよい。具体的にいうと、本変形例において、画像処理部１０９の顔認識部１１２は、基準時以降をタイムコードとするフレーム画像から基準顔を取得し、顔特徴点を得る。フレーム間特徴量算出部１１３ａは、基準顔から得られた顔特徴点に基づき、フレーム間特徴量を算出し、ＳＶＭ１１４ａ、ｂ、ｃ・・・・・は、そうして算出されたフレーム間特徴量が、上記の７つの感情のうち、何れに該当するかの判定を行う。
【０１７１】
以上の処理を、顔認識部１１２、フレーム間特徴量算出部１１３ａ、ＳＶＭ１１４ａ、ｂ、ｃ・・・・・は、基準時以降をタイムコードとする複数のフレーム画像を対象として繰り返す。こうして、何れかのフレーム画像について、無表情との感情が推定されれば、そのフレーム画像から取得した顔画像を、基準顔とする。無表情かどうかの推定を行う期間は、特定操作の入力時点以降に限られるから、処理負荷の増大を伴うことはなく、無表情となる基準顔に基づき、感情推定を行うことができる。
【０１７２】
（５）設定項目は、画面記述データにより定義される設定項目（ソフトキー）であるとしたが、画像形成装置１０００に配置されるハードウェアキーとしてもよい。特に、部数入力については、ハードウェアキーであるテンキーにより入力されるケースが多い。そうしたハードウェアキーであるテンキーを、特定の操作として、無表情度による重み付けの対象としてもよい。この際、ハードウェアキーであるテンキーのキーコードと、ハードウェアキーであることの種別とを、無表情度に対応付けて、操作／感情テーブル２０２に記載することが望ましい。
【０１７３】
（６）操作モニタリング部１０８、画像処理部１０９は、コピーの印刷ジョブを実行するにあたって、基準顔の取得や顔特徴点の抽出、感情の推定を実行したがこれに限らない。ＦＡＸ、スキャンの実行時に、基準顔の取得や顔特徴点の抽出、感情の推定を実行してもよい。
【０１７４】
（７）操作モニタリング部１０８、画像処理部１０９は、画像形成装置１０００に組み込まれる構成要素としたが、これに限らない。画像形成装置１０００がアクセスし得るサーバーのアプリケーションとして、操作モニタリング部１０８、画像処理部１０９を設けてもよい。また、画像形成装置１０００が帰属するネットワークシステムに、複数の画像形成装置が存在する場合、サーバーのアプリケーションである操作モニタリング部１０８は、これら複数の画像形成装置に対してなされる操作のビックデータ、操作履歴に従い、無表情度の更新を実行してもよい。
【０１７５】
（８）印刷ジョブを要求する端末が、スマートフォン、タブレット端末、ノートパソコンであり、ユーザーの自撮りのためのカメラを具備している場合、当該端末に、操作モニタリング部１０８、画像処理部１０９のアプリケーションをインストールして、操作モニタリング部１０８、画像処理部１０９の処理を行うアプリケーションに、基準顔の取得や顔特徴点の抽出、感情の推定を実行させてもよい。端末での印刷条件の設定に、ユーザーが困惑した際、適切なヘルプ画像を端末に表示させることができ、印刷条件の設定の効率化を図ることができる。
【０１７６】
（９）タイマー回路２２１、比較器２２２を第１実施形態の画像形成装置１０００に設けて、特定の操作がなされた際の、直前の操作からの時間間隔が、２秒の時間間隔以下になるかどうかの判定を行わせてもよい。そして、直前の操作からの時間間隔が２秒以下であれば、その操作が、ユーザーの表情に紐付けされた特定の操作であるか、その操作を重み付ける無表情度が、閾値を上回るかどうかに拘わらず、当該操作の入力時点を基準時として、基準顔を取得してもよい。
【０１７７】
また、直前の操作がなされてからの時間間隔が２秒以下になった操作が、特定の操作であれば、その操作を重み付ける重み係数の大小を要件にして、基準顔の更新をおこなってもよい。
【０１７８】
（１０）階層値としては、設定画面の階層の深さを表現できるものであれば、どのようなものを採用してもよい、例えば、設定画面の切替項目の押下回数をカウントして、これを階層値としてもよい。また、画面記述データのそれぞれの識別番号や、この識別番号に変換を施した数値を、階層値として用いてもよい。
【０１７９】
（１１）第１実施形態、第２実施形態では、部数入力やコピーモード選択、原稿サイズ入力、用紙サイズ入力、ステープル機能、カードコピー機能のための設定項目を操作／感情テーブル２０２によりユーザ表情に紐付けたが、これは一例に過ぎない。以下に示す設定項目を、ユーザ表情に紐付けてもよい。
【０１８０】
・宛先入力のための設定項目
スキャン機能の実行時に有効となる宛先入力には、事前登録された宛先から選択入力、ソフトキーボードからの直接入力、送信履歴からの選択入力、宛先検索による入力といった様々な手法がある。操作／感情テーブル２０２により、これらの入力に対応する設定項目を、ユーザー表情に紐付け、重み係数による重み付けを行ってもよい。
【０１８１】
・原稿画質入力のための設定項目
原稿画質の設定画面では、文字、文字/写真(印刷写真)、写真(印刷写真)、薄文字原稿、コピー原稿の何れかの設定を受け付ける。操作／感情テーブル２０２により、これらの設定項目をユーザーの表情と紐付け、重み係数による重み付けを行ってもよい。
【０１８２】
・紙面調整
スキャンにおいては、裏写りや黄ばみ除去の要否を設定することができる。操作／感情テーブル２０２により、裏写り除去や黄ばみ除去をユーザーの表情に紐付け、重み係数による重み付けを行ってもよい。
【０１８３】
・カラー指定
カラー指定機能としては、カラー、オートカラー、フルカラー、グレースケール、白黒２値の何れかの設定が可能である。操作／感情テーブル２０２により、カラー、オートカラー、フルカラー、グレースケール、白黒２値をユーザーの表情に紐付け、重み係数による重み付けを行ってもよい。
【０１８４】
・ファイル形式指定
ファイル形式指定としては、ＰＤＦ、コンパクトＰＤＦ、ＰＰＴＸ、ＴＩＦＦ、ＪＰＥＧ、ＸＰＳ、コンパクトＸＰＳの何れかの設定が可能である。操作／感情テーブル２０２により、ＰＤＦ、コンパクトＰＤＦ、ＰＰＴＸ、ＴＩＦＦ、ＪＰＥＧ、ＸＰＳ、コンパクトＸＰＳをユーザー表情に紐付け、重み係数による重み付けを行ってもよい。
【０１８５】
またファイル形式として、ＰＤＦを選択した場合、暗号化の有無や署名の有無、アウトラインＰＤＦの要否、スタンプ合成の要否を選択することができる。スタンプ合成を用いる場合、画像のスタンプを用いるか、文字のスタンプを用いるかの選択が可能となる。操作／感情テーブル２０２により、これらの設定項目をユーザー表情に紐付け、重み係数による重み付けを行ってもよい。
【０１８６】
・ページ設定
ページ設定機能としては、複数ページ一括、ページ分割、全ファイル一括送付の何れかの設定が可能である。操作／感情テーブル２０２により、これら複数ページ一括、ページ分割、全ファイル一括送付を、ユーザー表情と紐付け、重み係数による重み付けを行ってもよい。
【０１８７】
・日付/時刻、ページ番号、スタンプの合成
原稿のスキャンにより得られた画像データについては、日付/時刻、ページ番号、スタンプの合成が可能となる。操作／感情テーブル２０２により、これら日付/時刻、ページ番号、スタンプの合成の可否を、ユーザー表情に紐付け、重み係数による重み付けを行ってもよい。原稿からの出力指定として、片面→片面、片面→両面、両面→片面、両面→両面、見開き方向の何れかについての指定が可能である。操作／感情テーブル２０２により、これらの出力指定を、ユーザー表情に紐付け、重み係数による重み付けを行ってもよい。
【０１８８】
・読み込むべき原稿の指定
読み込むべき原稿については、薄紙原稿、Ｚ折れ原稿、同幅混載、異幅混載、長尺原稿、ブック原稿といった種別の指定を受け付ける。操作／感情テーブル２０２により、これらの原稿の種別を、ユーザー表情に紐付け、重み係数による重み付けを行ってもよい。
【０１８９】
原稿種別として、ブック原稿の選択された場合、見開き、分割、表裏のカバー、原稿外除去、センタリング、枠消し、開き方向原稿、折り目消しの指定が可能になる。操作／感情テーブル２０２により、これらの指定を、ユーザー表情に紐付け、重み係数による重み付けを行ってもよい。
【０１９０】
また、原稿サイズの設定において、Ａ系、Ｂ系、インチ系の指定や、８×１３、８Ｋ、１６Ｋ、はがきのそれぞれを操作／感情テーブル２０２によりユーザー表情と紐付け、重み係数による重み付けを行ってもよい。
【０１９１】
ページ連写の指定、インデックス原稿の指定、連続読込の可否、自動回転、文字再現の要否のそれぞれを、操作／感情テーブル２０２によりユーザの表情と紐付け、重み係数による重み付けを行ってもよい。
【０１９２】
フィニッシャー１００４による機能については、ステープルのみ限らず、パンチ機能、２つ折り機能を、操作／感情テーブル２０２によりユーザ表情に紐付けてもよい。またステープルと同様、パンチ機能についても、紙面のコーナを対象とするか、２穴とするかの選択を受け付けてもよい。また、左開き綴じ、右開き綴じ、上開き綴じ、自動綴じのそれぞれを受け付ける設定項目を操作／感情テーブル２０２によりユーザー表情に紐付け、重み係数による重み付けの対象にしてもよい。
【０１９３】
（１２）感情推定部１１３は、図１１に示した２４個の顔特徴点について、フレーム間特徴量である直線特徴、三角形特徴を算出するとしたが、これに限らない。他の特徴点、特徴量を用いて、感情を推定を行ってもよい。例えば、水平Prewittフィルタ、垂直Prewittフィルタ施された直線特徴、三角形特徴を感情推定に用いてもよい。ここで水平Prewittフィルタとは、水平方向のエッジを抽出する一次微分フィルタであり、垂直Prewittフィルタは、垂直方向のエッジを抽出する一次微分フィルタである。
【０１９４】
また、局所領域の輝度ヒストグラムを算出し、それを連結することで得られるLIH(Local  Intensity  Histogram)特徴量、輝度変化に強く、強度テクスチャを抽出できるLBP(Local  Binary  Pattern)特徴量、輝度変化に拘わらず、テクスチャを表現できるCS-LBP(Center  Symmetric  Local  Binary  Pattern)特徴量、画像中の複数領域間の輝度変化の総和を示すHaar-Like特徴量、画像勾配の強度を方向別ヒストグラムとして表現したHOG(Histogram  of  Gradient)特徴量であってもよい。
【０１９５】
更に、特許文献１に記載されているような顔面筋の収縮量を要素とする表情パターンと、予め定められた表情標準パターンとを比較して、表示の表出度を算出することで、ユーザーの感情を決定してもよいし、特許文献２に記載されているような、口等の端点の距離や、線エッジの長さ、エッジの形状を用いてもよい。
【０１９６】
感情推定部１１３は、直線特徴、三角形特徴による感情推定をＳＶＭ１１４ａ、ｂ、ｃ・・・・・で行ったが、複数の強識別器を学習して利用するAdaptive  Boostingで行ってもよい。また、ＳＶＭを回帰型に拡張したSVR(Support  Vector  Regression)で行ってもよい。
【０１９７】
（１３）画像形成装置１０００は、多機能周辺機であるとしたが、これに限らない。パーソナルコンピュータの周辺機器（プリンタ、スキャナー）であってもよいし、通信機器であるＦＡＸであってもよい。また、ラベル印刷機、はがき印刷機、プロダクションプリント機、券売機であってもよいし、アミューズメント機器であってもよい。
【産業上の利用可能性】
【０１９８】
本発明は、不特定多数のユーザーによる利用が想定される画像形成装置として有用であり、ＯＡ機器、情報機器の産業分野を始め、小売業、賃貸業、不動産業、出版業等、様々な業種の産業分野で利用される可能性がある。
【符号の説明】
【０１９９】
１０１    固定記憶装置
１０２ａ、ｂ、ｃ・・・    画面記述データ
１０３    制御プログラム
１０４    ＧＵＩ制御部
１０５    画像読取部
１０６    ＮＩＦ
１０７    画像出力部
１０８    操作モニタリング部
１０９    画像処理部
１１０    オンデマンドヘルプ部
１１１    フレーム画像キャプチャ部
１１２    顔認識部
１１３    感情推定部
１１３a    フレーム間特徴量算出部
１１４ａ、ｂ、ｃ・・・  ＳＶＭ
２０１    頻度分析部
２０２    操作／感情テーブル
２０３    比重更新部
２０４    コード変換部
２０５    比較器
２０６    タイマー回路
２０７    比較器
２０８    カレント無表情度レジスタ
２０９    候補無表情度レジスタ
２１０    比較器
２１１    判定論理
１０００    画像形成装置
１００１    タッチパネルディスプレイ
１００２    ＡＤＦ
【図１】
2020163660.tif 000004
【図２】
2020163660.tif 000005
【図３】
2020163660.tif 000006
【図４】
2020163660.tif 000007
【図５】
2020163660.tif 000008
【図６】
2020163660.tif 000009
【図７】
2020163660.tif 000010
【図８】
2020163660.tif 000011
【図９】
2020163660.tif 000012
【図１０】
2020163660.tif 000013
【図１１】
2020163660.tif 000014
【図１２】
2020163660.tif 000015
【図１３】
2020163660.tif 000016
【図１４】
2020163660.tif 000017
【図１５】
2020163660.tif 000018