(57)【要約】【課題】  利用者の感情に応じた適切な広告画像を記録媒体に印刷することができる画像形成システムおよび画像形成プログラムを提供する。【解決手段】  管理している広告画像のうち、カメラによって撮影された利用者の顔画像を解析して判定した利用者の感情と同一の感情に関連付けられた広告画像を、プリンターによって記録媒体に印刷するＭＦＰは、受け付けた広告画像を解析して判定した感情に関連付けて、この広告画像を管理する（Ｓ１０３、Ｓ１０６〜Ｓ１０７）ことを特徴とする。【選択図】  図５
2019111695.tif 000002
【特許請求の範囲】
【請求項１】
撮像デバイスと、
印刷デバイスと、
感情に関連付けられた広告画像を管理する広告画像管理手段と、
前記広告画像管理手段によって管理されている前記広告画像を前記印刷デバイスによって記録媒体に印刷する画像印刷手段と、
前記撮像デバイスによって撮影された利用者の顔画像を解析して前記利用者の感情を判定する顔画像感情判定手段と、
前記広告画像管理手段によって管理されている前記広告画像のうち、前記顔画像感情判定手段によって判定された感情と同一の感情に関連付けられた広告画像を、前記印刷デバイスによって記録媒体に印刷する前記広告画像として特定する広告画像特定手段と、
前記広告画像管理手段によって受け付けられた前記広告画像を解析して前記広告画像に関連付けられる感情を判定する広告画像感情判定手段と
を備え、
前記広告画像管理手段は、受け付けた前記広告画像に対して前記広告画像感情判定手段によって判定された感情に関連付けて、前記広告画像を管理することを特徴とする画像形成システム。
【請求項２】
前記広告画像管理手段は、前記広告画像を受け付ける場合に、前記広告画像に関連付けられる感情を受け付け可能であり、
前記広告画像管理手段は、前記広告画像と、前記広告画像に関連付けられる感情とを受け付けた場合に、前記広告画像に対して前記広告画像感情判定手段によって判定された感情ではなく、受け付けた感情に関連付けて、前記広告画像を管理することを特徴とする請求項１に記載の画像形成システム。
【請求項３】
前記印刷デバイスによって記録媒体に前記広告画像が印刷された後で前記撮像デバイスによって撮影された利用者の顔画像を解析して前記利用者の満足状態を判定する満足状態判定手段を備え、
前記広告画像管理手段は、同一の感情に関連付けられた複数の前記広告画像を順位を付けて管理可能であり、
前記広告画像特定手段は、前記広告画像管理手段によって管理されている前記広告画像のうち、前記顔画像感情判定手段によって判定された感情と同一の感情に関連付けられた広告画像を、前記印刷デバイスによって記録媒体に印刷する前記広告画像として、前記順位に応じた頻度で特定し、
前記広告画像管理手段は、前記満足状態判定手段によって判定された満足状態に基づいて前記順位を変更することを特徴とする請求項１または請求項２に記載の画像形成システム。
【請求項４】
前記広告画像特定手段は、前記撮像デバイスによって撮影された前記顔画像に基づいて前記顔画像感情判定手段によって判定された感情が特定の感情ではない場合に、前記広告画像管理手段によって管理されている前記広告画像を、前記広告画像に関連付けられた感情とは無関係に、ランダムに、または、印刷回数が少ないものを優先して、前記印刷デバイスによって記録媒体に印刷する前記広告画像として特定することを特徴とする請求項１から請求項３までのいずれかに記載の画像形成システム。
【請求項５】
印刷デバイスを備える画像形成装置に、
感情に関連付けられた広告画像を管理する広告画像管理手段と、
前記広告画像管理手段によって管理されている前記広告画像を前記印刷デバイスによって記録媒体に印刷する画像印刷手段と、
撮像デバイスによって撮影された利用者の顔画像を解析して前記利用者の感情を判定する顔画像感情判定手段と、
前記広告画像管理手段によって管理されている前記広告画像のうち、前記顔画像感情判定手段によって判定された感情と同一の感情に関連付けられた広告画像を、前記印刷デバイスによって記録媒体に印刷する前記広告画像として特定する広告画像特定手段と、
前記広告画像管理手段によって受け付けられた前記広告画像を解析して前記広告画像に関連付けられる感情を判定する広告画像感情判定手段と
を実現させ、
前記広告画像管理手段は、受け付けた前記広告画像に対して前記広告画像感情判定手段によって判定された感情に関連付けて、前記広告画像を管理することを特徴とする画像形成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広告画像を記録媒体に印刷する画像形成システムおよび画像形成プログラムに関する。
【背景技術】
【０００２】
従来、広告画像を記録媒体に印刷する画像形成装置として、原稿から読み取った画像から文字認識によって得た文字に含まれるキーワードに関連付けられた広告画像を記録媒体に印刷するもの（例えば、特許文献１参照。）と、年齢、職業、性別、住所などの利用者の属性情報に関連付けられた広告画像を記録媒体に印刷するもの（例えば、特許文献２参照。）とが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２４４４２７号公報
【特許文献２】特開２０１７−１７３９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１、２に記載された画像形成装置においては、利用者の感情に応じた適切な広告画像を記録媒体に印刷することができないという問題がある。
【０００５】
そこで、本発明は、利用者の感情に応じた適切な広告画像を記録媒体に印刷することができる画像形成システムおよび画像形成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像形成システムは、撮像デバイスと、印刷デバイスと、感情に関連付けられた広告画像を管理する広告画像管理手段と、前記広告画像管理手段によって管理されている前記広告画像を前記印刷デバイスによって記録媒体に印刷する画像印刷手段と、前記撮像デバイスによって撮影された利用者の顔画像を解析して前記利用者の感情を判定する顔画像感情判定手段と、前記広告画像管理手段によって管理されている前記広告画像のうち、前記顔画像感情判定手段によって判定された感情と同一の感情に関連付けられた広告画像を、前記印刷デバイスによって記録媒体に印刷する前記広告画像として特定する広告画像特定手段と、前記広告画像管理手段によって受け付けられた前記広告画像を解析して前記広告画像に関連付けられる感情を判定する広告画像感情判定手段とを備え、前記広告画像管理手段は、受け付けた前記広告画像に対して前記広告画像感情判定手段によって判定された感情に関連付けて、前記広告画像を管理することを特徴とする。
【０００７】
この構成により、本発明の画像形成システムは、受け付けた広告画像を、この広告画像を解析して判定した感情に関連付けて管理するとともに、管理している広告画像のうち、撮像デバイスによって撮影された利用者の顔画像を解析して判定した利用者の感情と同一の感情に関連付けられた広告画像を印刷デバイスによって記録媒体に印刷するので、利用者の感情に応じた適切な広告画像を記録媒体に印刷することができる。
【０００８】
本発明の画像形成システムにおいて、前記広告画像管理手段は、前記広告画像を受け付ける場合に、前記広告画像に関連付けられる感情を受け付け可能であり、前記広告画像管理手段は、前記広告画像と、前記広告画像に関連付けられる感情とを受け付けた場合に、前記広告画像に対して前記広告画像感情判定手段によって判定された感情ではなく、受け付けた感情に関連付けて、前記広告画像を管理しても良い。
【０００９】
この構成により、本発明の画像形成システムは、広告画像と、この広告画像に関連付けられる感情とを受け付けた場合に、受け付けた広告画像を、この広告画像を解析して判定した感情ではなく、受け付けた感情に関連付けて管理するので、広告画像を記録媒体に印刷する場合の利用者の感情に関して広告画像の提供者の意図を反映することができ、広告画像の提供者の満足感を向上することができる。
【００１０】
本発明の画像形成システムは、前記印刷デバイスによって記録媒体に前記広告画像が印刷された後で前記撮像デバイスによって撮影された利用者の顔画像を解析して前記利用者の満足状態を判定する満足状態判定手段を備え、前記広告画像管理手段は、同一の感情に関連付けられた複数の前記広告画像を順位を付けて管理可能であり、前記広告画像特定手段は、前記広告画像管理手段によって管理されている前記広告画像のうち、前記顔画像感情判定手段によって判定された感情と同一の感情に関連付けられた広告画像を、前記印刷デバイスによって記録媒体に印刷する前記広告画像として、前記順位に応じた頻度で特定し、前記広告画像管理手段は、前記満足状態判定手段によって判定された満足状態に基づいて前記順位を変更しても良い。
【００１１】
この構成により、本発明の画像形成システムは、印刷デバイスによって記録媒体に印刷する広告画像を順位に応じた頻度で特定し、印刷デバイスによって記録媒体に広告画像を印刷した後で撮像デバイスによって撮影された利用者の顔画像を解析して判定した利用者の満足状態に基づいて、広告画像の順位を変更するので、利用者の満足感が高かった広告画像を記録媒体に印刷する頻度を向上することができ、利用者の満足感を向上することができる。
【００１２】
本発明の画像形成システムにおいて、前記広告画像特定手段は、前記撮像デバイスによって撮影された前記顔画像に基づいて前記顔画像感情判定手段によって判定された感情が特定の感情ではない場合に、前記広告画像管理手段によって管理されている前記広告画像を、前記広告画像に関連付けられた感情とは無関係に、ランダムに、または、印刷回数が少ないものを優先して、前記印刷デバイスによって記録媒体に印刷する前記広告画像として特定しても良い。
【００１３】
この構成により、本発明の画像形成システムは、撮像デバイスによって撮影された利用者の顔画像を解析して判定した利用者の感情が特定の感情ではない場合に、管理している広告画像を、ランダムに、または、印刷回数が少ないものを優先して、印刷デバイスによって記録媒体に印刷するので、広告画像が印刷される機会の公平性を向上することができ、広告画像の提供者の満足感を向上することができる。
【００１４】
本発明の画像形成プログラムは、印刷デバイスを備える画像形成装置に、感情に関連付けられた広告画像を管理する広告画像管理手段と、前記広告画像管理手段によって管理されている前記広告画像を前記印刷デバイスによって記録媒体に印刷する画像印刷手段と、撮像デバイスによって撮影された利用者の顔画像を解析して前記利用者の感情を判定する顔画像感情判定手段と、前記広告画像管理手段によって管理されている前記広告画像のうち、前記顔画像感情判定手段によって判定された感情と同一の感情に関連付けられた広告画像を、前記印刷デバイスによって記録媒体に印刷する前記広告画像として特定する広告画像特定手段と、前記広告画像管理手段によって受け付けられた前記広告画像を解析して前記広告画像に関連付けられる感情を判定する広告画像感情判定手段とを実現させ、前記広告画像管理手段は、受け付けた前記広告画像に対して前記広告画像感情判定手段によって判定された感情に関連付けて、前記広告画像を管理することを特徴とする。
【００１５】
この構成により、本発明の画像形成プログラムを実行する画像形成装置は、受け付けた広告画像を、この広告画像を解析して判定した感情に関連付けて管理するとともに、管理している広告画像のうち、撮像デバイスによって撮影された利用者の顔画像を解析して判定した利用者の感情と同一の感情に関連付けられた広告画像を印刷デバイスによって記録媒体に印刷するので、利用者の感情に応じた適切な広告画像を記録媒体に印刷することができる。
【発明の効果】
【００１６】
本発明の画像形成システムおよび画像形成プログラムは、利用者の感情に応じた適切な広告画像を記録媒体に印刷することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施の形態に係るシステムのブロック図である。
【図２】図１に示すＭＦＰのブロック図である。
【図３】図２に示す広告画像データベースの一例を示す図である。
【図４】図１に示すコンピューターのブロック図である。
【図５】広告画像を登録する場合の図２に示すＭＦＰの動作のフローチャートである。
【図６】図４に示す表示部に表示される登録画面の一例を示す図である。
【図７】コピーを実行する場合の図２に示すＭＦＰの動作のフローチャートである。
【図８】図７に示す印刷対象広告画像特定処理のフローチャートである。
【図９】広告画像を印刷した場合の図２に示すＭＦＰの動作のフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１９】
まず、本発明の一実施の形態に係るシステムの構成について説明する。
【００２０】
図１は、本実施の形態に係るシステム１０のブロック図である。
【００２１】
図１に示すように、システム１０は、画像形成システムとしてのＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）２０と、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などのコンピューター３０とを備えている。ＭＦＰ２０と、コンピューター３０とは、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク１１経由で、または、ネットワーク１１を介さずに有線または無線によって直接に、互いに通信可能である。
【００２２】
ＭＦＰ２０は、例えば、大学などの場所に設置されている。
【００２３】
図２は、ＭＦＰ２０のブロック図である。
【００２４】
図２に示すように、ＭＦＰ２０は、種々の操作が入力される例えばボタンなどの入力デバイスである操作部２１と、種々の情報を表示する例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示デバイスである表示部２２と、撮像デバイスであるカメラ２３と、用紙などの記録媒体に画像を印刷する印刷デバイスであるプリンター２４と、原稿から画像を読み取る読取デバイスであるスキャナー２５と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部２６と、ネットワーク１１（図１参照。）経由で、または、ネットワーク１１を介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部２７と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部２８と、ＭＦＰ２０全体を制御する制御部２９とを備えている。
【００２５】
カメラ２３は、操作部２１を操作中の利用者の顔画像を撮影可能な位置に設置されている。カメラ２３は、ＭＦＰ２０に内蔵のタイプでも良いし、ＭＦＰ２０に外付けのタイプでも良い。
【００２６】
記憶部２８は、画像形成プログラム２８ａを記憶している。画像形成プログラム２８ａは、例えば、ＭＦＰ２０の製造段階でＭＦＰ２０にインストールされていても良いし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリーなどの外部の記憶媒体からＭＦＰ２０に追加でインストールされても良いし、ネットワーク１１上からＭＦＰ２０に追加でインストールされても良い。
【００２７】
記憶部２８は、広告画像を格納する広告画像データベース２８ｂを記憶している。
【００２８】
図３は、広告画像データベース２８ｂの一例を示す図である。
【００２９】
図３に示すように、広告画像データベース２８ｂは、広告画像と、広告画像に関連付けられた感情と、同一の感情のカテゴリーでの順位と、広告画像の印刷の回数を示す総印刷回数と、利用者の感情に合わせた広告画像の印刷の回数を示す特定印刷回数と、利用者が広告画像に満足であった回数を示す満足回数と、利用者が広告画像に不満であった回数を示す不満回数と、広告画像の満足度とを、広告画像毎に格納している。例えば、広告画像データベース２８ｂは、広告画像Ａを、感情「嬉しい」および順位「１」に関連付けて格納している。広告画像データベース２８ｂにおいて広告画像に関連付けられる感情には、「嬉しい」の他、例えば、「疲れた」、「緊張」、「特定の感情ではない」などが存在する。「特定の感情ではない」に関しては、順位、特定印刷回数、満足回数、不満回数、満足度が記録されない。
【００３０】
図２に示す制御部２９は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、ＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）とを備えている。ＣＰＵは、記憶部２８またはＲＯＭに記憶されているプログラムを実行する。
【００３１】
制御部２９は、画像形成プログラム２８ａを実行することによって、感情に関連付けられた広告画像を管理する広告画像管理手段２９ａと、広告画像管理手段２９ａによって管理されている広告画像をプリンター２４によって記録媒体に印刷する画像印刷手段２９ｂと、カメラ２３によって撮影された利用者の顔画像を解析して利用者の感情を判定する顔画像感情判定手段２９ｃと、広告画像管理手段２９ａによって管理されている広告画像のうち、顔画像感情判定手段２９ｃによって判定された感情と同一の感情に関連付けられた広告画像を、プリンター２４によって記録媒体に印刷する広告画像として特定する広告画像特定手段２９ｄと、広告画像管理手段２９ａによって受け付けられた広告画像を解析して広告画像に関連付けられる感情を判定する広告画像感情判定手段２９ｅと、プリンター２４によって記録媒体に広告画像が印刷された後でカメラ２３によって撮影された利用者の顔画像を解析して利用者の満足状態を判定する満足状態判定手段２９ｆとを実現する。
【００３２】
図４は、コンピューター３０のブロック図である。
【００３３】
図４に示すように、コンピューター３０は、種々の操作が入力される例えばキーボード、マウスなどの入力デバイスである操作部３１と、種々の情報を表示する例えばＬＣＤなどの表示デバイスである表示部３２と、ネットワーク１１（図１参照。）経由で、または、ネットワーク１１を介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部３３と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤなどの不揮発性の記憶デバイスである記憶部３４と、コンピューター３０全体を制御する制御部３５とを備えている。
【００３４】
制御部３５は、例えば、ＣＰＵと、プログラムおよび各種のデータを記憶しているＲＯＭと、ＣＰＵの作業領域として用いられるＲＡＭとを備えている。ＣＰＵは、ＲＯＭまたは記憶部３４に記憶されているプログラムを実行する。
【００３５】
次に、ＭＦＰ２０の動作について説明する。
【００３６】
まず、広告画像が登録される場合のＭＦＰ２０の動作について説明する。
【００３７】
図５は、広告画像を登録する場合のＭＦＰ２０の動作のフローチャートである。
【００３８】
広告主、すなわち、広告画像の提供者は、コンピューター３０を操作することによって広告画像の登録の処理の開始をＭＦＰ２０に指示することができる。ＭＦＰ２０の制御部２９は、広告画像の登録の処理の開始が指示されると、図５に示す動作を実行する。
【００３９】
図５に示すように、広告画像管理手段２９ａは、広告画像の登録画面のデータをコンピューター３０に送信する（Ｓ１０１）。したがって、コンピューター３０の制御部３５は、Ｓ１０１においてＭＦＰ２０から送信されてきたデータに基づいた登録画面４０（図６参照。）を表示部３２に表示する。
【００４０】
図６は、表示部３２に表示される登録画面４０の一例を示す図である。
【００４１】
図６に示す登録画面４０は、登録の対象の広告画像を指定するための広告画像指定部４１と、広告画像指定部４１によって指定される広告画像に関連付けられる感情を指定するためのプルダウンリスト４２と、登録ボタン４３とを含んでいる。
【００４２】
広告画像指定部４１は、広告画像のファイルのアドレスを指定するためのテキストボックス４１ａと、テキストボックス４１ａに入力されるアドレスを特定するためのファイル選択ダイアログボックスを開くための参照ボタン４１ｂとを含んでいる。
【００４３】
プルダウンリスト４２によって指定可能な感情の種類は、Ｓ１０１においてＭＦＰ２０から送信されてきたデータにおいて限定されている。プルダウンリスト４２によって指定可能な感情には、広告画像に関連付けられる感情をあえて特定しないための「特定の感情ではない」も含まれている。
【００４４】
制御部３５は、登録ボタン４３が押されると、登録ボタン４３が押された時点で広告画像指定部４１において指定されていた広告画像の登録をＭＦＰ２０に指示する。ここで、制御部３５は、登録ボタン４３が押された時点でプルダウンリスト４２において感情が指定されていた場合、登録ボタン４３が押された時点でプルダウンリスト４２において指定されていた感情の登録の指示も、広告画像の登録の指示に含める。
【００４５】
図５に示すように、ＭＦＰ２０の広告画像管理手段２９ａは、Ｓ１０１の処理の後、広告画像の登録がコンピューター３０から指示されたと判断するまで、広告画像の登録がコンピューター３０から指示されたか否かを判断する（Ｓ１０２）。
【００４６】
広告画像管理手段２９ａは、Ｓ１０１の処理の後、広告画像の登録がコンピューター３０から指示されたとＳ１０２において判断すると、登録が指示された広告画像を受け付けて広告画像データベース２８ｂに登録する（Ｓ１０３）。
【００４７】
次いで、広告画像管理手段２９ａは、Ｓ１０３において登録した広告画像の登録の指示に感情の登録の指示が含まれていたか否かを判断する（Ｓ１０４）。
【００４８】
広告画像管理手段２９ａは、Ｓ１０３において登録した広告画像の登録の指示に感情の登録の指示が含まれていたとＳ１０４において判断すると、登録の指示に含まれる感情を受け付けて、Ｓ１０３において登録した広告画像に関連付けて広告画像データベース２８ｂに登録する（Ｓ１０５）。
【００４９】
広告画像感情判定手段２９ｅは、Ｓ１０３において登録した広告画像の登録の指示に感情の登録の指示が含まれていなかったとＳ１０４において判断されると、Ｓ１０３において登録された広告画像を解析して広告画像に関連付けられる感情を判定する（Ｓ１０６）。ここで、広告画像感情判定手段２９ｅによって判定可能な感情の種類は、プルダウンリスト４２によって指定可能な感情の種類と同一である。広告画像感情判定手段２９ｅは、広告画像を解析して判定した感情が、プルダウンリスト４２に含まれる感情のうち、「特定の感情ではない」以外の何れの感情にも該当しない場合、感情を「特定の感情ではない」として判定する。
【００５０】
次いで、広告画像管理手段２９ａは、Ｓ１０６において判定された感情を、Ｓ１０３において登録した広告画像に関連付けて広告画像データベース２８ｂに登録する（Ｓ１０７）。
【００５１】
広告画像管理手段２９ａは、Ｓ１０５またはＳ１０７の処理の後、Ｓ１０５またはＳ１０７において登録した感情が「特定の感情ではない」に該当するか否かを判断する（Ｓ１０８）。
【００５２】
広告画像管理手段２９ａは、Ｓ１０５またはＳ１０７において登録した感情が「特定の感情ではない」に該当しないとＳ１０８において判断すると、Ｓ１０３において登録した広告画像に関連付けられる順位を「１」として広告画像データベース２８ｂに登録する（Ｓ１０９）。
【００５３】
次いで、広告画像管理手段２９ａは、Ｓ１０３において登録した広告画像の特定印刷回数、満足回数および不満回数を全て「０」として広告画像データベース２８ｂに登録する（Ｓ１１０）。
【００５４】
広告画像管理手段２９ａは、Ｓ１０５またはＳ１０７において登録した感情が「特定の感情ではない」に該当するとＳ１０８において判断するか、Ｓ１１０の処理が終了すると、Ｓ１０３において登録した広告画像の総印刷回数を「０」として広告画像データベース２８ｂに登録して（Ｓ１１１）、図５に示す動作を終了する。
【００５５】
以上においては、コンピューター３０を介してＭＦＰ２０に広告画像を登録する場合について説明している。しかしながら、広告画像の登録の方法は、以上に説明した方法以外の方法でも良い。例えば、ＭＦＰ２０は、ＵＳＢメモリーなどの外部の記憶媒体に記憶された広告画像が操作部２１を介した指示に応じて登録されても良い。ＭＦＰ２０は、外部の記憶媒体に記憶された広告画像が操作部２１を介した指示に応じて登録される場合、図６に示す登録画面４０と同様な登録画面を表示部２２に表示する。
【００５６】
次に、スキャナー２５によって原稿から読み取られた画像をプリンター２４によって記録媒体に印刷する機能、すなわち、コピーを実行する場合のＭＦＰ２０の動作について説明する。
【００５７】
図７は、コピーを実行する場合のＭＦＰ２０の動作のフローチャートである。
【００５８】
ＭＦＰ２０の利用者は、ＭＦＰ２０の操作部２１を介してＭＦＰ２０にコピーの実行を指示する場合、スキャナー２５によって原稿から読み取られた画像をプリンター２４によって記録媒体の表面に印刷するとともに、広告画像をプリンター２４によって記録媒体の裏面に印刷する広告有りコピーと、広告画像を記録媒体に印刷しない広告無しコピーとのいずれかの実行を指示することができる。ＭＦＰ２０の利用者は、広告無しコピーと比較して、広告有りコピーを、安価など、有利な条件で利用可能である。例えば、ＭＦＰ２０の利用者は、広告無しコピーを有料で利用可能であり、広告有りコピーを無料で利用可能である。
【００５９】
また、ＭＦＰ２０の利用者は、ＭＦＰ２０の操作部２１を介してＭＦＰ２０にコピーにおける印刷の設定を指示することが可能である。
【００６０】
制御部２９は、操作部２１を介してコピーにおける印刷の設定が指示されると、図７に示す動作を実行する。
【００６１】
図７に示すように、顔画像感情判定手段２９ｃは、カメラ２３によって撮影された利用者の顔画像を解析して利用者の感情を判定する処理を開始する（Ｓ１２１）。ここで、顔画像感情判定手段２９ｃによって判定可能な感情の種類は、プルダウンリスト４２によって指定可能な感情の種類と同一である。顔画像感情判定手段２９ｃは、顔画像を解析して判定した感情が、プルダウンリスト４２に含まれる感情のうち、「特定の感情ではない」以外の何れの感情にも該当しない場合、感情を「特定の感情ではない」として判定する。
【００６２】
次いで、画像印刷手段２９ｂは、操作部２１を介してコピーの実行が指示されたか否かを判断する（Ｓ１２２）。
【００６３】
広告画像特定手段２９ｄは、コピーの実行が指示されていないとＳ１２２において判断されると、Ｓ１２１において開始した利用者の感情の判定の処理が終了したか否かを判断する（Ｓ１２３）。
【００６４】
画像印刷手段２９ｂは、Ｓ１２１において開始した利用者の感情の判定の処理が終了していないとＳ１２３において判断されると、Ｓ１２２の処理を実行する。
【００６５】
広告画像特定手段２９ｄは、Ｓ１２１において開始した利用者の感情の判定の処理が終了したとＳ１２３において判断すると、広告画像管理手段２９ａによって管理されている広告画像のうち、顔画像感情判定手段２９ｃによって判定された感情と同一の感情に関連付けられた広告画像を、プリンター２４によって記録媒体に印刷する広告画像として特定する印刷対象広告画像特定処理を開始する（Ｓ１２４）。
【００６６】
次いで、画像印刷手段２９ｂは、操作部２１を介してコピーの実行が指示されたと判断するまで、操作部２１を介してコピーの実行が指示されたか否かを判断する（Ｓ１２５）。
【００６７】
画像印刷手段２９ｂは、コピーの実行が指示されたとＳ１２２またはＳ１２５において判断すると、スキャナー２５によって原稿から画像を読み取る処理を開始する（Ｓ１２６）。
【００６８】
次いで、画像印刷手段２９ｂは、操作部２１を介して指示されたコピーが広告有りコピーであるか否かを判断する（Ｓ１２７）。
【００６９】
画像印刷手段２９ｂは、操作部２１を介して指示されたコピーが広告有りコピーではないとＳ１２７において判断すると、Ｓ１２６において開始した処理によって原稿から読み取った画像をプリンター２４によって記録媒体に印刷する印刷データを生成する（Ｓ１２８）。
【００７０】
広告画像特定手段２９ｄは、操作部２１を介して指示されたコピーが広告有りコピーであるとＳ１２７において判断されると、Ｓ１２１において開始した利用者の感情の判定の処理が終了したと判断するまで、Ｓ１２１において開始した利用者の感情の判定の処理が終了したか否かを判断する（Ｓ１２９）。
【００７１】
次いで、広告画像特定手段２９ｄは、Ｓ１２４において印刷対象広告画像特定処理を開始したか否かを判断する（Ｓ１３０）。
【００７２】
広告画像特定手段２９ｄは、Ｓ１２４において印刷対象広告画像特定処理を開始しなかったとＳ１３０において判断すると、印刷対象広告画像特定処理を開始する（Ｓ１３１）。
【００７３】
広告画像特定手段２９ｄは、Ｓ１２４において印刷対象広告画像特定処理を開始したとＳ１３０において判断するか、Ｓ１３１の処理が終了すると、プリンター２４によって記録媒体に印刷する広告画像を印刷対象広告画像特定処理によって特定したと判断するまで、プリンター２４によって記録媒体に印刷する広告画像を印刷対象広告画像特定処理によって特定したか否かを判断する（Ｓ１３２）。
【００７４】
画像印刷手段２９ｂは、プリンター２４によって記録媒体に印刷する広告画像を印刷対象広告画像特定処理によって特定したとＳ１３２において判断されると、Ｓ１２６において開始した処理によって原稿から読み取った画像をプリンター２４によって記録媒体の表面に印刷し、印刷対象広告画像特定処理によって特定された広告画像をプリンター２４によって記録媒体の裏面に印刷する印刷データを生成する（Ｓ１３３）。
【００７５】
画像印刷手段２９ｂは、Ｓ１２８またはＳ１３３の処理の後、Ｓ１２８またはＳ１３３において生成した印刷データに基づいてプリンター２４によって記録媒体に印刷して（Ｓ１３４）、図７に示す動作を終了する。
【００７６】
図８は、図７に示す印刷対象広告画像特定処理のフローチャートである。
【００７７】
図８に示すように、広告画像特定手段２９ｄは、Ｓ１２１において開始した処理において判定された利用者の感情が「特定の感情ではない」に該当する否かを判断する（Ｓ１４１）。
【００７８】
広告画像特定手段２９ｄは、Ｓ１２１において開始した処理において判定された利用者の感情が「特定の感情ではない」に該当するとＳ１４１において判断すると、広告画像データベース２８ｂに登録されている広告画像を、この広告画像に関連付けられた感情とは無関係に、ランダムに、プリンター２４によって記録媒体に印刷する広告画像として特定して（Ｓ１４２）、図８に示す印刷対象広告画像特定処理を終了する。
【００７９】
広告画像特定手段２９ｄは、Ｓ１２１において開始した処理において判定された利用者の感情が「特定の感情ではない」に該当しないとＳ１４１において判断すると、Ｓ１２１において開始した処理において判定された利用者の感情と同一の感情に関連付けられた全ての広告画像を広告画像データベース２８ｂにおいて特定する（Ｓ１４３）。
【００８０】
次いで、広告画像特定手段２９ｄは、Ｓ１４３において特定した広告画像の順位を広告画像データベース２８ｂに基づいて特定する（Ｓ１４４）
【００８１】
次いで、広告画像特定手段２９ｄは、Ｓ１４３において特定した広告画像同士の特定印刷回数の比率を広告画像データベース２８ｂに基づいて算出する（Ｓ１４５）。
【００８２】
広告画像特定手段２９ｄは、Ｓ１４３において特定した広告画像のうち、プリンター２４によって記録媒体に印刷する広告画像を、Ｓ１４４において特定した順位と、Ｓ１４５において算出した比率とに基づいて特定する（Ｓ１４６）。すなわち、広告画像特定手段２９ｄは、Ｓ１４４において特定した順位に応じた特定の比率と、Ｓ１４５において算出した比率との差異が最も大きい広告画像を特定する。したがって、Ｓ１４６において特定された広告画像がＳ１３４において印刷された後、Ｓ１４５において算出される比率は、Ｓ１４４において特定される順位に応じた特定の比率に近付く。ここで、順位に応じた特定の比率とは、順位が高い広告画像ほど特定印刷回数が多くなるように、順位に応じて事前に設定されている比率である。
【００８３】
広告画像特定手段２９ｄは、Ｓ１４６の処理の後、図８に示す動作を終了する。
【００８４】
次に、広告画像を印刷した場合のＭＦＰ２０の動作について説明する。
【００８５】
図９は、広告画像を印刷した場合のＭＦＰ２０の動作のフローチャートである。
【００８６】
制御部２９は、広告画像を印刷する度に、図９に示す動作を実行する。
【００８７】
図９に示すように、広告画像管理手段２９ａは、印刷した広告画像（以下「印刷広告画像」という。）の総印刷回数を広告画像データベース２８ｂにおいて１つ増加させる（Ｓ１６１）。
【００８８】
次いで、広告画像管理手段２９ａは、「特定の感情ではない」以外の感情に基づいて印刷広告画像が特定されたか否か、すなわち、印刷広告画像がＳ１４６において特定されたか否かを判断する（Ｓ１６２）。
【００８９】
広告画像管理手段２９ａは、「特定の感情ではない」以外の感情に基づいて印刷広告画像が特定されていない、すなわち、印刷広告画像がＳ１４２において特定されたとＳ１６２において判断すると、図９に示す動作を終了する。
【００９０】
広告画像管理手段２９ａは、「特定の感情ではない」以外の感情に基づいて印刷広告画像が特定された、すなわち、印刷広告画像がＳ１４６において特定されたとＳ１６２において判断すると、印刷広告画像の特定印刷回数を広告画像データベース２８ｂにおいて１つ増加させる（Ｓ１６３）。
【００９１】
次いで、満足状態判定手段２９ｆは、カメラ２３によって撮影された利用者の顔画像を解析して利用者の満足状態を判定する（Ｓ１６４）。
【００９２】
次いで、広告画像管理手段２９ａは、Ｓ１６４において判定された満足状態を判断する（Ｓ１６５）。
【００９３】
広告画像管理手段２９ａは、Ｓ１６４において判定された満足状態が「満足」であるとＳ１６５において判断すると、印刷広告画像の満足回数を広告画像データベース２８ｂにおいて１つ増加させる（Ｓ１６６）。
【００９４】
広告画像管理手段２９ａは、Ｓ１６４において判定された満足状態が「不満」であるとＳ１６５において判断すると、印刷広告画像の不満回数を広告画像データベース２８ｂにおいて１つ増加させる（Ｓ１６７）。
【００９５】
広告画像管理手段２９ａは、Ｓ１６４において判定された満足状態が「満足」および「不満」のいずれでもない、すなわち、「不明」であるとＳ１６５において判断するか、Ｓ１６６またはＳ１６７の処理が終了すると、印刷広告画像の特定印刷回数が特定の回数（例えば、１０回）以上であるか否かを判断する（Ｓ１６８）。
【００９６】
広告画像管理手段２９ａは、印刷広告画像の特定印刷回数が特定の回数未満であるとＳ１６８において判断すると、図９に示す動作を終了する。
【００９７】
広告画像管理手段２９ａは、印刷広告画像の特定印刷回数が特定の回数以上であるとＳ１６８において判断すると、印刷広告画像の満足度を算出する（Ｓ１６９）。ここで、印刷広告画像の満足度は、印刷広告画像の満足回数から印刷広告画像の不満回数を引いた数値を、印刷広告画像の特定印刷回数で割った数値である。
【００９８】
次いで、広告画像管理手段２９ａは、Ｓ１６９において算出した満足度を広告画像データベース２８ｂに記録する（Ｓ１７０）。
【００９９】
次いで、広告画像管理手段２９ａは、広告画像データベース２８ｂにおいて印刷広告画像に関連付けられている感情のカテゴリーでの順位を満足度に応じて更新する（Ｓ１７１）。すなわち、広告画像管理手段２９ａは、満足度が大きい広告画像ほど、順位が上になるように更新する。ただし、広告画像管理手段２９ａは、満足度が最も大きい広告画像だけでなく、満足度が定められていない広告画像についても、順位を「１」にする。
【０１００】
広告画像管理手段２９ａは、Ｓ１７１の処理の後、図９に示す動作を終了する。
【０１０１】
以上に説明したように、ＭＦＰ２０は、受け付けた広告画像を、この広告画像を解析して判定した感情に関連付けて管理する（Ｓ１０６〜Ｓ１０７）とともに、管理している広告画像のうち、カメラ２３によって撮影された利用者の顔画像を解析して判定した利用者の感情と同一の感情に関連付けられた広告画像をプリンター２４によって記録媒体に印刷する（Ｓ１４３〜Ｓ１４６およびＳ１３３〜Ｓ１３４）ので、利用者の感情に応じた適切な広告画像を記録媒体に印刷することができる。
【０１０２】
例えば、ＭＦＰ２０は、疲れている表情の利用者に対して、オンラインゲーム、フィットネスクラブなど、利用者を疲労させる可能性がある商品およびサービスの広告画像を記録媒体に印刷せずに、栄養ドリンク、リラックスできるような飲み物など、利用者を癒すことを期待することができる商品およびサービスの広告画像を記録媒体に印刷することができる。
【０１０３】
ＭＦＰ２０は、利用者の感情に応じた適切な広告画像を記録媒体に印刷することができるので、広告画像による広告の効果を向上することができ、広告有りコピーが利用される頻度を向上することができる。
【０１０４】
ＭＦＰ２０は、広告画像と、この広告画像に関連付けられる感情とを受け付けた場合（Ｓ１０４でＹＥＳ）に、受け付けた広告画像を、この広告画像を解析して判定した感情ではなく、受け付けた感情に関連付けて管理する（Ｓ１０５）ので、広告画像を記録媒体に印刷する場合の利用者の感情に関して広告画像の提供者の意図を反映することができ、広告画像の提供者の満足感を向上することができる。
【０１０５】
ＭＦＰ２０は、プリンター２４によって記録媒体に印刷する広告画像を順位に応じた頻度で特定し（Ｓ１４３〜Ｓ１４６）、プリンター２４によって記録媒体に広告画像を印刷した後でカメラ２３によって撮影された利用者の顔画像を解析して判定した利用者の満足状態に基づいて、広告画像の順位を変更する（Ｓ１６３〜Ｓ１７１）ので、利用者の満足感が高かった広告画像を記録媒体に印刷する頻度を向上することができ、利用者の満足感を向上することができる。
【０１０６】
ＭＦＰ２０は、カメラ２３によって撮影された利用者の顔画像を解析して判定した利用者の感情が特定の感情ではない場合に（Ｓ１４１でＹＥＳ）、管理している広告画像を、ランダムに、プリンター２４によって記録媒体に印刷する（Ｓ１４２、Ｓ１３３およびＳ１３４）ので、広告画像が印刷される機会の公平性を向上することができ、広告画像の提供者の満足感を向上することができる。
【０１０７】
なお、ＭＦＰ２０は、本実施の形態において、カメラ２３によって撮影された利用者の顔画像を解析して判定した利用者の感情が特定の感情ではない場合に、広告画像データベース２８ｂに登録されている広告画像を、この広告画像に関連付けられた感情とは無関係に、ランダムに、プリンター２４によって記録媒体に印刷する広告画像としてＳ１４２において特定している。しかしながら、ＭＦＰ２０は、カメラ２３によって撮影された利用者の顔画像を解析して判定した利用者の感情が特定の感情ではない場合に、広告画像データベース２８ｂに登録されている広告画像を、この広告画像に関連付けられた感情とは無関係に、総印刷回数が少ないものを優先して、プリンター２４によって記録媒体に印刷する広告画像としてＳ１４２において特定しても良い。総印刷回数が少ない広告画像をＳ１４２において優先して特定する構成でも、ＭＦＰ２０は、広告画像が印刷される機会の公平性を向上することができ、広告画像の提供者の満足感を向上することができる。
【０１０８】
本発明の画像形成システムは、本実施の形態においてＭＦＰであるが、コピー専用機など、ＭＦＰ以外の画像形成装置でも良いし、画像形成装置と、他の少なくとも１つの電子機器とによって構成されても良い。
【符号の説明】
【０１０９】
２０  ＭＦＰ（画像形成システム、画像形成装置）
２３  カメラ（撮像デバイス）
２４  プリンター（印刷デバイス）
２８ａ  画像形成プログラム
２９ａ  広告画像管理手段
２９ｂ  画像印刷手段
２９ｃ  顔画像感情判定手段
２９ｄ  広告画像特定手段
２９ｅ  広告画像感情判定手段
２９ｆ  満足状態判定手段
【図１】
2019111695.tif 000003
【図２】
2019111695.tif 000004
【図３】
2019111695.tif 000005
【図４】
2019111695.tif 000006
【図５】
2019111695.tif 000007
【図６】
2019111695.tif 000008
【図７】
2019111695.tif 000009
【図８】
2019111695.tif 000010
【図９】
2019111695.tif 000011