(57)【要約】【課題】広告、集客効果を高めること。【解決手段】キャラクターの顔画像の表示部２４０と、撮像部３０と、撮像画像から人物の顔画像を検出する顔検出処理手段２３１と、検出された顔画像の笑顔度を求める笑顔認識処理手段２３２と、検出された顔画像の面白顔度を求める面白顔認識処理手段２３３と、表示部のキャラクターの顔画像の表示制御を行う映像生成手段２３４と、笑顔度及び面白顔度に基づいてにらめっこの勝敗判定を行う勝敗判定手段２３５と、勝敗判定手段による判定結果又は判定時の笑顔度及び面白顔度に基づいて結果が変動するくじ引き処理を行うくじ引き処理手段２３６とを備え、にらめっこによるくじ引きの処理を行う。【選択図】図１１
2014183898.tif 000002
【特許請求の範囲】
【請求項１】
所定のキャラクターの顔画像を表示する表示部と、
撮像を行う撮像部と、
前記撮像部による撮像画像から顔検出処理を行い、人物の顔画像を検出する顔検出処理手段と、
予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の笑顔の度合いを示す笑顔度を求める笑顔認識処理手段と、
予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の面白みの度合いを示す面白顔度を求める面白顔認識処理手段と、
前記表示部に前記キャラクターの顔画像の表示制御を行う映像生成手段と、
前記撮像部による撮像画像から検出された顔画像に基づく前記笑顔度及び前記面白顔度に基づいてにらめっこの勝敗判定を行う勝敗判定手段と、
前記勝敗判定手段による判定結果又は判定時の前記笑顔度及び前記面白顔度に基づいて結果が変動するくじ引き処理を行うくじ引き処理手段と、
を備えることを特徴とする表示装置。
【請求項２】
前記映像生成手段は、にらめっこを行っていない待機状態で前記顔検出処理手段が前記顔画像を取得すると、前記表示部ににらめっこの説明画像を表示させることを特徴とする請求項１記載の表示装置。
【請求項３】
前記映像生成手段は、前記面白顔認識処理手段が求めた前記面白顔度に応じて、前記表示部に表示する前記キャラクターの顔画像を変化させることを特徴とする請求項１又は２記載の表示装置。
【請求項４】
前記映像生成手段は、前記笑顔認識処理手段が求めた前記笑顔度に応じて、前記表示部に表示する前記キャラクターの顔画像を変化させることを特徴とする請求項１から３のいずれか一項に記載の表示装置。
【請求項５】
前記勝敗判定手段は、前記面白顔認識処理手段が求めた前記面白顔度又は前記笑顔認識処理手段が求めた前記笑顔度が一定の勝敗条件を満たすことにより勝敗判定を行い、
前記くじ引き処理手段は、にらめっこの継続時間も加味して結果が変動するくじ引き処理を行うことを特徴とする請求項１から４のいずれか一項に記載の表示装置。
【請求項６】
所定のキャラクターの顔画像を表示する表示部と撮像を行う撮像部とを有する表示装置のコンピュータを、
前記撮像部による撮像画像から顔検出処理を行い、人物の顔画像を検出する顔検出処理手段、
予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の笑顔の度合いを示す笑顔度を求める笑顔認識処理手段、
予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の面白みの度合いを示す面白顔度を求める面白顔認識処理手段、
前記表示部に前記キャラクターの顔画像の表示制御を行う映像生成手段、
前記撮像部による撮像画像から検出された顔画像に基づく前記笑顔度及び前記面白顔度に基づいてにらめっこの勝敗判定を行う勝敗判定手段、
前記勝敗判定手段による判定結果又は判定時の前記笑顔度及び前記面白顔度に基づいて結果が変動するくじ引き処理を行うくじ引き処理手段、
として機能させることを特徴とするプログラム。
【請求項７】
表示装置とサーバ装置とを備える表示システムであって、
前記表示装置は、
所定のキャラクターの顔画像を表示する表示部と、
撮像を行う撮像部と、
前記撮像部による撮像画像から顔検出処理を行い、人物の顔画像を検出する顔検出処理手段と、
予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の笑顔の度合いを示す笑顔度を求める笑顔認識処理手段と、
予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の面白みの度合いを示す面白顔度を求める面白顔認識処理手段と、
前記表示部に前記キャラクターの顔画像の表示制御を行う映像生成手段と、
前記撮像部による撮像画像から検出された顔画像に基づく前記笑顔度及び前記面白顔度に基づいてにらめっこの勝敗判定を行う勝敗判定手段と、を備え、
前記サーバ装置は、
前記勝敗判定手段による判定結果又は判定時の前記笑顔度及び前記面白顔度に基づいて結果が変動するくじ引き処理を行うくじ引き処理手段を備えることを特徴とする表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、プログラム及び表示システムに係り、特に広告や集客に用いる表示装置、プログラム及び表示システムに関する。
【背景技術】
【０００２】
従来、例えばデジタルサイネージ装置などの表示装置においては、広告画像の内容を容易に変更することができるため、最新の情報を常に閲覧者に提供できる点で優れた広告効果を発揮する（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１２８２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記表示装置は、広告画像の切り換えが自在であることから、ある程度の広告効果を上げることが可能だが、閲覧者に対して一方的にメッセージを送るという形で使用されるため、飽きられやすく、広告効果が徐々に低下するという問題があった。
そこで本発明は、より高い広告効果を発揮することのできる表示装置、プログラム及び表示システムを提供することをその目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するため、本発明の表示装置は、
所定のキャラクターの顔画像を表示する表示部と、撮像を行う撮像部と、前記撮像部による撮像画像から顔検出処理を行い、人物の顔画像を検出する顔検出処理手段と、予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の笑顔の度合いを示す笑顔度を求める笑顔認識処理手段と、予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の面白みの度合いを示す面白顔度を求める面白顔認識処理手段と、前記表示部に前記キャラクターの顔画像の表示制御を行う映像生成手段と、前記撮像部による撮像画像から検出された顔画像に基づく前記笑顔度及び前記面白顔度に基づいてにらめっこの勝敗判定を行う勝敗判定手段と、前記勝敗判定手段による判定結果又は判定時の前記笑顔度及び前記面白顔度に基づいて結果が変動するくじ引き処理を行うくじ引き処理手段と、を備えることを特徴としている。
【０００６】
以上の課題を解決するため、本発明のプログラムは、
所定のキャラクターの顔画像を表示する表示部と撮像を行う撮像部とを有する表示装置のコンピュータを、前記撮像部による撮像画像から顔検出処理を行い、人物の顔画像を検出する顔検出処理手段、予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の笑顔の度合いを示す笑顔度を求める笑顔認識処理手段、予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の面白みの度合いを示す面白顔度を求める面白顔認識処理手段、前記表示部に前記キャラクターの顔画像の表示制御を行う映像生成手段、前記撮像部による撮像画像から検出された顔画像に基づく前記笑顔度及び前記面白顔度に基づいてにらめっこの勝敗判定を行う勝敗判定手段、前記勝敗判定手段による判定結果又は判定時の前記笑顔度及び前記面白顔度に基づいて結果が変動するくじ引き処理を行うくじ引き処理手段、として機能させることを特徴としている。
【０００７】
以上の課題を解決するため、本発明の表示システムは、
表示装置とサーバ装置とを備える表示システムであって、前記表示装置は、所定のキャラクターの顔画像を表示する表示部と、撮像を行う撮像部と、前記撮像部による撮像画像から顔検出処理を行い、人物の顔画像を検出する顔検出処理手段と、予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の笑顔の度合いを示す笑顔度を求める笑顔認識処理手段と、予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の面白みの度合いを示す面白顔度を求める面白顔認識処理手段と、前記表示部に前記キャラクターの顔画像の表示制御を行う映像生成手段と、前記撮像部による撮像画像から検出された顔画像に基づく前記笑顔度及び前記面白顔度に基づいてにらめっこの勝敗判定を行う勝敗判定手段と、を備え、前記サーバ装置は、前記勝敗判定手段による判定結果又は判定時の前記笑顔度及び前記面白顔度に基づいて結果が変動するくじ引き処理を行うくじ引き処理手段を備えることを特徴としている。
【発明の効果】
【０００８】
本発明によれば、注目度を高め、広告効果、集客効果の向上を図ることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第一の実施形態の表示システムの概略構成を示すブロック図である。
【図２】デジタルサイネージ装置の主制御構成を示すブロック図である。
【図３】デジタルサイネージ装置のスクリーン部の概略構成を示す正面図である。
【図４】携帯端末の主制御構成を示すブロック図である。
【図５】サーバ装置の主制御構成を示すブロック図である。
【図６】デジタルサイネージ装置の制御部における機能構成を示すブロック図である。
【図７】図７（Ａ）及び図７（Ｂ）は表示部で表示されるキャラクター顔画像の一例である。
【図８】デジタルサイネージ装置におけるにらめっこの処理の流れを示すフローチャートである。
【図９】にらめっこの実行時のキャラクターの顔画像の表示制御の流れを示すフローチャートである。
【図１０】サーバ装置におけるくじ引きの処理の流れを示すフローチャートである。
【図１１】第二の実施形態のデジタルサイネージ装置の制御部における機能構成を示すブロック図である。
【図１２】デジタルサイネージ装置におけるにらめっこの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
［第一の実施形態］
以下に、本発明を実施するための最良の形態について図面を用いて説明する。ただし、以下に述べる第一の実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
【００１１】
図１は第一の実施形態の表示システムの概略構成を示すブロック図である。表示システム１には、本発明に係る表示装置としてのデジタルサイネージ装置２と、ネットワークＮを介してデジタルサイネージ装置２に通信自在なサーバ装置５と、例えばＮＦＣなどの近距離無線通信技術によってデジタルサイネージ装置２に通信自在な携帯端末４とが備えられている。
【００１２】
［デジタルサイネージ装置］
図２はデジタルサイネージ装置２の主制御構成を示すブロック図である。デジタルサイネージ装置２は、人物画像の映像光を照射する投影部２１と、投影部２１から照射された映像光を背面で受けて前面に投影するスクリーン部２２とを備えている。
【００１３】
投影部２１は、処理プログラム及び各種のデータに基づいて各部を制御する制御部２３と、制御部２３に接続され、当該制御部２３から出力された画像データ（動画及び静止画を含む画像データ）を映像光に変換してスクリーン部２２に向けて照射するプロジェクタ２４と、処理プログラム及び各種のデータを記憶する記憶部２５と、ネットワークＮを介してサーバ装置５と通信する通信部２６とを備えている。
【００１４】
次に、スクリーン部２２について説明する。
図３は、スクリーン部２２の概略構成を示す正面図である。図３に示すようにスクリーン部２２には、四角形の画像形成部２７と、画像形成部２７を支持する台座２８とが備えられている。
画像形成部２７は、映像光の照射方向に対して略直交する例えばアクリル板などの一枚の透光板２９により形成されている。透光板２９の背面には背面投影用のフィルムスクリーンが積層され、なおかつフィルムスクリーンの背面にはフィルム状のフレネルレンズが積層されている。そして、この画像形成部２７と前述したプロジェクタ２４とにより表示部２４０（図６参照）を構成している。
【００１５】
そして、画像形成部２７の上部には、例えばカメラなどの撮像部３０が設けられている。この撮像部３０が画像形成部２７に対向する空間の映像をリアルタイムに撮像して画像データを生成する。撮像部３０は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮像制御部とを備えている。上記カメラは、可視光カメラまたは赤外線カメラのいずれを使用してもよい。
カメラの光学系は、複数のレンズから構成され、焦点距離が所定距離に固定され、被写界深度が深くなるように構成されている。また、この光学系は、画像形成部２７に向き合った人物の顔部分を撮像可能な方向に光軸が向けられている。
撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサである。そして、撮像素子は、光学系を通過した光学像を二次元の画像信号に変換する。
撮像制御部は、撮像素子による特定の被写体の撮像を制御する。即ち、撮像制御部は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部は、タイミング発生器、ドライバにより撮像素子を走査駆動して、受光した光学像を所定周期毎に二次元の画像信号に変換させ、当該撮像素子の撮像領域から１画面分ずつフレーム画像を読み出して画像データを生成する。
【００１６】
台座２８には、携帯端末４と通信し携帯端末４に対して情報を読み書きするためのリーダライター部３１と、ボタン式の操作部３２と、スピーカなどの音声出力部３３と、マイクなどの音声入力部３４とが設けられている。
リーダライター部３１、操作部３２、音声出力部３３、音声入力部３４及び撮像部３０は、図２に示すように制御部２３に接続されている。
【００１７】
制御部２３は、各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵとプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。
そして、制御部２３はリーダライター部３１に対して携帯端末４がかざされると、読み取り時においては携帯端末４に記憶されている情報を、リーダライター部３１を介して読み出す。他方、書き込み時においては制御部２３は書き込み情報を、リーダライター部３１を介して携帯端末４に記憶させる。
また、制御部２３は、操作部３２からの操作信号に基づいて、各種の処理を実行し、必要時には、記憶部２５から画像データや音声データを読み出して、プロジェクタ２４の表示制御及び音声出力部３３の音声出力制御を実行する。
さらに、制御部２３は、撮像部３０から得られた画像データや、音声入力部３４から得られた音声データを記憶部２５に格納する。
また、制御部２３は、携帯端末４からの情報や、操作部３２からの操作信号によっては、通信部２６を制御してサーバ装置５と通信を行う。通信により得られた情報は記憶部２５に格納される。
【００１８】
図４は、携帯端末４の主制御構成を示すブロック図である。
携帯端末４は、例えば携帯電話、スマートフォン、タブレット式端末などの携帯機器である。図４に示すように携帯端末４には、例えば表示部４１と、操作部４２と、通信部４３と、近距離通信部４４と、記憶部４５と、これらを制御する制御部４６とが設けられている。
表示部４１は例えば液晶パネルや有機ＥＬパネルなどから構成されている。
操作部４２は例えばタッチパネルや、操作キーなどである。
通信部４３は３ＧやＬＴＥ、Ｗｉ−Ｆｉなどの規格により通信を行う。
近距離通信部４４は例えばＮＦＣなどの近距離無線通信技術によってデジタルサイネージ装置２のリーダライター部３１と通信を行う。
記憶部４５には、デジタルサイネージ装置２との通信を行うためのアプリケーションが記憶されている。デジタルサイネージ装置２との通信を行うためのアプリケーションとしては、クーポン取得アプリ４５１などが挙げられる。
制御部４６は、各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵとプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。
また、制御部４６は、近距離通信部４４がデジタルサイネージ装置２のリーダライター部３１に接近すると、クーポン取得アプリ４５１を起動し、近距離通信部４４及びリーダライター部３１を介してデジタルサイネージ装置２と情報の送受を実行する。
【００１９】
［サーバ装置］
図５はサーバ装置５の主制御構成を示すブロック図である。
サーバ装置５は、表示部５１と、入力部５２と、通信部５３と、記憶部５４と、これらを制御する制御部５５とが設けられている。
表示部５１は、ＬＣＤ（Liquid Crystal Display）等で構成され、制御部５５から入力される表示情報に応じて各種表示を行う。
入力部５２はキーボードとマウス等のポインティングデバイスとからなり、サーバ装置５の管理者による入力を受け付けてその操作情報を制御部５５に出力する。
通信部５３は、モデム、ルータ、ネットワークカード等により構成され、ネットワークＮに接続されて、ネットワークＮ上のデジタルサイネージ装置２との通信を行う。
【００２０】
記憶部５４は、磁気記録媒体を有するＨＤＤ（Hard Disk Drive）、不揮発性の半導体メモリ等により構成される。記憶部５４には、図５に示すように、デジタルサイネージ装置２と通信を行ってくじ引きの処理を行う処理プログラム５４１と、くじ引きの景品管理データ５４２とが記憶されている。
制御部５５は、各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵとプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。
【００２１】
［表示システムを利用したくじ引きの処理の概要］
この表示システム１のデジタルサイネージ装置２は、例えば、店舗に設置され、広告表示だけでなく、にらめっこによるくじ引きを実施して、広告と集客のために利用されることを前提としている。
そして、サーバ装置５は、デジタルサイネージ装置２で実施されたにらめっこの勝敗結果を受信して、その結果を考慮したくじ引きの処理を実施し、その結果をデジタルサイネージ装置２に返信する。
また、携帯端末４は、デジタルサイネージ装置２によりにらめっこを実行する人物（以下、この人物を「ユーザー」とする）が携行する端末であって、くじ引きの賞品であるクーポン券として機能するクーポンデータ４５２を受信し、保存するための受信装置として利用されるものである。
【００２２】
［デジタルサイネージ装置におけるにらめっこの処理］
表示システム１を利用したくじ引きの実施のために、デジタルサイネージ装置２ではユーザーとのにらめっこの処理を実行する。
そのため、デジタルサイネージ装置２には、図２に示すように、その記憶部２５ににらめっこの処理を行う為の処理プログラム２５１が格納されており、にらめっこの処理に要する設定データ、画像データ、音声データ等の各種データは、記憶部２５内のデータ記憶部２５２に格納されている。
そして、デジタルサイネージ装置２の制御部２３は、いわゆるコンピュータであって、上記にらめっこの処理プログラム２５１を実行することにより、図６に示す、顔検出処理手段２３１、笑顔認識処理手段２３２、面白顔認識処理手段２３３、映像生成手段２３４、勝敗判定手段２３５として機能する。
なお、以下の説明において、撮像画像、顔画像、表示画像、その他の画像は、いずれも、全てデータ化して処理が行われることを前提する。
【００２３】
上記顔検出処理手段２３１は、撮像部３０による撮像画像からにらめっこを行うユーザーの顔画像とその位置、サイズを検出する。
笑顔認識処理手段２３２は、検出された顔画像から、にらめっこに興じるユーザーの笑顔の度合いを示すために数値化した笑顔度を取得する。
面白顔認識処理手段２３３は、検出された顔画像から、にらめっこに興じるユーザーの面白い顔の面白みの度合いを示すために数値化した面白顔度を取得する。
映像生成手段２３４は、ユーザーの顔画像の笑顔度及び面白顔度からキャラクターの顔画像を適宜選択して表示部２４０に表示させる制御を行う。例えば、にらめっこの進行に応じてキャラクターの顔画像を面白顔や笑顔に切り替えることで、表示されるキャラクターがにらめっこを行っているかのように表現する。
勝敗判定手段２３５は、ユーザーの顔画像の笑顔度と面白顔度とにより、にらめっこの勝敗がいずれに決したかを判定する。にらめっこの勝敗の結果は、通信部２６を介してサーバ装置５に送信する。
このように、デジタルサイネージ装置２は、これら一連の構成により、ユーザーと表示されるキャラクターとが仮想的ににらめっこの勝負を実行している状況を作り出しつつ、ユーザーの表情からにらめっこの勝敗を決定する処理を行う。
【００２４】
［顔検出処理手段］
上記各手段２３１〜２３５について、さらに補足的に説明する。
顔検出処理手段２３１は、撮像部３０により取得された撮像画像から所定のアルゴリズムに基づいて顔検出処理を行い、顔画像を取得する。
この顔検出処理手段２３１では、撮像部３０により取得された撮像画像に対してadaboost（アダブースト）のアルゴリズムを用いて顔画像の検出を行う。
adaboostのアルゴリズムでは、顔画像の識別力が弱い識別器（例えば、識別の正解率が0.5より若干高い程度）を複数使用する。これらの識別器は、予め、サンプルとなる顔画像と非顔画像とを用いた学習によって識別器ごとに重み付けが設定されている。
そして、顔検出処理手段２３１は、撮像画像全体を各識別器によりサーチすることでそれぞれの識別器から得られる点数（重み付けが反映された点数）の総計が所定の閾値以上となるエリアに顔があるものと認識する。
【００２５】
上記識別器としては、例えば、顔の部分的な特徴を白黒の矩形領域とその配置とで表したHaar-Like（ハールライク）特徴といわれる複数のパターン画像を使用する。これらの複数のパターン画像も顔画像と非顔画像とを用いた学習によって個々に重み付けされている。そして、各パターン画像と撮像画像のサーチエリアとの一致判定結果から当該識別器の点数を算出する。
また、顔画像を検出するためのサーチエリアは、複数のサイズで用意されており、識別器も、これらのサイズごとに用意されている。つまり、各種のサイズで顔画像の検出を行い、これにより、撮像画像の撮像範囲内の顔画像の位置だけでなく、顔画像のサイズも取得することが可能となっている。
なお、この顔検出処理手段２３１による顔画像の検出の手法は一例であって、上記処理に限らず、他の周知の顔検出の手法を使用することも可能である。
【００２６】
［笑顔認識処理手段］
笑顔認識処理手段２３２は、顔検出処理手段２３１により検出された顔画像から「笑顔度」を算出して求め、映像生成手段２３４及び勝敗判定手段２３５に出力する。
笑顔度の取得は、例えば、adaboostのアルゴリズムを利用することができる。
この場合、学習の際に、サンプルとなる笑顔画像と非笑顔画像とを用いて複数の識別器を生成する。また、識別器のパターン画像はHaar-Like特徴とすることが好ましい。この場合、識別器に用いられるそれぞれのパターン画像は、笑顔画像と非笑顔画像と用いた学習により重み付けが行われる。
これにより、笑顔の認識に特化した複数の識別器が生成され、個々の識別器に重み付けが行われる。従って、検出された顔画像に対して各識別器による点数を求め、各々の点数を重み付けに従って合計することで、笑顔度を取得することができる。
【００２７】
なお、この笑顔認識処理手段２３２による笑顔度の取得の手法は一例であって、上記処理に限らず、周知の他の手法を使用することが可能である。例えば、顔を構成する各種の顔パーツについて笑顔に典型となるパターン（例えば、歯を見せた状態の口パーツ、細くなった状態の目のパーツ等のパターン画像）を複数用意する。そして、顔画像内でこれらパターン画像を検出し、その一致度の合計を点数として笑顔度としても良い。
【００２８】
［面白顔認識処理手段］
面白顔認識処理手段２３３は、顔検出処理手段２３１により検出された顔画像から「面白顔度」を算出して求め、映像生成手段２３４及び勝敗判定手段２３５に出力する。
面白顔度の取得は、例えば、adaboostのアルゴリズムを利用することができる。
この場合、学習の際に、サンプルとなる面白顔画像と非面白顔画像とを用いて複数の識別器を生成する。また、識別器のパターン画像はHaar-Like特徴とすることが好ましい。この場合、識別器に用いられるそれぞれのパターン画像は、面白顔画像と非面白顔画像と用いた学習により重み付けがされる。
これにより、面白顔の認識に特化した複数の識別器が生成され、個々の識別器に重み付けがなされる。従って、検出された顔画像に対して各識別器による点数を求め、各々に重み付けに従って合計することで、面白顔度を取得することができる。
【００２９】
なお、顔の面白いか否かは抽象的であるため、学習の際に使用するサンプルの面白顔画像の共通性が少ない場合、面白顔の認識に特化した識別器を適切に取得することが困難となりうる。
その場合には、面白顔を複数種類の典型的な面白顔（例えば、下まぶたを下に引っ張った面白顔、目じりを外側に引っ張った面白顔、口の両端を外側に引っ張った面白顔等）に分類し、それぞれの分類ごとに学習を行い、各分類ごとに面白顔の認識に特化した複数の識別器を生成する。
そして、検出された顔画像に対して、各分類の面白顔の識別器の点数の総計を求め、全ての分類の面白顔の中でもっとも高い点数を面白顔度としても良い。
【００３０】
或いは、真顔画像と非真顔画像とを使用して学習を行い、真顔の認識に特化した複数の識別器を生成する。そして、検出された顔画像に対して各識別器による点数を求め、各々に重み付けを行って合計した値を面白顔度として利用することができる。ただし、この場合には、値が大きいほど真顔に近い状態となるので、当該値が小さいほど面白度が高い顔と認識する必要がある。
【００３１】
また、adaboostのアルゴリズムを利用せずに、予めユーザーの真顔での撮像を行い、その顔画像を基準として、にらめっこの最中に取得された顔画像とのマッチングにより一致度を求め、当該一致度を面白顔度としても良い。この場合も、値が小さいほど面白度が高い顔と認識する必要がある。
【００３２】
また、これらの面白顔認識処理手段２３３による面白顔度の取得の手法は例示であって、上記処理に限らず、周知の他の手法を使用することが可能である。例えば、顔を構成する各種の顔パーツについて面白顔の典型となるパターン（例えば、下まぶたを下に引っ張った状態の目パーツ、目じりを外側に引っ張った状態の目パーツ、口の両端を外側に引っ張った上体の口パーツ等のパターン画像）を複数用意する。そして、顔画像内でこれらパターン画像を検出し、その一致度の合計を点数として面白顔度としても良い。
【００３３】
［映像生成手段］
映像生成手段２３４は、デジタルサイネージ装置２の各種の状態に応じて表示部２４０に対して表示画像を適宜選択して表示させる制御を行う。
この映像生成手段２３４は、主に、(1)にらめっこを行っていない待機状態、(2)にらめっこの開始準備状態、(3)にらめっこ実行状態、(4)にらめっこの勝敗決定状態のそれぞれにおいて、表示部２４０に対して、キャラクターの顔画像の表示制御を実行する。
ここで表示されるキャラクターは、人間、動物、或いは、オリジナルのマスコットキャラクター等、図７（Ａ）及び図７（Ｂ）に示すように、擬人化して顔の表情を表現可能なものであれば何でも良い。
映像生成手段２３４による表示制御に使用される表示画像データは全て記憶部２５のデータ記憶部２５２に格納されている。
【００３４】
(1)の待機状態においては、顔検出処理手段２３１による顔画像が検出されていない状態にある。従って、映像生成手段２３４は、表示部２４０に対して、広告の表示や、キャラクターによるにらめっこの呼びかけ画像を表示させる。また、このとき、デジタルサイネージ装置２の音声出力部３３によりキャラクターの呼びかけ音声を出力させても良い。
【００３５】
(2)のにらめっこの開始準備状態は、待機状態において顔検出処理手段２３１によりユーザーの顔画像が検出された直後の状態にある。
映像生成手段２３４は、顔画像が検出されると、表示部２４０に対して、にらめっこの説明画面を表示させる表示制御を行う。
即ち、ユーザーの顔画像が検出された直後のタイミングで、にらめっこの説明画面を表示するので、ユーザーがにらめっこの参加の意図の有無に拘わらず、にらめっこへの関心を引き寄せることができる。
【００３６】
(3)のにらめっこ実行状態では、映像生成手段２３４は、にらめっこを行う過程で取得されるユーザーの顔画像の笑顔度及び面白顔度並びににらめっこの継続時間に応じて、にらめっこ中のキャラクターの笑顔度及び面白顔度を仮想的に決定し、これらに基づいてキャラクターの顔画像の表情を変化させる表示制御を行う。
なお、ユーザーの顔画像の笑顔度及び面白顔度並びににらめっこの継続時間に基づいて、にらめっこ中のキャラクターの笑顔度と面白顔度とがどのように決定されるかについては、後に、図９のフローチャートを用いて詳細に説明する。
【００３７】
キャラクターについては、真顔と笑顔と複数パターンの面白顔の顔画像データがデータ記憶部２５２に用意されている。
さらに、笑顔については、微笑状態から最大限の笑顔まで複数段階の顔画像データが用意されている。各段階の笑顔の顔画像データは、それぞれキャラクターの笑顔度の数値範囲が対応付けられており、映像生成手段２３４は、仮想的に決定されたキャラクターの笑顔度をその数値範囲内とする笑顔の顔画像データを選択して、表示部２４０に表示させる。
また同様に、各パターンの面白顔については、真顔からの変化が少ないものから最大限に変化した状態まで複数段階の顔画像データが用意されている。各段階の面白顔の顔画像データは、それぞれキャラクターの面白顔度の数値範囲が対応付けられており、映像生成手段２３４は、仮想的に決定されたキャラクターの面白顔度をその数値範囲内とする面白顔の顔画像データを選択して、表示部２４０に表示させる。
なお、キャラクターの笑顔と面白顔とを同時に表示することはできないので、例えば、図７（Ａ）から図７（Ｂ）へのように、一定期間内で面白顔と笑顔とを交互に切り換えて表示部２４０に表示する。これにより、あたかも、キャラクターは面白顔をしようとしながら笑顔がもれてしまったかのように表現することができる。
【００３８】
(4)のにらめっこの勝敗決定時において、勝敗判定手段２３５によりユーザーの勝ちと判定された場合には、映像生成手段２３４は、ユーザーの勝ちを知らせるメッセージと共にキャラクターの最大限の笑顔の顔画像を表示した後に悔しがる顔画像を表示部２４０に表示させる。
また、勝敗判定手段２３５によりユーザーの負けと判定された場合には、映像生成手段２３４は、ユーザーの負けを知らせるメッセージと共にキャラクターの喜ぶ顔画像を表示部２４０に表示させる。
【００３９】
［勝敗判定手段］
勝敗判定手段２３５は、にらめっこを行う過程で取得されるユーザーの顔画像の笑顔度及び面白顔度並びににらめっこの継続時間に応じて、にらめっこの勝ち又は負けを判定する。
具体的には、勝敗判定手段２３５は、ユーザーの顔画像の笑顔度が負けを決定する閾値を超えた場合に負けと判定し、ユーザーの顔画像の面白顔度が勝ちを決定する閾値を超えた場合に勝ちと判定する。また、勝敗が判定される前に、規定の時間が経過した場合には、ユーザーの顔画像の笑顔度及び面白顔度からと勝敗を判定する。
そして、勝敗判定手段２３５は、にらめっこの勝敗結果並びに勝敗判定時のユーザーの顔画像の笑顔度及び面白顔度を、通信部２６を通じてサーバ装置５に送信する。このとき、にらめっこの継続時間も一緒にサーバ装置５に送信する。
【００４０】
［サーバ装置におけるくじ引きの処理］
表示システム１を利用したくじ引きの実施のために、サーバ装置５ではにらめっこの勝敗の結果に基づいてくじ引きの処理を実行する。
サーバ装置５の記憶部５４に格納された処理プログラム５４１は、制御部５５を、勝敗判定手段による判定時の笑顔度及び面白顔度に基づいて結果が変動するくじ引きの処理を行うくじ引き処理手段として機能させる。
即ち、くじ引き処理手段としての制御部５５は、デジタルサイネージ装置２の勝敗判定手段２３５から、勝敗判定時のユーザーの顔画像の笑顔度及び面白顔度並びににらめっこの継続時間のデータを受信すると、以下の演算により、にらめっこの総合評価点数を算出する。
ここで、ユーザーの顔画像の笑顔度をＳｕ、面白顔度をｆｕ、にらめっこの継続時間をｔｓ、これらの値を調整するための係数をそれぞれｋｓ、ｋｆ、ｋｔ（いずれも正の値）、総合評価点数をＭとすると、くじ引き処理手段としての制御部５５は、次式(1)により総合評価点数Ｍを算出する。
Ｍ＝（ｋｆ・ｆｕ）−（ｋｓ・Ｓｕ）−（ｋｔ・ｔｓ）        …(1)
なお、係数ｋｓ、ｋｆ、ｋｔは、Ｓｕ、ｆｕ、ｔｓのバランスを考慮して決定される。
【００４１】
一方、複数用意されたくじ引きの景品については、予め、重複を生じないように、それぞれに総合評価点数Ｍの数値範囲が対応付けられている。そして、くじ引き処理手段としての制御部５５は、算出した総合評価点数Ｍを数値範囲に含む景品を特定した上で、当落決定処理を実行する。この当落決定処理は、例えば、乱数発生処理を行い、得られた乱数が予め定めた当たり判定の数値範囲内に属するか否かによって当落を決定する。
【００４２】
また、にらめっこの総合評価点数Ｍによって景品を決定しているが、景品の決定の替わりに又は景品の決定と共に、総合評価点数Ｍに応じてくじ引きの当選確率を変動させても良い。例えば、当落決定処理において、当たり判定の数値範囲を総合評価点数Ｍの大小に応じて拡縮させる等の処理を加えても良い。
【００４３】
また、サーバ装置５の制御部５５は、くじ引きの各種の景品の在庫管理の処理も行っている。記憶部５４内のくじ引きの景品管理データ５４２は、各種の景品ごとに在庫数を記録している。そして、くじ引き処理手段としての制御部５５は、当落決定処理を行って当たりが発生した場合には、景品管理データ５４２に対して、その時の景品の在庫数を一つ減じる書き換え処理を実行する。
そして、くじ引き処理手段としての制御部５５は、通信部５３を通じて、くじ引きの当落結果及び当選時の景品をデジタルサイネージ装置２に通知する。
【００４４】
［携帯端末における景品受け取りの処理］
デジタルサイネージ装置２では、携帯端末４を通じてくじ引きの景品の引き渡しを行う。
この場合の景品は、金券、買い物割引券、商品引換券等として機能する電子クーポンである。
携帯端末４の制御部４６は、クーポン取得アプリ４５１を実行することにより、景品受け取り処理を実行する。
即ち、くじ引きの当選の結果と当選時の景品の通知を受信したデジタルサイネージ装置２のリーダライター部３１に近距離通信部４４を接近させると、制御部４６はデジタルサイネージ装置２から景品内容に応じた電子クーポンのクーポンデータ４５２を受信する。
このクーポンデータ４５２は、景品の内容を示した表示画像データであり、携帯端末４の表示部４１に表示することが可能である。そして、店頭で携帯端末４によりクーポンデータ４５２の提示を行うことにより、金券、買い物割引券又は商品引換券として使用することができる。
【００４５】
なお、クーポン取得アプリ４５１による処理として、デジタルサイネージ装置２からクーポンデータ４５２を取得する場合を例示したが、クーポン取得アプリ４５１によりサーバ装置５のクーポン受け取りアドレスを取得可能とし、デジタルサイネージ装置２を介さずにサーバ装置５からクーポンデータ４５２を受信することも可能である。
【００４６】
［デジタルサイネージ装置におけるにらめっこの処理の流れ］
表示システム１においてにらめっこによるくじ引きを実施する場合のデジタルサイネージ装置２におけるにらめっこの処理の流れを図８のフローチャートに基づいて説明する。
まず、デジタルサイネージ装置２は待機状態にあり、制御部２３は撮像部３０によりデジタルサイネージ装置２の表示部２４０の前方に対して定期的な撮像を実行する（ステップＳ１）。また、このとき、映像生成手段２３４は、表示部２４０に広告の表示や、キャラクターによるにらめっこの呼びかけ画像を表示させる。
【００４７】
そして、顔検出処理手段２３１は、撮像画像に対して顔画像の検出を実行する（ステップＳ３）。そして、制御部２３は、顔画像の検出の有無を判定し（ステップＳ５）、顔画像が検出されなかった場合にはステップＳ１に戻り、所定期間を待ってから再び撮像を行う。
また、顔画像が検出された場合には、デジタルサイネージ装置２の表示部２４０の正面側にユーザーとなる人物が存在することを意味するので、デジタルサイネージ装置２はにらめっこの開始準備状態に移行する。そして、映像生成手段２３４は、表示部２４０ににらめっこの説明画面を表示させる（ステップＳ７）。
この説明画面は、ユーザーに対して真顔で表示部２４０の正面に立つように誘導を行う内容となっている。この時、表示部２４０に基準となる枠を表示し、その枠内にユーザーの顔が入るように誘導する。この説明画面による誘導を行うと、制御部２３は撮像部３０により撮像を実行する（ステップＳ９）。そして、ユーザーの真顔が撮像されると、顔検出処理手段２３１は顔検出を行い、笑顔認識処理手段２３２は検出された顔画像から笑顔度を求め、面白顔認識処理手段２３３は検出された顔画像から面白顔度を求める（ステップＳ１１）。
これにより、ユーザーの真顔での笑顔度と面白顔度とが取得される。そして、これ以降の撮像による撮像画像から検出された顔画像から笑顔度を求める際には、必ず、ユーザーの真顔での笑顔度を減算する。また、同様に、これ以降の撮像による撮像画像から検出された顔画像から面白顔度を求める際には、必ず、ユーザーの真顔での面白顔度を減算する。これらにより、個々のユーザーの真顔における笑顔度及び面白顔度のバラつきを低減することができる。
【００４８】
次いで、映像生成手段２３４は、表示部２４０に、にらめっこの開始の合図として、キャラクターが開始を呼びかける画像を表示させる（ステップＳ１３）。このとき、表示画像に合わせて音声出力部３３から開始の合図の発声を出力させても良い。
これにより、デジタルサイネージ装置２は、にらめっこ実行状態に移行する。そして、制御部２３は、にらめっこの継続時間ｔｓの計時を開始する（ステップＳ１５）。
【００４９】
制御部２３は、にらめっこ実行状態に移行すると、撮像部３０により定期的な撮像を実行する（ステップＳ１７）。
そして、ユーザーが撮像されると、顔検出処理手段２３１は顔検出を行い、笑顔認識処理手段２３２は検出された顔画像から笑顔度を求め、面白顔認識処理手段２３３は検出された顔画像から面白顔度を求める（ステップＳ１９）。
そして、映像生成手段２３４は、求められたユーザーの顔画像の笑顔度及び面白顔度並びににらめっこの継続時間に基づいて、キャラクターの顔画像の表示制御を実行する。図９は図８のフローチャートのステップ２１に係るキャラクターの顔画像の表示制御の詳細を示すフローチャートである。
【００５０】
図９のキャラクターの顔画像の表示制御の説明において、ユーザーの顔画像の笑顔度をＳｕ、前回の撮像によるユーザーの顔画像の笑顔度をＳu-before、ユーザーの顔画像の笑顔度の閾値をＴｓ１〜Ｔｓ４（但し、Ｔｓ１＜Ｔｓ２＜Ｔｓ３＜Ｔｓ４）、キャラクターの笑顔度をＳｃ、ユーザーの顔画像の面白顔度をｆｕ、ユーザーの顔画像の面白顔度の閾値をＴｆ１〜Ｔｆ４（但し、Ｔｆ１＜Ｔｆ２＜Ｔｆ３＜Ｔｆ４）、キャラクターの面白顔度をｆｃとする。上記各閾値は適宜調整されるものとする。
また、キャラクターの笑顔度Ｓｃ及び面白顔度ｆｃは、にらめっこの開始の時点（ステップＳ１３の時点）で初期化されて0に設定されているものとする。
【００５１】
まず、映像生成手段２３４は、ユーザーの顔画像の面白顔度ｆｕが最も小さい閾値Ｔｆ１より小さいか判定する（ステップＳ４１）。そして、ユーザーの顔画像の面白顔度ｆｕが閾値Ｔｆ１より小さい場合には、キャラクターの笑顔度Ｓｃを所定値β１だけ減算して（ステップＳ４３）、ステップＳ５７に処理を進める。
つまり、ユーザーの顔画像の面白顔度ｆｕはかなり小さい値なので、キャラクターの笑顔度も低減させる。
なお、キャラクターの笑顔度Ｓｃを減算する所定値β１は、予め定めた規定値でも良いし、例えば、面白顔度ｆｕと閾値Ｔｆ１との差の絶対値としても良い。
【００５２】
また、ユーザーの顔画像の面白顔度ｆｕが閾値Ｔｆ１以上の場合には、映像生成手段２３４は、ユーザーの顔画像の面白顔度ｆｕが閾値Ｔｆ２より大きいか判定する（ステップＳ４５）。
このとき、ユーザーの顔画像の面白顔度ｆｕが閾値Ｔｆ２以下であれば、キャラクターの笑顔度Ｓｃは現在値のままに維持して（ステップＳ４７）、ステップＳ５７に処理を進める。
つまり、ユーザーの顔画像の面白顔度ｆｕはＴｆ１より大きくＴｆ２以下の値なので、あまり高いとは言えないことから、キャラクターの笑顔度Ｓｃを現在のままに維持する。
【００５３】
また、ユーザーの顔画像の面白顔度ｆｕが閾値Ｔｆ２より大きい場合には、映像生成手段２３４は、当該面白顔度ｆｕがさらに閾値Ｔｆ３より大きいか判定する（ステップＳ４９）。
このとき、ユーザーの顔画像の面白顔度ｆｕが閾値Ｔｆ３以下であれば、キャラクターの笑顔度Ｓｃを所定値β２だけ加算して（ステップＳ５１）、ステップＳ５７に処理を進める。
つまり、ユーザーの顔画像の面白顔度ｆｕはＴｆ２より大きくＴｆ３以下の値なので、ある程度高いことから、キャラクターの笑顔度Ｓｃも加算する。
なお、キャラクターの笑顔度Ｓｃに加算する所定値β２は、予め定めた規定値でも良いし、例えば、面白顔度ｆｕと閾値Ｔｆ２との差の絶対値としても良い。
【００５４】
また、ユーザーの顔画像の面白顔度ｆｕが閾値Ｔｆ３より大きい場合には、映像生成手段２３４は、当該面白顔度ｆｕがさらににらめっこの勝利条件である最大の閾値Ｔｆ４より大きいか判定する（ステップＳ５３）。
このとき、ユーザーの顔画像の面白顔度ｆｕが閾値Ｔｆ４以下であれば、キャラクターの笑顔度Ｓｃを規定の最大値として（ステップＳ５５）、ステップＳ５７に処理を進める。
つまり、ユーザーの顔画像の面白顔度ｆｕはＴｆ３より大きく、かなり高い値であることから、キャラクターの笑顔度Ｓｃも最大値とする。
【００５５】
また、ユーザーの顔画像の面白顔度ｆｕが閾値Ｔｆ４より大きい場合には、映像生成手段２３４は、処理を終了する。この場合には、勝敗判定手段２３５による判定に移行して、ユーザーの勝利が決定される。
【００５６】
つぎに、ステップＳ５７では、映像生成手段２３４は、ユーザーの顔画像の笑顔度Ｓｕが最も小さい閾値Ｔｓ１より小さいか判定する。そして、ユーザーの顔画像の笑顔度Ｓｕが閾値Ｔｓ１より小さい場合には、にらめっこの継続時間ｔｓが規定時間ｔｅを超えたか否かを判定する（ステップＳ５９）。
そして、にらめっこの継続時間ｔｓが規定時間ｔｅを超えている場合には、ユーザーがキャラクターの面白顔に全然面白みを感じていない状態が規定時間ｔｅだけ継続していることを意味するので、キャラクターの面白顔を他のパターンに変更する（ステップＳ６１）。このとき、継続時間ｔｓ及びキャラクターの面白顔度ｆｃを0にリセットする。そして、ステップＳ７９に処理進める。
また、にらめっこの継続時間ｔｓが規定時間ｔｅ以下の場合には、キャラクターの面白顔度ｆｃを現在値に維持して（ステップＳ６３）、ステップＳ７９に処理を進める。
【００５７】
また、ユーザーの顔画像の笑顔度Ｓｕが閾値Ｔｓ１以上の場合には、映像生成手段２３４は、ユーザーの顔画像の笑顔度Ｓｕが閾値Ｔｓ２より大きいか判定する（ステップＳ６５）。
このとき、ユーザーの顔画像の笑顔度Ｓｕが閾値Ｔｓ２以下であれば、映像生成手段２３４は、ユーザーの顔画像の笑顔度Ｓｕが前回の撮像によるユーザーの顔画像の笑顔度Ｓu-beforeより大きいか判定する（ステップＳ６７）。その結果、ユーザーの顔画像の笑顔度Ｓｕが前回の撮像によるユーザーの顔画像の笑顔度Ｓu-before以下の場合には、キャラクターの面白顔度ｆｃを現在値に維持して（ステップＳ６９）、ステップＳ７９に処理進める。
つまり、ユーザーの顔画像の笑顔度ＳｕはＴｓ１より大きくＴｓ２以下の値であって、前回の笑顔度Ｓu-beforeからも上昇していないので、あまり高いとは言えないことから、キャラクターの面白顔度ｆｃを現在のままに維持する。
【００５８】
また、ユーザーの顔画像の笑顔度Ｓｕが閾値Ｔｓ２又は前回の撮像によるユーザーの顔画像の笑顔度Ｓu-beforeを超える場合には、映像生成手段２３４は、ユーザーの顔画像の笑顔度Ｓｕがさらに閾値Ｔｓ３より大きいか判定する（ステップＳ７１）。
このとき、ユーザーの顔画像の笑顔度Ｓｕが閾値Ｔｓ３以下であれば、キャラクターの面白顔度ｆｃを所定値αだけ加算すると共ににらめっこの継続時間ｔｓを0にリセットする（ステップＳ７３）。そして、ステップＳ７９に処理を進める。
つまり、ユーザーの顔画像の笑顔度ＳｕはＴｓ２より大きくＴｓ３以下の値なので、ある程度高いことから、キャラクターの面白顔度ｆｃも加算して、ユーザーからさらに笑いを引き出そうとする。
なお、キャラクターの面白顔度ｆｃに加算する所定値αは、予め定めた規定値でも良いし、例えば、ユーザーの顔画像の笑顔度Ｓｕと閾値Ｔｓ２との差の絶対値（又はユーザーの顔画像の笑顔度Ｓｕと前回の撮像によるユーザーの顔画像の笑顔度Ｓu-beforeとの差の絶対値）としても良い。
【００５９】
また、ユーザーの顔画像の笑顔度Ｓｕが閾値Ｔｓ３より大きい場合には、映像生成手段２３４は、当該笑顔度Ｓｕがさらににらめっこの敗北条件である最大の閾値Ｔｓ４より大きいか判定する（ステップＳ７５）。
このとき、ユーザーの顔画像の笑顔度Ｓｕが閾値Ｔｓ４以下であれば、キャラクターの面白顔度ｆｃを規定の最大値として（ステップＳ７７）、ステップＳ７９に処理を進める。
つまり、ユーザーの顔画像の笑顔度ＳｕはＴｓ３より大きく、かなり高い値であることから、キャラクターの面白顔度ｆｃも最大値として、ユーザーをたたみかける。
【００６０】
また、ユーザーの顔画像の笑顔度Ｓｕが閾値Ｔｓ４より大きい場合には、映像生成手段２３４は処理を終了する。この場合には、勝敗判定手段２３５による判定に移行して、ユーザーの敗北が決定される。
【００６１】
つぎに、ステップＳ７９では、映像生成手段２３４は、にらめっこの継続時間ｔｓが最長継続時間ｔｍａｘを超えたか否かを判定する（なお、ｔｍａｘ＞ｔｅ）。そして、にらめっこの継続時間ｔｓが最長継続時間ｔｍａｘを超えていない場合には、キャラクターの顔画像の表示制御の処理が終了し、図８のステップＳ２３に処理が進められる。この場合は、図８のステップＳ１７に戻るので新たに撮像を行ってにらめっこが継続される。
また、にらめっこの継続時間ｔｓが最長継続時間ｔｍａｘを超えた場合には、勝敗判定手段２３５に移行して、ユーザーの顔画像の面白顔度と笑顔度から勝敗が決定される（ステップＳ８０）。即ち、勝敗判定手段２３５は、継続時間ｔｓが0〜ｔｍａｘを経過するまでの面白顔度ｆｕの累計から笑顔度Ｓｕの累計を減じた値が所定の閾値より大きいか否かにより決定する。面白顔度ｆｕの累計又は笑顔度Ｓｕの累計には所定の係数を乗じて重みを調節しても良い。これにより、にらめっこの勝敗が決定される。
【００６２】
図９のキャラクターの顔画像の表示制御（図８のステップＳ２１）が終わると、図８に示すように、勝敗判定手段２３５は、にらめっこの勝敗が決定したか否かを判定する（ステップＳ２３）。そして、にらめっこの勝敗が決定しなかった場合（図９のステップＳ７９においてＮＯだった場合）には、ステップＳ１７に処理を戻して、再び撮像を行ってにらめっこを継続する。
【００６３】
また、にらめっこの勝ち又は負けが決定した場合には、映像生成手段２３４により、表示部２４０においてキャラクターの顔画像の表示制御が行われる（ステップＳ２５）。例えば、ユーザーの勝ちが決定した場合には、キャラクターが最大限に笑っている顔画像から悔しがる顔画像に変化する表示が行われ、ユーザーの負けが決定した場合には、キャラクターが喜ぶ顔画像の表示が行われる。
【００６４】
そして、勝敗判定手段２３５は、にらめっこの勝敗結果、勝敗判定時のユーザーの顔画像の笑顔度及び面白顔度並びににらめっこの継続時間をサーバ装置５に送信する（ステップＳ２７）。
その後、サーバ装置５側において後述する図１０のフローチャートに基づいてくじ引きの処理が行われるので、デジタルサイネージ装置２の制御部２３はくじ引きの処理の結果の受信待ちを行う（ステップＳ２９）。
【００６５】
そして、サーバ装置５からくじ引きの結果を受信すると、映像生成手段２３４は、くじ引きの結果が当たりか否かを判定する（ステップＳ３１）。そして、外れの場合には、映像生成手段２３４は、表示部２４０において、くじ引きが外れであることを通知する画面を表示して処理全体を終了する（ステップＳ３７）。このときキャラクターががっかりする顔画像や再戦を促す画面を表示しても良い。
また、当たりの場合には、映像生成手段２３４は、表示部２４０において、くじ引きが当たりであること及び景品内容を通知する画面を表示する（ステップＳ３３）。このときキャラクターが大喜びする顔画像を表示しても良い。
【００６６】
くじ引きが当たりの際には、制御部２３は、予めデータ記憶部２５２に格納されていた景品内容に応じた電子クーポンのクーポンデータを呼び出して、携帯端末４へ送信可能な状態で待機する。待機中は、表示部２４０において、携帯端末４をデジタルサイネージ装置２のリーダライター部３１へかざすように受け渡して手順を示したガイド画面を表示する（ステップＳ３５）。
そして、携帯端末４がリーダライター部３１へかざされると、クーポンデータを送信して、処理全体を終了する。
【００６７】
［サーバ装置におけるくじ引きの処理の流れ］
表示システム１においてにらめっこによるくじ引きを実施する場合のサーバ装置５におけるくじ引きの処理の流れを図１０のフローチャートに基づいて説明する。
サーバ装置５の制御部５５は、デジタルサイネージ装置２からにらめっこの勝敗結果、勝敗判定時のユーザーの顔画像の笑顔度及び面白顔度並びににらめっこの継続時間の受信待ちを行っており（ステップＳ８１）、受信するとこれらから前述した式(1)に基づいて総合評価点数を算出する（ステップＳ８３）。
そして、その総合評価点数から景品を特定し（ステップＳ８５）、当落決定処理を実行する（ステップＳ８７）。つまり、乱数を発生させてそれが当たりの数値範囲内か否かを判定する（ステップＳ８９）。
これにより、当たりと判定した場合には、制御部５５は、その通信部５３からデジタルサイネージ装置２に対して当たりであること及び選択された景品の内容を示す情報を通知する（ステップＳ９１）。そして、記憶部５４内の景品管理データ５４２について当選の景品の在庫数をひとつ減じる内容に更新して（ステップＳ９３）、くじ引きの処理を完了する。
また、当落決定処理の結果がはずれの場合には、制御部５５は、その通信部５３からデジタルサイネージ装置２に対してはずれであることを通知して（ステップＳ９５）、くじ引きの処理を完了する。
【００６８】
［表示システムの技術的な効果］
表示システム１のデジタルサイネージ装置２は、その制御部２３が、撮像画像から顔検出処理を行う顔検出処理手段２３１と、顔画像の笑顔度を求める笑顔認識処理手段２３２と、顔画像の面白顔度を求める面白顔認識処理手段２３３と、表示部２４０にキャラクターの顔画像を表示する映像生成手段２３４と、笑顔度及び面白顔度からにらめっこの勝敗判定を行う勝敗判定手段２３５として機能している。
また、サーバ装置５では、その制御部５５が、勝敗判定手段２３５による笑顔度及び面白顔度に基づいてくじ引き処理を行うくじ引き処理手段として機能している。
そのため、表示システム１では、デジタルサイネージ装置２とサーバ装置５との連携により、デジタルサイネージ装置２において、ユーザーに対する情報表示や画像表示だけでなく、くじ引きへの参加を促すことができ、ユーザーを繰り返しデジタルサイネージ装置２に立ち寄らせることができ、注目度、広告効果、集客効果の向上を図ることが可能となる。
さらに、この表示システム１では、にらめっこに興じることができるので、特に低年齢層のユーザーまで関心を喚起し、より高い注目度による広告効果及び集客効果を得ることが可能である。
【００６９】
また、デジタルサイネージ装置２において、映像生成手段２３４は、待機状態での撮像により顔検出処理手段２３１が顔画像を取得すると、表示部２４０ににらめっこの説明画像を表示させるので、撮像範囲内を通りがかったユーザーに対してにらめっこの参加を積極的に促すことができ、より高い注目度による広告効果及び集客効果を得ることが可能である。
【００７０】
また、デジタルサイネージ装置２において、映像生成手段２３４は、面白顔認識処理手段２３３が求めた面白顔度に応じて、表示部２４０に表示するキャラクターの顔画像の笑顔度を変化させるので、ユーザーは実際のにらめっこに近い臨場感を味わうことができ、にらめっこの興趣性を高めることが可能となる。
【００７１】
また、デジタルサイネージ装置２において、映像生成手段２３４は、笑顔認識処理手段２３２が求めた笑顔度に応じて、表示部２４０に表示するキャラクターの顔画像の面白顔度を変化させるので、状況に応じてにらめっこの難易度が変化し、にらめっこの興趣性を高めることが可能となる。
【００７２】
また、デジタルサイネージ装置２において、勝敗判定手段２３５は、面白顔認識処理手段２３３が求めた面白顔度又は笑顔認識処理手段２３２が求めた笑顔度が一定の勝敗条件を満たすことにより勝敗判定を行っている。
そして、サーバ装置５において、制御部５５によるくじ引き処理手段は、笑顔度及び面白顔度だけでなく、にらめっこの継続時間も加味して結果が変動するくじ引き処理を行うので、ユーザーは勝敗を早くに決するためによりにらめっこに集中するため、にらめっこの興趣性を高めることが可能となる。
【００７３】
［第二の実施形態］
以下に、本発明の第二の実施の形態について図面を用いて説明する。ただし、以下に述べる第二の実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
この第二の実施の形態では、表示装置としてのデジタルサイネージ装置２Ａ単体により、にらめっこを用いたくじ引きを実施する場合を例示する。
【００７４】
このデジタルサイネージ装置２Ａにおいて、図２及び図３に示すデジタルサイネージ装置２と同一の構成については同符号を付して重複する説明は省略する。また、デジタルサイネージ装置２と同一の構成については図２又は図３を参照する。
そして、以下の説明では、デジタルサイネージ装置２Ａがデジタルサイネージ装置２と異なる点のみについて説明する。
このデジタルサイネージ装置２Ａは、記憶部２５に格納された処理プログラム２５１により、その制御部２３が、図１１に示すように、顔検出処理手段２３１、笑顔認識処理手段２３２、面白顔認識処理手段２３３、映像生成手段２３４、勝敗判定手段２３５に加えて、くじ引き処理手段２３６として機能する。なお、各手段２３１〜２３５の機能は図６において説明した内容と同一である。
【００７５】
このくじ引き処理手段２３６は、前述したサーバ装置５の制御部５５が行っていたくじ引き処理手段としての機能を同じ機能を果たすことができる。
即ち、くじ引き処理手段２３６は、勝敗判定手段２３５から、勝敗判定時のユーザーの顔画像の笑顔度及び面白顔度並びににらめっこの継続時間のデータを受け取り、前述した式(1)によって総合評価点数Ｍを算出する。
そして、デジタルサイネージ装置２Ａのデータ記憶部２５２には、複数のくじ引きの景品とそれぞれの総合評価点数Ｍの数値範囲との対応付けデータが格納されている。また、図５に示すサーバ装置５が保有していた景品管理データと同じデータがデータ記憶部２５２に格納されている。
くじ引き処理手段２３６は、景品と総合評価点数Ｍの数値範囲の対応付けデータを参照して、景品を特定し、当落判定処理を行う。当落判定処理は、乱数発生処理を行い、得られた乱数が予め定めた当たり判定の数値範囲内に属するか否かによって当落を決定する。
このくじ引き処理手段２３６は、総合評価点数Ｍによってくじ引きの当選確率を変動させても良い。
さらにくじ引き処理手段２３６は、当落決定処理を行って当たりが発生した場合には、景品管理データに対して、その時の景品の在庫数を一つ減じる書き換え処理を実行する。
そして、くじ引き処理手段２３６は、くじ引きの当落結果及び当選時の景品を映像生成手段２３４に通知する。
【００７６】
このように、デジタルサイネージ装置２Ａは、制御部２３がくじ引き処理手段２３６として機能し、これによりサーバ装置５を使用せずににらめっこによるくじ引きを可能とする。
かかるデジタルサイネージ装置２Ａのにらめっこによるくじ引きの処理について図１２のフローチャートに基づいて説明する。
【００７７】
まず、デジタルサイネージ装置２Ａはにらめっこの処理を実行する（ステップＳ１０１）。このにらめっこの処理は、デジタルサイネージ装置２が行うステップＳ１〜Ｓ２５までの処理（図８参照）と同一であるため説明は省略する。
にらめっこの処理により得られた、にらめっこの勝敗結果、勝敗判定時のユーザーの顔画像の笑顔度及び面白顔度並びににらめっこの継続時間に基づいて、くじ引き処理手段２３６は、式(1)に基づいて総合評価点数を算出する（ステップＳ１０３）。
そして、その総合評価点数から景品を特定し（ステップＳ１０５）、当落決定処理を実行する（ステップＳ１０７）。つまり、乱数を発生させてそれが当たりの数値範囲内か否かを判定する（ステップＳ１０９）。
【００７８】
これにより、当たりと判定した場合には、くじ引き処理手段２３６は、データ記憶部２５２内の景品管理データについて当選の景品の在庫数をひとつ減じる内容に更新する（ステップＳ１１１）。
そして、映像生成手段２３４は、表示部２４０において、くじ引きが当たりであること及び景品内容を通知する画面（例えば、キャラクターが大喜びする顔画像等）を表示する（ステップＳ１１３）。
【００７９】
さらに、くじ引きが当たりの際には、制御部２３は、データ記憶部２５２から景品内容に応じた電子クーポンのクーポンデータを呼び出して、携帯端末４へ送信可能な状態で待機する。待機中は、表示部２４０において、携帯端末４をデジタルサイネージ装置２のリーダライター部３１へかざすように受け渡し手順を示したガイド画面を表示する（ステップＳ１１５）。
そして、携帯端末４がリーダライター部３１へかざされると、クーポンデータを送信して、処理全体を終了する。
【００８０】
また、映像生成手段２３４は、くじ引きの結果が外れの場合には、表示部２４０において、くじ引きが外れであることを通知する画面（例えば、キャラクターががっかりする顔画像や再戦を促す画面等）を表示して処理全体を終了する（ステップＳ１１７）。
【００８１】
デジタルサイネージ装置２Ａは、その制御部２３が、撮像画像から顔検出処理を行う顔検出処理手段２３１と、顔画像の笑顔度を求める笑顔認識処理手段２３２と、顔画像の面白顔度を求める面白顔認識処理手段２３３と、表示部にキャラクターの顔画像を表示する映像生成手段２３４と、笑顔度及び面白顔度からにらめっこの勝敗判定を行う勝敗判定手段２３５と、勝敗判定手段２３５による笑顔度及び面白顔度に基づいてくじ引き処理を行うくじ引き処理手段２３６として機能している。
従って、デジタルサイネージ装置２Ａ単独により、ユーザーに対する情報表示や画像表示だけでなく、くじ引きへの参加を促すことができ、注目度、広告効果、集客効果の向上を図ることが可能となる。また、にらめっこによるくじ引きなので、特に低年齢層のユーザーまで関心を喚起し、より高い注目度による広告効果及び集客効果を得ることが可能である。
【００８２】
また、デジタルサイネージ装置２Ａもまた、映像生成手段２３４が、待機状態で顔画像を取得すると、にらめっこの説明画像を表示させるので、より高い注目度による広告効果及び集客効果を得ることが可能である。
また、デジタルサイネージ装置２Ａもまた、映像生成手段２３４が、ユーザーの面白顔度に応じて、キャラクターの顔画像の笑顔度を変化させて表示するので、その臨場感によりにらめっこの興趣性を高めることができる。
また、デジタルサイネージ装置２Ａもまた、映像生成手段２３４が、ユーザーの笑顔度に応じて、キャラクターの顔画像の面白顔度を変化させるので、難易度の変化によるにらめっこの興趣性を高めることが可能となる。
また、デジタルサイネージ装置２Ａは、くじ引き処理手段２３６が、笑顔度及び面白顔度だけでなく、にらめっこの継続時間も加味して結果が変動するくじ引き処理を行うので、ユーザーがよりにらめっこに集中するため、にらめっこの興趣性を高めることが可能となる。
【００８３】
［その他］
第１の実施形態の表示システム１に含まれるデジタルサイネージ装置２は、にらめっこの勝敗結果等をサーバ装置５に送信して当該サーバ装置５からくじ引きの当落結果等を受信している。これに対して、デジタルサイネージ装置２をネットワークＮから分離してサーバ装置５との情報の送受を行わない構成とした場合には、にらめっこを行うことが可能なデジタルサイネージ装置２（表示装置）として使用することが可能である。もし、そのような用途に特化してデジタルサイネージ装置２を使用する場合には、デジタルサイネージ装置２からサーバ装置５との通信機能を除去しても良い。
また、その場合に、にらめっこの勝敗結果や勝敗判定時の面白顔度、笑顔度及びにらめっこの継続時間によって景品を決定し、与えても良い。
これらの場合でも、デジタルサイネージ装置２は、にらめっこにより、普通年齢層から低年齢層のユーザーまで関心を喚起し、注目度、広告効果、集客効果の向上を図ることが可能となる。
【００８４】
なお、第一及び第二の実施の形態では、くじ引きの景品を携帯端末４により取得する場合を例示したが、店頭でクーポン券や商品を直接手渡しすることにより、携帯端末４を使用しない表示システムを構築することも可能である。
【００８５】
また、第一の実施の形態では、デジタルサイネージ装置２が単体である場合を例示したが、例えば、複数の提携店舗ごとにデジタルサイネージ装置２を設置し、これら複数のデジタルサイネージ装置２が全てネットワークＮを通じてサーバ装置５と接続された表示システム１を構築することも可能である。この場合、離れている各店舗でここに受け渡しが行われる景品の在庫を一括して管理することができる。
【００８６】
また、第一又は第二の実施の形態では、サーバ装置５におけるくじ引きの処理又はデジタルサイネージ装置２Ａにおけるくじ引きの処理では、ユーザーの顔画像の笑顔度と面白顔度とにらめっこの継続時間とをパラメータとして総合評価点数を求め、景品を特定してからさらに乱数により当落を判定しているが、この当落判定を省略しても良い。例えば、総合評価点数の数値範囲としてはずれの範囲も加えることで、総合評価点数のみを利用して当落を決定することが可能である。
また、サーバ装置５におけるくじ引きの処理又はデジタルサイネージ装置２Ａにおけるくじ引きの処理では、総合評価点数を算出する処理を省略して、にらめっこの結果が勝ち負けのいずれであるかのみを考慮して、景品を選択したり、くじ引きの当落確率を調整しても良い。
【００８７】
また、本発明は上記実施形態に限らず適宜変更可能である。
例えば、本実施形態では、デジタルサイネージ装置２との通信を行うため、それ専用のアプリケーションを実行するようになっているが、これ以外にも携帯端末４に搭載されているインターネットブラウザによってネット上のアプリケーションを実行することでデジタルサイネージ装置２との通信を行うことも可能である。
【００８８】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
【００８９】
〔付記〕
＜請求項１＞
所定のキャラクターの顔画像を表示する表示部と、
撮像を行う撮像部と、
前記撮像部による撮像画像から顔検出処理を行い、人物の顔画像を検出する顔検出処理手段と、
予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の笑顔の度合いを示す笑顔度を求める笑顔認識処理手段と、
予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の面白みの度合いを示す面白顔度を求める面白顔認識処理手段と、
前記表示部に前記キャラクターの顔画像の表示制御を行う映像生成手段と、
前記撮像部による撮像画像から検出された顔画像に基づく前記笑顔度及び前記面白顔度に基づいてにらめっこの勝敗判定を行う勝敗判定手段と、
前記勝敗判定手段による判定結果又は判定時の前記笑顔度及び前記面白顔度に基づいて結果が変動するくじ引き処理を行うくじ引き処理手段と、
を備えることを特徴とする表示装置。
＜請求項２＞
前記映像生成手段は、にらめっこを行っていない待機状態で前記顔検出処理手段が前記顔画像を取得すると、前記表示部ににらめっこの説明画像を表示させることを特徴とする請求項１記載の表示装置。
＜請求項３＞
前記映像生成手段は、前記面白顔認識処理手段が求めた前記面白顔度に応じて、前記表示部に表示する前記キャラクターの顔画像を変化させることを特徴とする請求項１又は２記載の表示装置。
＜請求項４＞
前記映像生成手段は、前記笑顔認識処理手段が求めた前記笑顔度に応じて、前記表示部に表示する前記キャラクターの顔画像を変化させることを特徴とする請求項１から３のいずれか一項に記載の表示装置。
＜請求項５＞
前記勝敗判定手段は、前記面白顔認識処理手段が求めた前記面白顔度又は前記笑顔認識処理手段が求めた前記笑顔度が一定の勝敗条件を満たすことにより勝敗判定を行い、
前記くじ引き処理手段は、にらめっこの継続時間も加味して結果が変動するくじ引き処理を行うことを特徴とする請求項１から４のいずれか一項に記載の表示装置。
＜請求項６＞
所定のキャラクターの顔画像を表示する表示部と撮像を行う撮像部とを有する表示装置のコンピュータを、
前記撮像部による撮像画像から顔検出処理を行い、人物の顔画像を検出する顔検出処理手段、
予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の笑顔の度合いを示す笑顔度を求める笑顔認識処理手段、
予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の面白みの度合いを示す面白顔度を求める面白顔認識処理手段、
前記表示部に前記キャラクターの顔画像の表示制御を行う映像生成手段、
前記撮像部による撮像画像から検出された顔画像に基づく前記笑顔度及び前記面白顔度に基づいてにらめっこの勝敗判定を行う勝敗判定手段、
前記勝敗判定手段による判定結果又は判定時の前記笑顔度及び前記面白顔度に基づいて結果が変動するくじ引き処理を行うくじ引き処理手段、
として機能させることを特徴とするプログラム。
＜請求項７＞
表示装置とサーバ装置とを備える表示システムであって、
前記表示装置は、
所定のキャラクターの顔画像を表示する表示部と、
撮像を行う撮像部と、
前記撮像部による撮像画像から顔検出処理を行い、人物の顔画像を検出する顔検出処理手段と、
予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の笑顔の度合いを示す笑顔度を求める笑顔認識処理手段と、
予め定められた条件に従って、前記撮像部による撮像画像から検出された顔画像の面白みの度合いを示す面白顔度を求める面白顔認識処理手段と、
前記表示部に前記キャラクターの顔画像の表示制御を行う映像生成手段と、
前記撮像部による撮像画像から検出された顔画像に基づく前記笑顔度及び前記面白顔度に基づいてにらめっこの勝敗判定を行う勝敗判定手段と、を備え、
前記サーバ装置は、
前記勝敗判定手段による判定結果又は判定時の前記笑顔度及び前記面白顔度に基づいて結果が変動するくじ引き処理を行うくじ引き処理手段を備えることを特徴とする表示システム。
【符号の説明】
【００９０】
１  表示システム
２，２Ａ  デジタルサイネージ装置
４  携帯端末
５  サーバ装置
２３  制御部
２４  プロジェクタ
２５  記憶部
２７  画像形成部
３０  撮像部
３１  リーダライター部
５４  記憶部
５５  制御部
２３１  顔検出処理手段
２３２  笑顔認識処理手段
２３３  面白顔認識処理手段
２３４  映像生成手段
２３５  勝敗判定手段
２３６  くじ引き処理手段
２４０  表示部
２５１  処理プログラム
２５２  データ記憶部
４５２  クーポンデータ
５４１  処理プログラム
５４２  景品管理データ
【図１】
2014183898.tif 000003
【図２】
2014183898.tif 000004
【図３】
2014183898.tif 000005
【図４】
2014183898.tif 000006
【図５】
2014183898.tif 000007
【図６】
2014183898.tif 000008
【図７】
2014183898.tif 000009
【図８】
2014183898.tif 000010
【図９】
2014183898.tif 000011
【図１０】
2014183898.tif 000012
【図１１】
2014183898.tif 000013
【図１２】
2014183898.tif 000014