(57)【要約】      （修正有）【課題】シミュレータ周辺に配置されて、シミュレータを操作する参加者と観覧客のリアクションによりリアクション報奨ができるシミュレーション参加者のリアクション報奨方法および装置を提供する。【解決手段】シミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報奨方法は、カメラおよびマイクのうち少なくとも一つを利用して参加者がシミュレーションに参加する間参加者の映像情報と音声情報のうち少なくとも一つを収集する段階、収集した映像情報と音声情報のうち少なくとも一つから参加者の少なくとも一つのリアクションを検出する段階、検出したリアクションのリアクションレベルを決定する段階および決定したリアクションレベルが一定値以上の場合、参加者に報奨支給を決定する報奨支給決定段階を含む。【選択図】図１
2019032838.tif 000002
【特許請求の範囲】
【請求項１】
シミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報償方法であって、
カメラおよびマイクのうち少なくとも一つから前記参加者が前記シミュレーションに参加する間前記参加者の映像情報と音声情報のうち少なくとも一つを収集する段階、
前記収集した映像情報と音声情報のうち少なくとも一つから前記参加者の少なくとも一つのリアクションを検出する段階、
前記検出したリアクションのリアクションレベルを決定する段階、および、
前記決定したリアクションレベルが一定値以上の場合、前記参加者に報償支給を決定する報償支給決定段階を含む、
シミュレーション参加者のリアクション報償方法。
【請求項２】
前記リアクションは、前記参加者の声出し、声の大きさの変化、表情の変化および身振りの変化のうち少なくともいずれか一つを含むものである、請求項１に記載のシミュレーション参加者のリアクション報償方法。
【請求項３】
前記少なくとも一つのリアクションを検出する段階は、シミュレーション中に参加者のリアクションが予想される一つ以上のあらかじめ定められた時点で行われる、請求項１に記載のシミュレーション参加者のリアクション報償方法。
【請求項４】
前記リアクションレベルを決定する段階で前記リアクションレベルは、各リアクションの類型により別途の基準で定められるものである、請求項１に記載のシミュレーション参加者のリアクション報償方法。
【請求項５】
前記リアクションレベルを決定する段階は、前記リアクションの類型のうちいずれか一つのリアクションレベル値により決定されるか、または複数個のリアクションの類型に対してリアクションの類型別に異なる加重値を設け、リアクションレベル値を合算して行われるものである、請求項４に記載のシミュレーション参加者のリアクション報償方法。
【請求項６】
前記リアクションの類型のうち参加者の声の大きさの変化に対する加重値が最も高い、請求項５に記載のシミュレーション参加者のリアクション報償方法。
【請求項７】
前記リアクションレベルを決定する段階は、シミュレーションのあらかじめ定められた一つ以上の時点で検出したリアクションレベル値を合算して行われるものである、請求項５に記載のシミュレーション参加者のリアクション報償方法。
【請求項８】
前記リアクションレベルを決定する段階は、各リアクションの類型別に定められた臨界値以上の場合のレベル値のみを合算して行われるものである、請求項４に記載のシミュレーション参加者のリアクション報償方法。
【請求項９】
前記リアクションレベルを決定する段階は、一つ以上の観覧客のリアクションレベルを含んで行われるものである、請求項１に記載のシミュレーション参加者のリアクション報償方法。
【請求項１０】
前記観覧客のリアクションレベルは、各観覧客のリアクションレベル値を合算した第１合算値、全観覧客の声の大きさの変化または観覧客数の変化のような全観覧客のリアクションレベル値の一つ以上を合算した第２合算値、または前記第１および第２合算値を組み合わせた合算値で決定され得る、請求項９に記載のシミュレーション参加者のリアクション報償方法。
【請求項１１】
前記報償は、ポイント、景品、割引券、無料クーポン、現場割引クーポンおよびマイレージのうち少なくとも一つを含む、請求項１に記載のシミュレーション参加者のリアクション報償方法。
【請求項１２】
前記報償支給決定段階は、リアクションレベルに応じてリアクション報償を差等支給する段階を含むものである、請求項１に記載のシミュレーション参加者のリアクション報償方法。
【請求項１３】
前記シミュレーション参加者を識別する段階をさらに含む、請求項１に記載のシミュレーション参加者のリアクション報償方法。
【請求項１４】
前記決定したリアクションレベルが一定値以上の参加者が登録された会員であるかを確認する段階、および前記参加者が登録された会員ではない場合、前記参加者の会員加入のための会員加入画面を生成する段階をさらに含み、前記会員加入画面は前記参加者のＩＤおよび携帯電話番号の入力を受けるための情報入力領域を含む、請求項１３に記載のシミュレーション参加者のリアクション報償方法。
【請求項１５】
前記収集段階は、前記シミュレータが位置した現場端末機によって遂行され、前記検出段階、前記レベル決定段階および前記報償支給決定段階は、サーバーで遂行され、前記現場端末機と前記サーバーは相互に通信するものである、請求項１に記載のシミュレーション参加者のリアクション報償方法。
【請求項１６】
シミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報償装置であって、
カメラおよびマイクのうち少なくとも一つを利用して前記参加者が前記シミュレーションに参加する間前記参加者の映像情報と音声情報のうち少なくとも一つを収集する情報収集部、
前記収集した映像情報と音声情報のうち少なくとも一つから前記参加者の少なくとも一つのリアクションを検出し、前記検出したリアクションのリアクションレベルを決定するリアクションレベル決定部、および、
前記決定したリアクションレベルが一定値以上の場合、前記参加者にリアクション報償支給を決定する報償支給決定部を含み、
請求項１に記載された方法の各段階を実行する、
シミュレーション参加者のリアクション報償装置。
【請求項１７】
前記シミュレーション参加者を識別する識別部をさらに含む、請求項１６に記載のシミュレーション参加者のリアクション報償装置。
【請求項１８】
前記決定したリアクションレベルが一定値以上の参加者が登録された会員であるかを確認し、前記参加者が登録された会員ではない場合、前記参加者の会員加入のための会員加入画面を生成する会員管理部をさらに含み、前記会員加入画面は前記参加者のＩＤおよび携帯電話番号の入力を受けるための情報入力領域を含む、請求項１６に記載のシミュレーション参加者のリアクション報償装置。
【請求項１９】
前記シミュレーション参加者のリアクション報償装置は知能型ロボット装置であり、前記知能型ロボット装置は前記シミュレータの内部または周辺に位置したカメラまたはマイクからまたは前記知能型ロボット装置の一側に装着されたカメラまたはマイクから情報を受信するものである、請求項１６に記載のシミュレーション参加者のリアクション報償装置。
【請求項２０】
シミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報償サーバーであって、
前記シミュレータが位置した現場端末機から、前記参加者が前記シミュレーションに参加する間前記参加者の映像情報と音声情報のうち少なくとも一つを受信するサーバー通信部、
前記受信した映像情報と音声情報のうち少なくとも一つから前記参加者の少なくとも一つのリアクションを検出し、前記検出したリアクションのリアクションレベルを決定するリアクションレベル決定部、および、
前記決定したリアクションレベルが一定値以上の場合、前記参加者にリアクション報償支給を決定する報償支給決定部を含む、
シミュレーション参加者のリアクション報償サーバー。
【請求項２１】
シミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報償方法であって、
リアクション報償サーバーで遂行され、
前記シミュレータが位置した現場端末機から、前記参加者が前記シミュレーションに参加する間前記参加者の映像情報と音声情報のうち少なくとも一つを受信する段階、
前記受信した映像情報と音声情報のうち少なくとも一つから前記参加者の少なくとも一つのリアクションを検出する段階、
前記検出したリアクションのリアクションレベルを決定する段階、および、
前記決定したリアクションレベルが一定値以上の場合、前記参加者に報償支給を決定する報償支給決定段階を含む、
シミュレーション参加者のリアクション報償方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はシミュレーション参加者のリアクション報償（ＲＥＷＡＲＤＩＮＧ）方法および装置に関するものであって、より詳細には、シミュレータ周辺に配置されて、シミュレータを操作する参加者と観覧客のリアクションを感知し、感知したリアクションにより報償を支給できるシミュレーション参加者のリアクション報償方法および装置に関するものである。
【背景技術】
【０００２】
シミュレータ（特に、モーションシミュレータ）は、コンピュータによって制御される仮想環境に合うように動的変化を再現することによって、参加者に仮想現実の動きを現実のように感じさせる装置である。シミュレータは、シミュレーション画面、操作レバー、２次元または３次元で移動する参加者が着席する椅子を含むことができる。また、シミュレータは、シミュレータの回転運動および直線運動のための構成を含み、前後方向（Ｚ軸）、左右方向（Ｘ軸）および上下方向（Ｙ軸）への直線運動と、Ｚ軸を回転中心とするローリング（Ｒｏｌｌｉｎｇ）、Ｘ軸を回転中心とするピッチング（Ｐｉｔｃｈｉｎｇ）およびＹ軸を回転中心とするヨーイング（Ｙａｗｉｎｇ）回転運動の組み合わせで動くことができる。
これに伴い、参加者がシミュレータで操作レバーを操作すると、シミュレータは参加者の操作により動くことができるため、シミュレータを通じて動作するシミュレーションを進行する参加者の没入度を高めることができる長所がある。
【０００３】
このような特徴のため、シミュレータは飛行シミュレーションや運転シミュレーションなどに適用されており、最近では３次元を体感できるようにゲーム用や劇場用シミュレータなどに広く活用されている。
【０００４】
このようなシミュレータを活用した事業の売り上げは現場の雰囲気に大きく影響を受ける。従来はシミュレータの利用を補助するためのサービスを提供する人を採用し、採用したサービス提供人を通じて周辺の観覧客の関心度を高めて、現場の雰囲気が良くなるように多様なコメントを遂行する方式を採択した。
しかし、このような補助要員の費用が売り上げに対し相対的に高く、一般の短期アルバイトでは周辺の観覧客の関心度を高めるには限界があり、熟達した人でも持続的に高い水準のサービスを提供するのは難しい。
【０００５】
一方、従来、ゲームシミュレータ参加者は、ゲームのスキルが高いかシミュレーションをよく利用する場合に報償をもらっていた。すなわち、ゲームスキルの高い参加者は例えば、アイテムを取得でき、ゲームシミュレータをよく利用する参加者はシミュレータ運営者から例えば、訪問回数に応じて割引クーポンをもらった。これは周辺の観覧客の関心を引く手段というよりは参加者本人に対する報償に過ぎないものであった。
【０００６】
したがって、参加者以外にも観覧客のシミュレーションの没入度と興味を高めることができ、現場の雰囲気の改善に利用される費用を大幅に節減できる新しい技法が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、熟練した人がいなくてもシミュレーションの現場の雰囲気を盛り上げ、参加者と観覧客のシミュレーションの没入度を高めたり、シミュレーションへの参加を最大化できるシミュレーション参加者のリアクション報償方法および装置を提供することにその目的がある。
【課題を解決するための手段】
【０００８】
本発明の一実施例に係るシミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報償方法は、カメラおよびマイクのうち少なくとも一つを利用して参加者がシミュレーションに参加する間参加者の映像情報と音声情報のうち少なくとも一つを収集する段階、収集した映像情報と音声情報のうち少なくとも一つから参加者の少なくとも一つのリアクションを検出する段階、検出したリアクションのリアクションレベルを決定する段階および決定したリアクションレベルが一定値以上の場合、参加者にリアクション報償支給を決定する報償支給決定段階を含む。
【０００９】
また、リアクションは参加者の声出し、声の大きさの変化、表情の変化および身振りの変化のうち少なくともいずれか一つを含むことができる。
【００１０】
また、少なくとも一つのリアクションを検出する段階は、シミュレーション中に参加者のリアクションが予想される一つ以上のあらかじめ定められた時点で行われ得る。
【００１１】
また、リアクションレベルを決定する段階においてリアクションのレベルは、各リアクションの類型により別途の基準で定められ得る。
【００１２】
また、リアクションレベルを決定する段階は、リアクションの類型のうちいずれか一つのリアクションレベル値により決定されるか、または複数個のリアクションの類型に対してリアクションの類型別に異なる加重値を設け、リアクションレベル値を合算してリアクションレベルを決定することができる。
【００１３】
また、リアクションの類型のうち参加者の声の大きさの変化に対する加重値が最も高くてもよい。
【００１４】
また、リアクションレベルを決定する段階は、シミュレーションのあらかじめ定められた一つ以上の時点で検出したリアクションレベル値を合算して決定することによって行われ得る。
【００１５】
また、リアクションレベルを決定する段階は、各リアクションの類型別に定められた臨界値以上の場合のレベル値のみを合算して決定され得る。
【００１６】
また、リアクションレベルを決定する段階は、一つ以上の前記シミュレーション観覧客のリアクションレベルを含んで決定され得る。
【００１７】
また、観覧客のリアクションレベルは、各観覧客のリアクションレベル値を合算した第１合算値、全観覧客の声の大きさの変化または観覧客数の変化のような全観覧客のリアクションレベル値の一つ以上を合算した第２合算値、または第１および第２合算値を組み合わせた合算値で決定され得る。
【００１８】
また、報償は、ポイント、景品、割引券、無料クーポン、現場割引クーポン、マイレージのうち少なくとも一つを含むことができる。
【００１９】
また、報償支給決定段階は、リアクションレベルに応じてリアクション報償を差等支給する段階を含むことができる。
【００２０】
また、本発明の一実施例に係るシミュレーション参加者のリアクション報償方法は、シミュレーション参加者を識別する段階をさらに含むことができる。
【００２１】
また、本発明の一実施例に係るシミュレーション参加者のリアクション報償方法は、決定したリアクションレベルが一定値以上の参加者が登録された会員であるかを確認する段階、および参加者が登録された会員ではない場合、参加者の会員加入のための会員加入画面を生成する段階をさらに含み、会員加入画面は参加者のＩＤおよび携帯電話番号の入力を受けるための情報入力領域を含むことができる。
【００２２】
本発明の一実施例に係るシミュレーション参加者のリアクション報償方法は、映像、音声情報収集段階は前記シミュレータが位置した現場端末機によって遂行され、リアクション検出段階、リアクションレベル決定段階および参加者に対する報償支給決定段階はサーバーで遂行され得、前記現場端末機と前記サーバーは相互に通信するものであり得る。
【００２３】
本発明の一実施例に係るシミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報償装置は、カメラおよびマイクのうち少なくとも一つを利用して参加者がシミュレーションに参加する間参加者の映像情報と音声情報のうち少なくとも一つを収集する情報収集部、収集した映像情報と音声情報のうち少なくとも一つから参加者の少なくとも一つのリアクションを検出し、検出したリアクションのリアクションレベルを決定するリアクションレベル決定部および決定したリアクションレベルが一定値以上の場合、参加者にリアクション報償支給を決定する報償支給決定部を含み、前述した方法の各段階を実行することができる。
【００２４】
また、報償は、ポイント、景品、割引券、無料クーポン、現場割引クーポン、マイレージのうち少なくとも一つを含むことができる。
【００２５】
また、報償支給決定部はリアクションレベルに応じてリアクション報償を差等支給できる。
【００２６】
また、本発明の一実施例に係るシミュレーション参加者のリアクション報償装置は、シミュレーション参加者を識別する識別部をさらに含むことができる。
【００２７】
また、本発明の一実施例に係るシミュレーション参加者のリアクション報償装置は、決定したリアクションレベルが一定値以上の参加者が登録された会員であるかを確認し、参加者が登録された会員ではない場合、参加者の会員加入のための会員加入画面を生成する会員管理部をさらに含み、会員加入画面は参加者のＩＤおよび携帯電話番号の入力を受けるための情報入力領域を含むことができる。
【００２８】
また、シミュレーション参加者のリアクション報償装置は、知能型ロボット装置であり、知能型ロボット装置はシミュレータの内部または周辺に位置したカメラまたはマイクからまたは知能型ロボット装置の一側に装着されたカメラまたはマイクから情報を受信することができる。
【００２９】
本発明の一実施例に係るシミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報償サーバーは、シミュレータが位置した現場端末機から、参加者がシミュレーションに参加する間参加者の映像情報と音声情報のうち少なくとも一つを受信するサーバー通信部、受信した映像情報と音声情報のうち少なくとも一つから参加者の少なくとも一つのリアクションを検出し、検出したリアクションのリアクションレベルを決定するリアクションレベル決定部、および決定したリアクションレベルが一定値以上の場合、参加者にリアクション報償支給を決定する報償支給決定部を含むことができる。
【００３０】
本発明の一実施例に係るシミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報償方法は，サーバーで遂行され、前記方法は，シミュレータが位置した現場端末機から参加者がシミュレーションに参加する間参加者の映像情報と音声情報のうち少なくとも一つを受信する段階、受信した映像情報と音声情報のうち少なくとも一つから参加者の少なくとも一つのリアクションを検出する段階、検出したリアクションのリアクションレベルを決定する段階および決定したリアクションレベルが一定値以上の場合、参加者にリアクションによる報償支給を決定する報償支給決定段階を含むことができる。
【発明の効果】
【００３１】
本発明の一実施例に係るシミュレーション参加者のリアクション報償方法および装置は、参加者のリアクションを感知し、感知結果により現場の雰囲気を盛り上げるようなリアクションをした人に報償を支給する。このような報償（例えば、ポイント、再利用券、割引券、マイレージなど）を通じてシミュレーション参加者の現場再訪問率を高めることができる。
このような再訪問率の上昇は、現場でリアクションがよい人々の比重を増加させ、これによって現場の雰囲気に肯定的な影響を与えることができる長所がある。すなわち、このような参加者の大きなリアクション、場合によっては誇張されたリアクションは周辺の観覧客の好奇心を刺激してシミュレータの搭乗を誘導することができる。
【００３２】
本発明の一実施例は、シミュレーションにさらに多くの人々が参加するように誘導してシミュレーション運営者の収入を向上させるためのものでありつつ、これに限定されず、シミュレーションを評価し、シミュレーションの没入度や効果を高め得るようにシミュレーションをアップグレードする基礎資料を提供することができる。
また、本発明の一実施例を通じて取得したデータは、シミュレーションサービス提供者が今後多様な他のサービスまたは人工知能を活用したサービスの提供に活用することができるため、サービスの多角化が可能となる。
【００３３】
本発明の一実施例に係るシミュレーション参加者のリアクション報償方法および装置によると、熟達した人がなくても現場の雰囲気を改善させることができるため、事業者にはシミュレータを活用した事業の運営費用を節減できる効果がある。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１実施例に係るシミュレータ参加者のリアクション報償装置のブロック図。
【図２】本発明の第１実施例に係るシミュレータ参加者のリアクション報償装置を通じて送信されたメッセージの一例を示す図面。
【図３】本発明の第２実施例に係るシミュレーション参加者のリアクション報償システムの概念図。
【図４】本発明の第２実施例に係る現場端末機のブロック図。
【図５】本発明の第２実施例に係るリアクション報償サーバーのブロック図。
【図６】本発明の第１実施例に係るシミュレータ参加者のリアクション報償方法のフローチャート。
【図７】本発明の第２実施例に係るシミュレータ参加者のリアクション報償サーバーの動作方法のフローチャート。
【発明を実施するための形態】
【００３５】
以下、添付された図面を参照して本発明を詳細に説明する。ここで、繰り返される説明、本発明の要旨を不要に曖昧にする恐れのある公知の機能、および構成に対する詳細な説明は省略する。
本発明の実施形態は当業界で平均的知識を有する者に本発明をより完全に説明するために提供されるものである。したがって、図面における要素の形状および大きさなどはより明確な説明のために誇張され得る。
【００３６】
以下、本発明の実施例に係るシミュレーション参加者のリアクション報償方法および装置について説明する。
【００３７】
以下の説明において、シミュレータはシミュレーション画面、２次元または３次元で移動する参加者が着席する椅子、操作レバーまたは参加者が所持したり着用する任意のシミュレーション補助器具を含むことができる。ここで、シミュレーション補助器具はその大きさとは関係なく、スマートフォンのような小さなデバイスでもよい。
【００３８】
そして、シミュレーションはシミュレータを通じて実行される一種のプログラムであり得、シミュレーションは参加者のリアクションを誘導する任意の模擬エンターテインメントを含み、具体的な一つの例としてシミュレーションゲーム（例えば、飛行、車両走行など）がある。また、シミュレーションは教育訓練プログラムでもよい。
【００３９】
前述したシミュレータを活用した事業は、シミュレータに対する関心度に直接的な関連があり、このような関心度は現場の雰囲気により大きく変わる。また、現場の雰囲気はシミュレータ参加者のリアクションにより大きく変わり得る。
このため、本発明の実施例に係るリアクション報償装置は、シミュレータが設置された現場の雰囲気を盛り上げるためにリアクションを考慮したことを特徴とする。
【００４０】
具体的には、本発明の実施例に係るリアクション報償装置は、シミュレーション参加者のリアクションを検出およびリアクションレベルを決定した後、現場の雰囲気に肯定的な影響を及ぼす人に報償（例えば、ポイント、プレゼント（または景品）、割引券、クーポン（例えば、無料クーポンまたは現場割引クーポン）、マイレージ）を支給できる。
【００４１】
もちろん、報償を支給する概念自体は一般的であり得る。ただし、従来の報償支給に対する概念は、シミュレーションまたはゲームそれ自体が上手な人に対し、またはシミュレータの単純広報の目的で行われるのが殆どである。例えば、従来の報償支給は、ある使用者がゲーム内で特定の順位（例えば、点数、順位、シミュレーションの利用スキルなど）内に属する時、イベントに当たった人々に対して、または利用または訪問回数が特定回数を超過した人々に対して行われるものと限定された。
【００４２】
反面、本発明の実施例では、現場の雰囲気に影響を及ぼす特定の人々を選定し、選定された人々に報償を支給する方式である。すなわち、本発明の実施例は、前述した従来技術と報償支給に対する目的が異なる。
これによって、本発明の実施例は、シミュレーションに対する参加者が該当シミュレーションにどれほど上手であるか、そしてシミュレーションをどれほど多く利用したかに関わらず、該当参加者が現場の雰囲気にどれほど大きな影響を及ぼしたかを分析し、その影響度により報償を支給する方式である。
【００４３】
また、本発明のシミュレーション参加者のリアクションレベルを通じて該当シミュレーションの没入度や教育目的の達成度を評価することができ、評価結果は今後シミュレーションプログラムアップグレード（またはアップデート）時の基礎資料として活用することができる。
また、このような基礎資料は、シミュレーションサービス提供者が今後多様な他のサービスまたは人工知能サービスを提供する時に活用され得るため、サービスの多角化が可能となる。
【００４４】
図１は、本発明の第１実施例に係るリアクション報償装置１００のブロック図である。ここで、本発明の第１実施例は、リアクション報償装置１００が装置の形態で現場に位置して以下の機能を遂行することを示す。
本発明の第１実施例に係るリアクション報償装置１００は、情報収集部１１０、識別部１２０、リアクションレベル決定部１３０、報償支給決定部１４０、会員管理部１５０および報償支給通知部１７０を含んで構成され得る。ここで、前記構成は本発明の理解を助けるために機能別に区分されたものであって、実際にはＣＰＵ、ＧＰＵ、ＭＰＵのような一つの処理装置を通じて具現されてもよい。
【００４５】
情報収集部１１０はカメラ１０またはマイク２０から情報を受信する機能をする。具体的には、情報収集部１１０はカメラ１０から撮影された複数の映像情報（例えば、写真または動画）と、マイク２０を通じて感知された音声情報を収集する機能を有する。カメラ１０は複数個で構成され得る。例えば、カメラのうち少なくとも一つはシミュレータの中から参加者を眺める方向に設置されて参加者を撮影し、別のカメラはシミュレータの近所または天井などに配置されて観覧客を撮影することができる。もちろん、観覧客が集まるのを感知するために、シミュレータとその周辺のすべてが撮影されるようにカメラの位置が設定されることも可能である。
このように生成された映像情報と音声情報は、リアクション報償装置１００との直接連結を通じて、または有線または無線通信を通じて情報収集部１１０で獲得可能である。そして、前記説明において用語、「カメラ」は対象を撮影する装備のすべてを含む。すなわち、カメラは一般のカメラ、デプスカメラ、広角カメラ（例えば、広角レンズまたは魚眼レンズを含むカメラ）等だけでなく、センサタイプも含むことができる。ひいては、カメラを含んで撮影イメージにイメージ処理を遂行するイメージセンサーの概念も含むものと理解されるべきである。
【００４６】
識別部１２０は複数の映像情報と音声情報を分析することによって、参加者と観覧客を識別する機能をする。具体的には、識別部１２０は例えば、シミュレータの内部に配置されたカメラから撮影された映像情報は参加者に対するものに、そしてシミュレータの外部に配置されたカメラから撮影された映像情報は観覧客に対するものに区分することができる。
【００４７】
識別部１２０は映像情報を分析することによって、識別部１２０を通じて識別した参加者と観覧客が登録された会員であるか判断する過程をさらに遂行できる。例えば、識別部１２０は、複数の映像情報から参加者と観覧客の顔を識別し、識別した顔と保存部（図示されず）に保存された会員達の顔情報とを比較することによって、参加者と各観覧客の会員の可否を判断することができる。
ここで、シミュレータを利用した事業において一般の観覧客の会員の可否はさほど重要なものではないが、参加者の場合、シミュレータに関心がある人なので会員加入を誘導することが好ましい。これに伴い、識別部１２０はシミュレータの参加者が会員ではない場合、以下で言及される会員管理部１５０との連係を通じて会員加入を誘導する過程を遂行できる。もちろん会員加入の誘導を遂行する過程は単なる選択的事項であり、本発明に必須の事項ではない。
【００４８】
リアクションレベル決定部１３０は参加者の少なくとも一つのリアクションを検出し、検出したリアクションのリアクションレベルを決定する機能をする。明細書の全体にわたって言及されるリアクションという用語は、シミュレーションによる参加者の任意の身体の反応を意味し、その例として、話し声、悲鳴、感歎詞のような声を出す、声の大きさの、顔の表情の変化、身振り（ｇｅｓｔｕｒｅ）の変化などのように、他人がすぐに観察可能な行動がある。
リアクションレベル決定部１３０は各リアクションレベルに応じて別途の基準でリアクションのレベルを決定することができる。
【００４９】
例えば、リアクションレベル決定部１３０は、人が出す声の種類例えば、話し声、悲鳴、感歎詞ごとに異なる基準でリアクションレベルを決定することができ、感歎詞についても刺激的な感歎詞であるほどさらに高いリアクションレベルを付与することができる。同様に、リアクションレベル決定部１３０は、単に笑う表情の変化または若干の身振りには低いリアクションレベルを付与する一方、大きく驚く表情の変化、拍手または大きく驚く身振りには高いリアクションレベルを付与することができる。
【００５０】
このために、リアクションレベル決定部１３０は、あらかじめ設定された顔検出アルゴリズム（または表情検出アルゴリズム）、身振り検出アルゴリズムなどを利用することによって、参加者の顔の表情と身振りを検出することができる。ここで、顔検出アルゴリズムは例えば、イメージの強度、幾何学的方法、神経網（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、アダブースト（Ａｄａｂｏｏｓｔ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）等を基盤としたアルゴリズムが利用され得る。
【００５１】
まず、イメージの強度を利用した顔検出アルゴリズムは、顔が３次元である点に起因して、写真または動画内で目、鼻、口、あごの周辺に発生する影によって発生する明暗を探し、この明暗を利用して顔を認識する技術である。
【００５２】
幾何学的方法を利用した顔検出アルゴリズムは、写真または動画内で複数の特徴点などを抽出し、抽出した特徴点とあらかじめ設定された顔の幾何学的特徴点間の比較を通じて顔を検出する方式である。すなわち、あらかじめ設定された顔の幾何学的特徴点との比較を通じて写真または動画内で各人の顔を認識することができ、顔の構成（すなわち、目、鼻、口、頬、頬骨など）の認識が可能である。
【００５３】
神経網は、生物学の神経網（例えば、脳）の特徴を利用した統計学的学習アルゴリズムであって、シナプスの結合でネットワークを形成した人工ニューロンの学習を通じてシナプスの結合強度を変化させて問題解決能力を有するモデル全般を指すものである。
【００５４】
アダブーストは、モデルの予測能力を向上させるものと考えられる特性だけを選択して機械的学習を遂行する方式を指すものである。
【００５５】
そして、サポートベクターマシンは機械学習分野の一つであって、パターンの認識、資料分析のための指導学習モデルであり、主に分類と回帰分析のために使う。二つのカテゴリーのうちいずれか一つに属したデータの集合が与えられた時、サポートベクターマシンアルゴリズムは、与えられたデータ集合に基づいて新しいデータがいずれのカテゴリーに属するかを判断する非確率的２進線形分類モデルを作る。作られた分類モデルは、データが写像された空間において境界で表現されるが、サポートベクターマシンアルゴリズムはその中で最も大きな幅を有する境界を探すアルゴリズムである。
【００５６】
ここで、神経網、アダブースト、サポートベクターマシンを活用した顔認識アルゴリズムは多様に変形および応用して使うことができるため、本発明ではこれを特定の方式で制限しない。また、これらのアルゴリズムは、すでに多様な分野に広く知られているため、これに対する追加的な説明は省略する。
【００５７】
このように、リアクションレベル決定部１３０は、前述した多様な顔認識アルゴリズムのうち少なくとも一つのアルゴリズムを通じて人の顔を認識することができる。
また、リアクションレベル決定部１３０は顔認識の後、認識した顔をさらに分析して、該当の人が作る表情をさらに判断することができる。具体的には、リアクションレベル決定部１３０は認識された人（すなわち、参加者および観覧客）の表情分析を通じて、該当の人がどのような表情（例えば、無表情、笑う表情、泣く表情、驚いた表情など）をしているのか、そしてその表情の強度はどの程度であるかを判断することができる。
【００５８】
例えば、人が笑う時、ある人は若干の微笑みだけを浮かべて笑う反面、他のある人は大笑いをしながら笑い得る。同様に、ある人は若干驚いた表情をする反面、他のある人は大きく驚いた表情を浮かべ得る。このように、人ごとに同じ種類の表情をしても、その表情の強度は人ごとに異なり得るため、リアクションレベル決定部１３０は参加者の、そして観覧客別に表情を浮かべるか否かと、表情を浮かべる時にはその強度を判断することができる。
【００５９】
リアクションレベル決定部１３０は、参加者と観覧客別に表情および表情の強度を判断した後、その強度により例えば、下記の表１のように表情に対するリアクションレベル値を付与することができる。
【００６０】
【表１】
2019032838.tif 000003
【００６１】
表１において、低い強度はほぼ無表情に近い表情を示し、高い強度は大きく笑う表情または大きく驚く表情を示す。
表１において、リアクションレベル値は表情の種類とは無関係に表情の強度によりその数値が変わるものと図示されたが、これは例示に過ぎず、実際には種類別に区分してリアクションレベル値を付与する方法でもよい。例えば、笑う表情に対するリアクションレベル値は１〜１０、そして驚く表情に対するリアクションレベル値は５〜１４に設定し、検出した表情の種類とその強度によりリアクションレベル値を付与することも可能である。そして、表情の種類も前述した２つの表情の他に多様な表情が付加され得、リアクションレベル値の各数値および個数も多様に変更可能である。
【００６２】
リアクションレベル決定部１３０は、関節ポイントの座標中心を利用したアルゴリズムとＫＮＮ（Ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ）アルゴリズムなどのような身振り検出アルゴリズムを通じて各人の身振りを検出することができる。例えば、リアクションレベル決定部１３０は、関節ポイントの座標中心を利用した身振り検出アルゴリズムを通じて、首、肩、腰、ヒジ、膝、足首などに特徴点を設定し、特徴点間の連結線と連結線間の角度を利用して人の身振りを検出し、これをＫＮＮアルゴリズムを通じてあらかじめ学習された身振りと検出した身振り間の類似度を比較することによって、身振りの種類を判断することができる。
【００６３】
そして、リアクションレベル決定部１３０は表情についての処理と同様に、前記身振り検出アルゴリズムを通じて参加者および観覧客の身振りの強度をさらに判断することができる。例えば、リアクションレベル決定部１３０は、該当の人の拍手、驚く身振りなどのような身振りの可否を判断するだけでなく、該当身振りの強度をさらに判断することができる。
【００６４】
リアクションレベル決定部１３０は参加者と観覧客別に身振りおよび身振りの強度を判断した後、その強度により下記の表２のように身振りに対するリアクションレベル値を付与することができる。
【００６５】
【表２】
2019032838.tif 000004
【００６６】
表２において、強度が低いほどほぼ硬直した姿勢に近くなることを示し、強度が高くなるほど拍手または驚く身振りが大きくなることを示す。
表２において、リアクションレベル値は身振りの種類とは無関係に身振りの強度によりその数値が変わるものと図示されたが、これは例示に過ぎず、実際には種類別に区分してリアクションレベル値を付与する方法（例えば、驚く身振りに比べて拍手に対するリアクションレベル値を高く付与するか、またはその反対）でもよい。そして、身振りの種類も前述した２個の身振りの他に多様な身振りが付加され得、リアクションレベル値の各数値および個数も多様に変更可能である。
【００６７】
同様に、リアクションレベル決定部１３０は、声検出時、声の種類およびその大きさをさらに算出することができ、参加者と観覧客別に、種類および強度により下記の表３のように声に対するリアクションレベル値を付与することができる。
【００６８】
【表３】
2019032838.tif 000005
【００６９】
表３において、声に対するリアクションレベル値は声の種類とは無関係に声の強度によりその数値が変わるものと図示された。ただし、これは例示に過ぎず、下記の表４のように声の種類によってリアクションレベル値を異ならせて付与することも可能である。
【００７０】
【表４】
2019032838.tif 000006
【００７１】
表３および表４において、低い強度の声は３０ｄＢ以上５０ｄＢ未満の声を示し、中間強度の声は５０ｄＢ以上８０ｄＢ未満の声を示し、高い強度の声は８０ｄＢ以上の声であるものと設定され得る。ここで、３０ｄＢ未満の声は雑音と見なして無視することができる。
【００７２】
前述したように、本発明は現場の雰囲気を考慮することができる。実際の現場において、リアクションのうち、各人の表情や身振りよりは声発生時に周辺の雰囲気に大きい影響を及ぼすことができる。これに伴い、リアクションレベル決定部１３０は、他のリアクションよりも声に対するリアクションレベル値をより高く設定することができる。
【００７３】
また、声のうち、単なる笑いや話し声よりは感歎詞がシミュレータ周辺の人々に集中され得、感嘆詞よりは悲鳴がシミュレータに視線を集中させることができる。これに伴い、本例示では悲鳴に最も高いリアクションレベル値を付与することができる。ただし、これは例示に過ぎず、他のもののうち感歎詞に最も高いリアクションレベル値を付与するなど、多様に変更可能である。そして、各声の種類および強度によるリアクションレベル値の各数値および個数も多様に変更可能である。
【００７４】
また、リアクションレベル決定部１３０は、リアクションの種類またはリアクションの程度だけでなく、一つの種類に対するリアクションをさらに具体化して異なる基準でリアクションレベル値を付与することもできる。例えば、感歎詞や悲鳴において、より刺激的な感嘆詞や悲鳴には刺激的でない感歎詞や悲鳴に比べてリアクションレベル値が付与され得る。
【００７５】
他の例示として、リアクションレベル決定部１３０は、他人がすぐに観察可能なリアクションだけでなく、シミュレーション補助器具を通じて把握可能なリアクションを利用してリアクションを検出し、リアクションレベルを決定する方式を考えることもできる。例えば、リアクションレベル決定部１３０はシミュレーション補助器具を通じて、リアクションは血圧の上昇または呼吸の変化のような、他人がすぐに観察することができなくてもこれを測定して他人が観察できるように視角化または音声化に変換可能な身体反応にも拡大してリアクションレベルを決定することができる。
【００７６】
また、リアクションレベル決定部１３０は参加者の他に、複数の観覧客のうち現場の雰囲気に肯定的な影響を及ぼす人（すなわち、肯定的なリアクションをする人）のリアクションをさらに検出し、そのリアクションレベルをさらに決定することができる。このように、リアクションレベル決定部１３０は参加者だけでなく、観覧客のリアクションレベルも決定することができる。
【００７７】
リアクションレベル決定部１３０を通じて行われるリアクションレベル決定方式は大きく三種類に分類され得る。具体的には、リアクションレベル決定部１３０は参加者のリアクションを検出し、これに基づいてリアクションレベルを決定する第１リアクションレベル決定方式、参加者リアクションの周辺の観覧客に対する影響度に基づいてリアクションレベルを決定する第２リアクションレベル決定方式、そして第１リアクションレベル決定方式と第２リアクションレベル決定方式を組み合わせた第３リアクションレベル決定方式でリアクションレベルを決定することができる。
【００７８】
第１リアクションレベル決定方式は、参加者本人のリアクションを検出し、その強度および回数によりリアクションレベルを決定する方式である。例えば、リアクションレベル決定部１３０は現場にある参加者の声出し、声の大きさの変化、表情の変化および身振りの変化のうち少なくとも一つを検出し、検出時にこれをカウンティングし、検出したリアクションの強度とその回数を利用して参加者と各観覧客のリアクションレベルを決定することができる。
【００７９】
第１リアクションレベル決定方式において、リアクションレベル決定部１３０は、声出し、声の大きさの変化、表情の変化および身振りの変化のうち少なくとも一つが大きいほど高いリアクションレベルを付与することができる。ここで、リアクションレベル決定部１３０は肯定的な感情を表す表情、身振りおよび声を利用してリアクションレベルを決定することができる。
例えば、表情は、笑う表情、驚く表情などがこれに該当し得、身振りは拍手、指差しなどがこれに該当し得、声は悲鳴（例えば、「きゃっ」、「えっえええ」、「ヴゎゎ」のような悲鳴の声）、感嘆詞（例えば、「ウワッ」、「わ〜」、「わう〜」、「アメージング」のように人が肯定的に驚く時に出す声）、話し声（例えば、一般の会話）等がこれに該当し得る。もちろん、表情、身振り、声は前述したものの他にも笑ったり楽しかったり驚いた時に発生し得る多様な表情、身振り、声をさらに含むことができる。
【００８０】
声出し、声の大きさの変化、表情の変化および身振りの変化のうち表情や身振りは、その程度が大きくても現場の雰囲気に及ぼす影響がさほど大きくない場合もある。これに伴い、リアクションレベル決定部１３０は表情や身振りに対するリアクションレベル値に比べて、声に対するリアクションレベル値が高いように設定することができる。
リアクションレベル値をリアクションの類型別に異ならせて設定する方式の例は、前記表４で説明した方式と類似している。またはリアクションレベル設定部１３０は表情、身振りおよび声のそれぞれが類似するレベル範囲値を許容するものの、声にさらに高い加重値を反映してリアクションレベルを決定してもよい。
【００８１】
以下、加重値方式についての例を挙げる。リアクションレベル決定部１３０でリアクションの類型別に、その程度に応じて１〜１０のリアクションレベル値を付与する状況を仮定する。この時、リアクションレベル決定部１３０はリアクションの類型別に加重値をそれぞれ異ならせて設定することができ、声に対する加重値を２、表情の変化に対する加重値を１、そして身振りの変化に対する加重値を１．５に設定することができる。
ここで、第１リアクションレベル決定部１３０を通じて第１参加者と第２参加者が共にリアクションレベル値が５０に決定され、第１参加者は表情に対するリアクションだけが存在し、第２参加者は声に対するリアクションだけが存在する状況を仮定する。この場合、リアクションレベル値に加重値が反映されて第１参加者に対する最終リアクションレベル値は５０に確定する反面、第２参加者に対する最終リアクションレベル値は１００に調整され得る。もちろん、リアクションレベル値と加重値に対する例示は前述のものに制限されず、多様な値に変更され得る。
【００８２】
第１参加者はあらかじめ設定された期間の間第１回数だけ肯定的な表情を浮かべ、第２参加者はあらかじめ設定された期間の間第１回数だけ肯定的な声（例えば、感嘆詞、悲鳴、話し声）を出したと仮定すると、リアクションレベル決定部１３０は第１参加者より第２参加者にさらに高いリアクションレベルを付与することができる。
このように、リアクションレベル決定部１３０はリアクションの類型別に異なるように設定された加重値を反映してリアクションレベルを算出して、参加者と観覧客格別のリアクションレベルを最終決定することができる。例えば、リアクションレベル決定部１３０は下記の表５にしめされた基準によりリアクションレベルを決定することができる。
【００８３】
【表５】
2019032838.tif 000007
【００８４】
表５において、左側の列はリアクションレベル値の合算を示し、右側の列はリアクションレベル値の合算により設定されるリアクションレベルを示す。ここで、リアクションレベルの個数と、その基準となるリアクションレベル値の合算は多様に変更可能である。
【００８５】
また、リアクションレベル決定部１３０は声出し、声の大きさの変化、表情の変化および身振りの変化のうち少なくとも一つを検出しても、その程度が小さすぎる場合（すなわち、各リアクションの類型別に定められた臨界値未満のリアクションである場合）には、これをリアクションレベルに含ませない場合もある。例えば、前述した表１〜表３において、低い強度のレベル値はリアクションレベル値の合算に反映されない場合もある。もちろん、このような臨界値は多様に変更可能である。
【００８６】
このような事項を考慮する理由は、本発明の目的の一つが現場の雰囲気の改善のためのものであるが、小さすぎるリアクションは現場の雰囲気の改善にほとんど役に立たないためである。これに伴い、現場の雰囲気の改善のために、他の人の視線を集中させ得るリアクションレベル値のみを合算して最終の合算値を計算する方がより有効的な計算法となり得る。
【００８７】
本発明の目的の一つにシミュレーション周辺の人々の参加を誘導することがあるが、シミュレーション参加者のリアクションレベルの程度は、結果として周辺の人々のシミュレーション参加者に対する関心度を高める場合に、より意味のある値であると言うことができる。これに伴い、以下で説明される第２リアクションレベル決定方式のように周辺の人々の影響度を考慮することが重要であり得る。
【００８８】
第２リアクションレベル決定方式は、参加者のリアクションにより変わる周辺の人々の影響度を利用してリアクションレベルを決定する方式である。具体的には、第２リアクションレベル決定方式でリアクションレベル決定部１３０は、参加者のリアクションにより変わる周辺の観覧客の影響度およびその回数を判断し、その影響度および回数によりリアクションレベル値を算出し、算出したリアクションレベル値を利用してリアクションレベルを決定することができる。
リアクションレベルの決定は表５を参照して前述したように、あらかじめ設定された基準に算出したリアクションレベル値を反映することによって行われ得る。そして、第１リアクションレベル決定方式と同様に、第２リアクションレベル決定方式は、リアクションにより変わる周辺の人々の影響度が大きいほど高いリアクションレベルを付与することができる。
【００８９】
例えば、リアクションレベル決定部１３０は、参加者が発生したリアクションにより周辺の観覧客の声出し、声の大きさの変化、表情の変化および周辺の観覧客数の変化のうち少なくとも一つを感知し、感知結果に基づいて参加者に対するリアクションレベルを付与することができる。
【００９０】
第３リアクションレベル決定方式は、前述した第１リアクションレベル決定方式と第２リアクションレベル決定方式によるリアクションレベル決定方法を組み合わせる方式である。すなわち、第３リアクションレベル決定方式は、参加者のリアクション、そしてこれらによる周辺環境の影響度を考慮してリアクションレベルを決定する方式である。例えば、参加者に対するリアクションレベルを決定する時には、参加者本人に対するリアクションレベル値と、観覧客のリアクションレベル値を含んで参加者のリアクションレベルを決定することができる。
【００９１】
換言すると、リアクションレベル決定部１３０は観覧客のリアクションレベル値（または観覧客のリアクションレベル）も考慮して、参加者のリアクションレベルを決定することができる。
ここで観覧客のリアクションレベルは、前記第１〜第３リアクションレベル決定方式で説明された各参加者のリアクションレベル値を合算した第１合算値、全観覧客の声の大きさの変化または観覧客数の変化のような全観覧客のリアクションレベル値の一つ以上を合算した第２合算値、または前記第１および第２合算値を組み合わせた合算値で決定され得る。このように合算値が決定すると、リアクションレベル決定部１３０は該当合算値を表５を参照して説明した基準に反映することによってリアクションレベルを決定することができる。これに対する説明は前記で詳細に言及したので、重複する説明は省略する。
【００９２】
シミュレーション観覧客のリアクションレベル決定方法は、シミュレーション参加者のリアクションレベル決定方法と同じ方法を使うことができる。この場合、各観覧客のリアクションレベル値を合算したり、声の大きさのような全観覧客から一つのリアクションレベル値を導き出すこともできる。ひいては、全観覧客の一つのリアクション値のさらに他の例として、シミュレーションの間シミュレーション周辺の観覧客数の変化をさらに含むことができる。
【００９３】
このように、本発明の第１実施例に係るリアクションレベル決定部１３０は、多様な方式を通じて現場の雰囲気に影響を及ぼす人々を探し、その程度に応じてリアクションレベルを決定することを特徴とする。
【００９４】
前記の説明において、リアクションレベル決定部１３０はシミュレーション中に参加者（または観覧客）のリアクションを検出し、検出したリアクションによりリアクションレベルを決定するものと説明した。ここで、リアクションレベル決定部１３０を通じて行われるリアクション検出時点はシミュレーションの全体の時点ではなく、シミュレーション中に参加者のリアクションが予想される一つ以上のあらかじめ定められた時点であることが好ましい。例えば、参加者のリアクションが予想されるあらかじめ定められた時点は、シミュレーション内のプログラムにおいて、参加者の操作によりシミュレータが急激に動く時点、例えば、シミュレータが急激に直線の動きをしたり、回転の動きをすると予想される時点を表し得る。
【００９５】
もちろん、リアクションレベル決定部１３０を通じてシミュレーションの全体の時点に対してリアクションの検出を遂行する方式も考えられ得る。しかし、特定の時点ではなく全体の時点にわたってリアクションの検出を遂行すると、それだけプロセッサでの処理負荷が高く、したがって検出効率も低下するはずである。
反面、あらかじめ定められた時点でのみリアクションの検出を遂行する場合、リアクションの検出および報償方法の効率性、実現容易性、プロセッサの処理負荷の減少、参加者間の相対的な比較が容易な長所がある。それだけでなく、あらかじめ定められた時点でのみリアクションを検出する場合、リアクションが予想されていない時点での参加者の意図的なリアクションを排除することができるため、押し付けがましい広報の拒否感をなくすことができ、シミュレータ周辺の観覧客の自然な参加を誘導することができる。
【００９６】
報償支給決定部１４０は、リアクションレベル決定部１３０を通じて決定したリアクションレベルに応じて報償を支給する機能をする。このために、報償支給決定部１４０は参加者のリアクションレベルを確認し、リアクションレベルとあらかじめ設定された臨界報償支給レベルとを比較する。
ここで、報償支給決定部１４０はリアクションレベルがあらかじめ設定された臨界報償支給レベルを超過する参加者を、報償支給対象に決定することができる。また、報償支給決定部１４０は報償支給対象に決定された参加者に対して、各リアクションレベルに応じてあらかじめ設定された報償を支給できる。例えば、報償がポイントである場合、報償支給対象に支給されるポイントは下記の表６に図示されたように、リアクションレベルによって異なり得る。
【００９７】
【表６】
2019032838.tif 000008
【００９８】
表６の例示では、リアクションレベルを１０個に分け、リアクションレベルにより支給される報償はリアクションレベル別に５０ずつ差が出るものとして図示した。ただし、これは例示に過ぎず、リアクションレベルの個数とリアクションレベルにより支給される報償は多様に変更可能である。
【００９９】
このような報償支給過程で、報償支給対象に決定された参加者が該当サービスに登録された会員であれば、該当会員に報償だけを支給すればよい。ただし、登録されていない参加者が報償支給対象に決定すると、該当の人への報償支給が難しく、報償を支給してもその種類が大きく制限されるため、本発明のリアクション報償装置１００は会員加入の誘導および会員管理のための会員管理部１５０をさらに含んで構成され得る。
【０１００】
会員管理部１５０は、複数の会員情報を保存する保存部（図示されず）に報償支給対象に決定された人の情報が存在しない場合、会員加入画面を生成し、会員加入画面を報償支給対象に決定された人に提供する機能をする。ここで、会員加入画面は出力部５０を通じて出力され得る。
会員加入のために入力すべき情報が多すぎると、該当の人は会員加入を拒否する確率が高い。したがって、会員管理部１５０は該当の人を唯一に識別できる識別子（例えば、写真、携帯電話番号）の入力を受けるものの、その個数を最小化して会員加入画面を構成することができる。例えば、使用者が使用者のＩＤ（または名前）と携帯電話番号だけを入力すれば会員加入が完了するように情報入力領域を構成し、該当情報入力領域を含む会員加入画面を構成することも可能である。もちろん、選択的に使用者のメールアドレス、虹彩、指紋などの他の情報を利用して会員加入を遂行する方式も考えられ得るが、使用者の携帯電話番号が使用者に接近性が最も容易であり情報提供も容易であるので、他のものよりは携帯電話番号を利用して会員加入を遂行することが最も好ましい。
【０１０１】
該当の人の操作を通じて会員加入が完了すると、報償支給決定部１４０は会員に登録された報償支給対象に報償を支給する。また、報償支給決定部１４０を通じて報償支給が完了すると、報償支給通知部１７０により、報償を支給したことを通知するためのメッセージを生成し、これを報償の支給を受けた人の携帯用端末機に報償支給結果を通知するメッセージを送信することができる（図２参照）。
【０１０２】
ただし、報償支給対象に決定された参加者（または観覧客）が会員加入を所望しない場合も存在し得る。報償支給対象に決定された参加者（または観覧客）が会員加入をしなくても、該当対象にシミュレータに対する肯定的な経験を誘導し再訪問率を高めるためには、これに伴う報償を支給することが好ましい。
したがって、報償支給決定部１４０は該当参加者（または観覧客）が会員加入をしなくても報償支給対象に報償を支給できる。前述したように、報償の種類はプレゼント（または景品）、割引券、クーポン（例えば、無料クーポンまたは現場割引クーポン）、マイレージなど、多様であり得るが、実質的にデータベース内に保存および管理が難しい対象にはポイントやマイレージのように、使用者のアカウントなどに保管されなければならない報償ではない、現物報償（例えば、割引券、クーポン、景品）等が支給されるように制御される。
【０１０３】
例えば、このような現物報償を支給するために、報償支給決定部１４０は現場にいる管理職員がすぐに確認できるように、文字形態のメッセージとカメラを通じて撮影した映像情報のうち少なくとも一つを伝達し、該当管理職員が前述した物質からなる報償を支給するように制御する方式を採択することができる。もちろん、これは例示に過ぎず、他の多様な方式が採択されてもよい。
【０１０４】
このように、本発明の第１実施例に係るリアクション報償装置１００は、現場の雰囲気に肯定的な影響を及ぼす人々を分類し、これらのリアクションレベルにより換算された報償を参加者（または観覧客）に支給できる。
報償の支給を受けた顧客は、報償を利用するために再訪問率が高くなり、このような再訪問率の上昇は周辺の観覧客にも影響を及ぼし得る。また、本発明の第１実施例に係るリアクション報償装置１００は、シミュレータを活用した事業分野で熟練した人の代わりに現場の雰囲気の改善を実現することができる。
【０１０５】
前記の説明では、本発明の第１実施例に係るリアクション報償装置１００が、現場の雰囲気の改善のために報償を支給するとのみ説明されたが、さらに、本発明の第１実施例に係るリアクション報償装置１００は、検出したリアクションに対する情報に基づいて、シミュレータを通じて動作するシミュレーションを評価し、該当シミュレーションの没入度や効果を高め得るように、シミュレーションのアップグレードに使用され得る基礎資料の提供にも活用され得る。また、このような基礎資料は、シミュレーションサービスの提供者が今後多様な他のサービスまたは人工知能サービスを提供する時、それに活用され得るためサービスの多角化が可能となる。
【０１０６】
本発明の第１実施例に係るリアクション報償装置１００は、特定の位置に固定されてその機能を遂行するものとして言及された。ただし、これは例示に過ぎず、本発明のリアクション報償装置は駆動部を含む移動式装置（例えば、知能型ロボット）の形態で具現されてもよい。また、一部の構成は移動式装置に位置し、残りの構成は特定の位置に構成され得、一部の構成が後述するように遠隔地に位置して通信を通じて連結されてもよい。
【０１０７】
図３は、本発明の第２実施例に係るシミュレーション参加者のリアクション報償システム１０００の概念図である。図４は本発明の第２実施例に係る現場端末機３００についてのブロック図で、図５は本発明の第２実施例に係るリアクション報償サーバー４００についてのブロック図である。
【０１０８】
本発明の第２実施例に係るシミュレーション参加者のリアクション報償システム１０００は、前記本発明の第１実施例で説明したリアクション報償サーバーを二つの装置に分け、二つの装置間の通信を通じてシミュレーション参加者に対するリアクション報償をする。このために、本発明の第２実施例に係るリアクション報償システム１０００は、シミュレータがある現場に位置した現場端末機３００と、外部サーバーで動作するリアクション報償サーバー４００を含んで構成され得る。
【０１０９】
現場端末機３００はシミュレーションが設置された現場で参加者（または観覧客）に対する情報を収集し、収集した情報をリアクション報償サーバー４００に伝達する。そして、現場端末機３００はリアクション報償サーバー４００を通じて生成された特定の人（例えば、報償支給対象）の会員加入画面に対するデータを受信すると、受信した会員加入画面を出力部５０を通じて出力することができる。
本発明の第２実施例に係る現場端末機３００はこれらの機能を遂行するために、情報収集部３１０および端末通信部３２０を含んで構成され得る（図５参照）。ここで、これらの構成は収集した情報を端末通信部３２０を通じてリアクション報償サーバー４００に伝達するという部分を除いては、図１で言及した情報収集部１１０と実質的に同じであるため、重複する説明は省略する。
【０１１０】
リアクション報償サーバー４００は外部サーバーであって、少なくとも一つの現場端末機３００からデータ（すなわち、映像情報と音声情報のうち少なくとも一つ）を受信し、受信した情報に基づいてシミュレータの参加者（または観覧客）のリアクションレベルを決定し、決定したリアクションレベルによりリアクション報償を支給できる。
また、リアクション報償サーバー４００は報償支給対象に決定された人が該当サービスに加入した会員であるかどうかの可否を確認し、登録されていない会員の場合、会員加入の誘導のための会員加入画面を生成し、これを現場端末機３００に送信することができる。また、リアクション報償サーバー４００は報償支給対象に決定された人の会員登録の有無にかかわらず、報償を支給するための過程を遂行することもできる。また、会員である場合、報償支給の後に報償支給結果を通知するメッセージを生成し、これを移動通信網サーバー６０を通じて該当の人に伝達することができる。
【０１１１】
前述した機能を遂行するためにリアクション報償サーバー４００は、サーバー通信部４１０、識別部４２０、リアクションレベル決定部４３０、報償支給決定部４４０、会員管理部４５０および報償支給通知部４７０を含んで構成され得る。ここで、前記構成は現場端末機３００との通信を通じて情報を受信するという点を除いては、前述した本発明の第１実施例に係る装置に含まれた構成の機能と実質的に同じである。したがって、前記構成に対する機能についての説明は省略する。
【０１１２】
ここで、前述した機能の実行のために、本発明をサーバーおよびクライアントの形態で構成する時に発生する効果は次のとおりである。
【０１１３】
まず、前述した機能を情報収集のための構成（すなわち、現場端末機）と、実質的な処理のための構成（すなわち、リアクション報償サーバー）で構成する場合、現場端末機そのものから発生する負荷量を相当量減少させることができる。すなわち、シミュレーション事業者の観点から考えてみると、事業者はリアクション報償サービスを提供できる装置をシミュレーション現場のサービス提供者などにレンタルまたは販売するであろうし、サービス提供者はレンタルまたは購入した装置を利用してシミュレーションサービスを参加者に提供するであろう。
ここで、事業者およびサービス提供者の立場から見ると、図１〜図２を参照して説明した機能が一つの装置を通じて実行されると仮定すると、その装置には処理速度が速いプロセッサが搭載されるべきであろう。プロセッサの性能が高いほど装置の製品の単価も高くなることを意味するので、これは事業者およびサービス提供者のいずれにも悪い影響を及ぼしかねない。
【０１１４】
反対に、事業者がレンタルする装置で多数の処理が行われるのではなく、情報の収集、有線または無線通信を通じての情報の送信、そしてメッセージ出力の機能だけを遂行する場合、比較的安いプロセッサでも可能であるので、製品の単価を非常に低くできる効果がある。このような長所はサービス提供者数が増えるほどさらに目立ち得る。
【０１１５】
第二、販売またはレンタルされた装置に対するアップデートが容易である。本発明の実施例に係るリアクション報償方法の場合、その特性上、リアクションレベル、リアクションレベルの個数、加重値、報償量、報償の種類などを決定する方法に対するアップデートが頻繁となり得る。
もちろん、前記方法の駆動に利用されるプログラムでデバッギングのためのアップデートも存在し得る。この時、サーバーおよびクライアントの構成ではなく、一つの装置で前述した機能をすべて実現する場合、該当装置が設置された場所を動き回りながらアップデートを遂行する人手が要求されるであろうし、即刻的なアップデートの遂行も難しいであろう。その反面、サーバーおよびクライアントの形態で構成をする場合、サーバーの指示により複数の現場端末機が同時にまたは状況によって（例えば、ブートがなされた後）アップデートに該当するデータをサーバーから受信し、受信したデータを通じてアップデートが進行されるようにすることによって、アップデートの過程がより容易に行われ得る。この場合、前述した人手が不要となるため人手を浪費することを防止することができ、迅速なアップデートも可能な長所がある。
【０１１６】
第三、今後シミュレーションのアップデートや多様なサービスに活用される基礎資料の収集が容易である。前述したように、本発明の実施例に係るリアクション報償装置および方法は、シミュレーションのアップデートまたは多様なサービスの提供に活用される基礎資料を提供することができる。この時、多数の現場端末機から収集された情報をサーバーで処理する場合、サーバーでは多様な場所に（例えば、全国的に）分散された複数の現場端末機から多様な情報の取得できるため、資料の収集が容易となる。
【０１１７】
ただし、この方式はサーバーの仕様が高くなければならず、サーバーとクライアント（すなわち、現場端末機）間の通信状態とサーバー管理などが要求されるので、第１〜第２実施例として言及された装置を状況に合うように実現することが好ましい。
【０１１８】
以下、図６〜図７を参照して本発明の実施例に係るシミュレーション参加者のリアクション報償方法について説明する。
【０１１９】
図６は、本発明の第１実施例に係るシミュレーション参加者のリアクション報償方法のフローチャートである。具体的には、図６は本発明の第１実施例に係るリアクション報償装置を通じて行われる、参加者と観覧客のリアクションレベルを決定し、リアクションレベルにより報償を支給する方法のフローチャートである。以下では前記で言及されたものと重複する事項は省略して説明する。
【０１２０】
Ｓ１０１段階は、情報収集部によって複数の映像情報および音声情報を収集する段階である。具体的には、Ｓ１０１段階は、シミュレータの内部および外部に位置したカメラから映像情報を収集し、マイクから音声情報を収集する段階である。
【０１２１】
Ｓ１０２段階は、識別部によってＳ１０１段階を通じて収集した複数の映像情報と音声情報を利用して参加者と観覧客を識別する段階である。例えば、Ｓ１０２段階では、シミュレータの内部に設置されたカメラからの映像情報を参加者に対するもの、そしてシミュレータの外部に設置されたカメラからシミュレータの外部を撮影した映像情報を観覧客に対するものに識別することができる。また、Ｓ１０２段階は、識別した参加者と観覧客が登録された会員であるか判断する段階をさらに含むことができる。
【０１２２】
Ｓ１０３段階は、リアクションレベル決定部により、シミュレータに搭乗した参加者と観覧客のリアクションを検出し、参加者のリアクションレベルを決定する段階である。前述したように、リアクションは人の声出し、声の大きさの変化、表情の変化および身振りの変化のうちいずれか一つを含む。
これに伴い、Ｓ１０３段階を通じて行われるリアクションの検出のために、あらかじめ設定された顔検出アルゴリズム（または表情検出アルゴリズム）と身振り検出アルゴリズムが利用され得、本発明ではこれらのアルゴリズムを特定のアルゴリズムに制限しない。また、Ｓ１０３段階は、選択的に、シミュレーション補助器具との連動を通じて血圧の上昇または呼吸の変化のように、他人がすぐに観察することはできないがこれを測定して視角化または音声化に変換可能な身体変化リアクションに基づいて行うことも可能である。
【０１２３】
前述したように、Ｓ１０３段階を通じて行われるリアクションレベルの決定は、各リアクションの類型により別途の基準に定められ得る。例えば、Ｓ１０３段階は、リアクションのうち、声出しについてのリアクションレベルは、話し声、感嘆詞、悲鳴などの種類によって、身振りの変化と表情の変化は身振りと表情の種類によって変わり得る。
また、Ｓ１０３段階は、感歎詞が刺激的であるほど高いレベルを付与することによって、声の大きさによるリアクションレベルはその大きさが大きいほど高いレベルを付与することによって、そして身振りの変化と表情の変化についてはその大きさが大きいほど高いレベルを付与することによって行われ得る。
【０１２４】
また、Ｓ１０３段階は、リアクションの類型のうちいずれか一つのリアクションレベル値により決定されるか、または複数個のリアクションの類型に対してリアクションの類型別に異なる加重値を設け、リアクションレベル値を合算することによって行われ得、加重値はリアクションの類型のうち声に最も高く設定され得る。
Ｓ１０３段階は、シミュレーションのあらかじめ定められた一つ以上の時点で検出したリアクションレベル値を合算して行われ得、単にリアクションの類型によりリアクションレベルを決定するのではなくリアクションの回数も考慮し、リアクションの種類を考慮してリアクションレベルを決定することができる。
【０１２５】
Ｓ１０３段階は、各リアクションの類型別に定められた臨界値以上の場合のレベル値のみを合算して行われるようにすることも可能である。これは前述したように、現場の雰囲気に影響を及ぼす人にのみ報償を付与するためである。
【０１２６】
また、Ｓ１０３段階を通じて行われるリアクションレベル決定方式は、大きく三個に分類され得る。これらのうち第１リアクションレベル決定方式は参加者自らがしたリアクションに基づいてリアクションレベルを決定する方式であり、第２リアクションレベル決定方式は参加者のリアクションの周辺の人々に対する影響度によりリアクションレベルを決定する方式であり、第３リアクションレベル決定方式は第１リアクションレベル決定方式と第２リアクションレベル決定方式を適切に組み合わせた方式である。
このようにＳ１０３段階は、現場の雰囲気に影響を及ぼすリアクションを検出し、彼自身、周辺の人々またはこれらのすべてを考慮してリアクションレベルを決定することができる。
【０１２７】
第３リアクションレベル決定方式により参加者のリアクションレベルを決定する場合、Ｓ１０３段階は、各観覧客のリアクションレベル値を合算した第１合算値、全観覧客の声の大きさの変化または観覧客数の変化のような全観覧客のリアクションレベル値の一つ以上を合算した第２合算値、または前記第１および第２合算値を組み合わせた合算値に基づいてリアクションレベル値を導き出し、これに基づいてリアクションレベルを決定することができる。これについての説明は前記で詳細に言及したので、重複する説明は省略する。
【０１２８】
また、前述したようにＳ１０３段階は、シミュレーションの全体の時点ではなく、シミュレーション中に参加者のリアクションが予想される一つ以上のあらかじめ定められた時点で行われ得る。
【０１２９】
Ｓ１０４段階は、報償支給決定部により、報償支給対象を決定する段階である。具体的には、Ｓ１０４段階は、参加者のリアクションレベルを確認し、確認したリアクションレベルとあらかじめ設定された臨界報償支給レベルを比較することによって、報償支給対象を決定する段階である。
Ｓ１０４段階は、臨界報償支給レベルを超過する参加者または観覧客を報償支給対象に決定することができる。もちろん、Ｓ１０４段階は、臨界報償支給レベルを超過する参加者の間でもリアクションレベルにより支給される報償量または報償程度に差等を設けることができる。
【０１３０】
Ｓ１０５段階は、会員管理部によって、Ｓ１０４段階を通じて決定された報償支給対象が登録された会員であるか判断する段階である。確認結果報償支給対象が会員である場合、制御はＳ１０８段階に伝達される。そうでない場合、制御はＳ１０６段階に伝達される。
【０１３１】
Ｓ１０６段階は、会員管理部によって会員加入画面を生成し、これを表示する段階である。例えば、Ｓ１０６段階は、該当報償支給対象に携帯電話番号などを入力するように誘導することによって行われ得、該当情報が入力されると、該当対象の会員番号を発行したり、写真を共に保存することができる。
【０１３２】
Ｓ１０７段階は、会員管理部によって、報償支給対象が会員加入を遂行したかを判断する段階である。判断の結果、報償支給対象が報償の支給を受けるために、会員加入をした場合、制御はＳ１０８段階に伝達される。そうでない場合にも、制御はＳ１０８段階に伝達され得る。
【０１３３】
Ｓ１０８段階は、報償支給決定部により、報償を支給する段階である。また、報償は、ポイント、景品、割引券、無料クーポン、現場割引クーポン、マイレージのうち少なくとも一つを含むことができる。ここで、報償支給対象が既存または新規会員である場合、支給可能な報償の種類には制限がないが、報償支給対象が会員ではない場合、Ｓ１０８段階は、現物報償（例えば、割引券、クーポン、景品など）を該当報償支給対象に提供するように行われ得る。すなわち、報償支給対象は現場の雰囲気に大きい影響を及ぼす人を表すので、Ｓ１０８段階は、この人が会員であるかどうかの可否に関わらずに報償を支給し、報償支給対象の再訪問率を高めることができる。
【０１３４】
図７は本発明の第２実施例に係るシミュレーション参加者のリアクション報償サーバーの動作方法のフローチャートである。前述したように、本発明の第２実施例はリアクション報償装置を二つの装置すなわち、現場端末機とリアクション報償サーバーに分けた時に行われる方法を表す。ここで、現場端末機は映像情報および音声情報を収集し、これをリアクション報償サーバーに伝達する機能と、リアクション報償サーバーの制御により出力を遂行する機能のみを遂行するので、以下ではリアクション報償サーバーの動作方法を中心にその説明が行われる。また、以下では前述した部分と重複する事項は省略してその説明が行われる。
【０１３５】
Ｓ３０１段階は、サーバー通信部によって、現場端末機から送信された複数の映像情報および音声情報を受信する段階である。前記で言及したように、シミュレータが設置された現場には、シミュレータの内部と外部のうち少なくとも一つにカメラおよびマイクが設置され、現場端末機によって、設置されたカメラおよびマイクを通じて複数の映像情報および音声情報を収集する過程が行われる。こうして収集が完了すると現場端末機で収集した映像情報および音声情報をリアクション報償サーバーに送信する。
【０１３６】
Ｓ３０２段階は、識別部によって、Ｓ３０１段階を通じて収集した複数の映像情報と音声情報を利用して参加者と観覧客を識別する段階である。
【０１３７】
Ｓ３０３段階は、リアクションレベル決定部により、シミュレータに搭乗した参加者（または観覧客）のリアクションを検出し、参加者（または観覧客）のリアクションレベルを決定する段階である。Ｓ３０４段階は、報償支給決定部により、報償支給対象を決定する段階である。Ｓ３０３段階とＳ３０４段階は、図６を参照して説明されたＳ１０３段階およびＳ１０４段階と実質的に同じであるので、重複する説明は省略する。
【０１３８】
Ｓ３０５段階は、会員管理部によって、Ｓ３０４段階を通じて決定された報償支給対象が登録された会員であるか判断する段階である。確認結果報償支給対象が会員である場合、制御はＳ３０８段階に伝達される。そうでない場合、制御はＳ３０６段階に伝達される。
【０１３９】
Ｓ３０６段階およびＳ３０７段階は、報償支給対象が報償を支給されるように会員加入を誘導する段階である。具体的には、Ｓ３０６段階は、会員管理部によって会員加入画面を生成し、これを現場端末機に送信する段階である。これに伴い、現場端末機では受信した会員加入画面を出力部を通じて出力することができ、これに伴い、該当報償支給対象に会員加入を誘導することができる。
【０１４０】
Ｓ３０７段階は、会員管理部によって、報償支給対象が会員加入を遂行したかを判断する段階である。判断結果、報償支給対象が会員加入をした場合、制御はＳ３０８段階に伝達される。そうでなくても、制御はＳ３０８段階に伝達され得る。
【０１４１】
Ｓ３０８段階は、報償支給決定部により、報償を支給する段階である。前述したように、報償支給は該当対象の会員加入の可否とは無関係に行われ得るが、会員の可否により支給される報償の種類は少なくとも一部が異なり得る。
【０１４２】
本発明の原理はハードウェアとソフトウェアの組み合わせで具現され得る。また、ソフトウェアはプログラム保存部上で実際に具現されるアプリケーションで具現され得る。アプリケーションは任意の適切なアーキテクチャーを含むマシンにアップロードされてマシンによって実行され得る。好ましくは、マシンは一つ以上の中央処理装置（ＣＰＵ）、コンピュータプロセッサ、ランダムアクセスメモリー（ＲＡＭ）、および入力／出力（Ｉ／Ｏ）インタフェースのようなハードウェアを有するコンピュータプラットフォーム上に具現され得る。また、コンピュータプラットフォームは運営体制およびマイクロ命令コードを含むことができる。
ここで説明された多様なプロセスおよび機能は、マイクロ命令コードの一部またはアプリケーションの一部、またはこれらの任意の組み合わせであり得、これらはＣＰＵを含む多様な処理装置によって実行され得る。さらに、追加データ保存部およびプリンタのような多様な他の周辺装置がコンピュータプラットフォームに接続され得る。
【０１４３】
添付図面で図示された構成システムコンポーネントおよび方法の一部が、好ましくはソフトウェアで具現されるので、システムコンポーネントまたはプロセス機能ブロックの間の実際の接続は、本発明の原理がプログラミングされる方式により変わり得る点がさらに理解されるべきである。これらの教示が与えられると、関連技術分野の当業者は本発明の原理および類似する実現例または構成を参酌できるはずである。
【０１４４】
例示的な実施例がここで添付図面と関連して記述されたが、本発明の原理は実施例に制限されず、多様な変更および修正が本発明の原理の範囲または思想から逸脱することなく関連技術分野の当業者によって実行され得る点が理解されるべきである。すべてのこのような変更および修正は添付された請求項で説明されるような本発明の原理の範囲内に含まれることが意図される。
【０１４５】
以上では特定の用語が使われたが、これは単に本発明を説明するための目的で使われたものであり、意味の限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたのではない。したがって、本技術分野の通常の知識を有する者であれば、これから多様な変形および均等な他の実施例が可能であることが理解できるはずである。したがって、本発明の真の技術的保護範囲は添付された特許請求の範囲の技術的思想によって定められるべきである。
【符号の説明】
【０１４６】
１００  リアクション報償装置
１１０  情報収集部
１２０  識別部
１３０  リアクションレベル決定部
１４０  報償支給決定部
１５０  会員管理部
１７０  報償支給通知部
【図１】
2019032838.tif 000009
【図２】
2019032838.tif 000010
【図３】
2019032838.tif 000011
【図４】
2019032838.tif 000012
【図５】
2019032838.tif 000013
【図６】
2019032838.tif 000014
【図７】
2019032838.tif 000015
【手続補正書】
【提出日】平成30年8月7日(2018.8.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
シミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報奨方法であって、
カメラおよびマイクのうち少なくとも一つから前記参加者が前記シミュレーションに参加する間前記参加者の映像情報と音声情報のうち少なくとも一つを収集する段階、
前記収集した映像情報と音声情報のうち少なくとも一つから前記参加者の少なくとも一つのリアクションを検出する段階、
前記検出したリアクションのリアクションレベルを決定する段階、および、
前記決定したリアクションレベルが一定値以上の場合、前記参加者に報奨支給を決定する報奨支給決定段階を含む、
シミュレーション参加者のリアクション報奨方法。
【請求項２】
前記リアクションは、前記参加者の声出し、声の大きさの変化、表情の変化および身振りの変化のうち少なくともいずれか一つを含むものである、請求項１に記載のシミュレーション参加者のリアクション報奨方法。
【請求項３】
前記少なくとも一つのリアクションを検出する段階は、シミュレーション中に参加者のリアクションが予想される一つ以上のあらかじめ定められた時点で行われる、請求項１に記載のシミュレーション参加者のリアクション報奨方法。
【請求項４】
前記リアクションレベルを決定する段階で前記リアクションレベルは、各リアクションの類型により別途の基準で定められるものである、請求項１に記載のシミュレーション参加者のリアクション報奨方法。
【請求項５】
前記リアクションレベルを決定する段階は、前記リアクションの類型のうちいずれか一つのリアクションレベル値により決定されるか、または複数個のリアクションの類型に対してリアクションの類型別に異なる加重値を設け、リアクションレベル値を合算して行われるものである、請求項４に記載のシミュレーション参加者のリアクション報奨方法。
【請求項６】
前記リアクションの類型のうち参加者の声の大きさの変化に対する加重値が最も高い、請求項５に記載のシミュレーション参加者のリアクション報奨方法。
【請求項７】
前記リアクションレベルを決定する段階は、シミュレーションのあらかじめ定められた一つ以上の時点で検出したリアクションレベル値を合算して行われるものである、請求項５に記載のシミュレーション参加者のリアクション報奨方法。
【請求項８】
前記リアクションレベルを決定する段階は、各リアクションの類型別に定められた臨界値以上の場合のレベル値のみを合算して行われるものである、請求項４に記載のシミュレーション参加者のリアクション報奨方法。
【請求項９】
前記リアクションレベルを決定する段階は、一つ以上の観覧客のリアクションレベルを含んで行われるものである、請求項１に記載のシミュレーション参加者のリアクション報奨方法。
【請求項１０】
前記観覧客のリアクションレベルは、各観覧客のリアクションレベル値を合算した第１合算値、全観覧客の声の大きさの変化または観覧客数の変化のような全観覧客のリアクションレベル値の一つ以上を合算した第２合算値、または前記第１および第２合算値を組み合わせた合算値で決定され得る、請求項９に記載のシミュレーション参加者のリアクション報奨方法。
【請求項１１】
前記報奨は、ポイント、景品、割引券、無料クーポン、現場割引クーポンおよびマイレージのうち少なくとも一つを含む、請求項１に記載のシミュレーション参加者のリアクション報奨方法。
【請求項１２】
前記報奨支給決定段階は、リアクションレベルに応じてリアクション報奨を差等支給する段階を含むものである、請求項１に記載のシミュレーション参加者のリアクション報奨方法。
【請求項１３】
前記シミュレーション参加者を識別する段階をさらに含む、請求項１に記載のシミュレーション参加者のリアクション報奨方法。
【請求項１４】
前記決定したリアクションレベルが一定値以上の参加者が登録された会員であるかを確認する段階、および前記参加者が登録された会員ではない場合、前記参加者の会員加入のための会員加入画面を生成する段階をさらに含み、前記会員加入画面は前記参加者のＩＤおよび携帯電話番号の入力を受けるための情報入力領域を含む、請求項１３に記載のシミュレーション参加者のリアクション報奨方法。
【請求項１５】
前記収集段階は、前記シミュレータが位置した現場端末機によって遂行され、前記検出段階、前記レベル決定段階および前記報奨支給決定段階は、サーバーで遂行され、前記現場端末機と前記サーバーは相互に通信するものである、請求項１に記載のシミュレーション参加者のリアクション報奨方法。
【請求項１６】
シミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報奨装置であって、
カメラおよびマイクのうち少なくとも一つを利用して前記参加者が前記シミュレーションに参加する間前記参加者の映像情報と音声情報のうち少なくとも一つを収集する情報収集部、
前記収集した映像情報と音声情報のうち少なくとも一つから前記参加者の少なくとも一つのリアクションを検出し、前記検出したリアクションのリアクションレベルを決定するリアクションレベル決定部、および、
前記決定したリアクションレベルが一定値以上の場合、前記参加者にリアクション報奨支給を決定する報奨支給決定部を含み、
請求項１に記載された方法の各段階を実行する、
シミュレーション参加者のリアクション報奨装置。
【請求項１７】
前記シミュレーション参加者を識別する識別部をさらに含む、請求項１６に記載のシミュレーション参加者のリアクション報奨装置。
【請求項１８】
前記決定したリアクションレベルが一定値以上の参加者が登録された会員であるかを確認し、前記参加者が登録された会員ではない場合、前記参加者の会員加入のための会員加入画面を生成する会員管理部をさらに含み、前記会員加入画面は前記参加者のＩＤおよび携帯電話番号の入力を受けるための情報入力領域を含む、請求項１６に記載のシミュレーション参加者のリアクション報奨装置。
【請求項１９】
前記シミュレーション参加者のリアクション報奨装置は知能型ロボット装置であり、前記知能型ロボット装置は前記シミュレータの内部または周辺に位置したカメラまたはマイクからまたは前記知能型ロボット装置の一側に装着されたカメラまたはマイクから情報を受信するものである、請求項１６に記載のシミュレーション参加者のリアクション報奨装置。
【請求項２０】
シミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報奨サーバーであって、
前記シミュレータが位置した現場端末機から、前記参加者が前記シミュレーションに参加する間前記参加者の映像情報と音声情報のうち少なくとも一つを受信するサーバー通信部、
前記受信した映像情報と音声情報のうち少なくとも一つから前記参加者の少なくとも一つのリアクションを検出し、前記検出したリアクションのリアクションレベルを決定するリアクションレベル決定部、および、
前記決定したリアクションレベルが一定値以上の場合、前記参加者にリアクション報奨支給を決定する報奨支給決定部を含む、
シミュレーション参加者のリアクション報奨サーバー。
【請求項２１】
シミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報奨方法であって、
リアクション報奨サーバーで遂行され、
前記シミュレータが位置した現場端末機から、前記参加者が前記シミュレーションに参加する間前記参加者の映像情報と音声情報のうち少なくとも一つを受信する段階、
前記受信した映像情報と音声情報のうち少なくとも一つから前記参加者の少なくとも一つのリアクションを検出する段階、
前記検出したリアクションのリアクションレベルを決定する段階、および、
前記決定したリアクションレベルが一定値以上の場合、前記参加者に報奨支給を決定する報奨支給決定段階を含む、
シミュレーション参加者のリアクション報奨方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はシミュレーション参加者のリアクション報奨（ＲＥＷＡＲＤＩＮＧ）方法および装置に関するものであって、より詳細には、シミュレータ周辺に配置されて、シミュレータを操作する参加者と観覧客のリアクションを感知し、感知したリアクションにより報奨を支給できるシミュレーション参加者のリアクション報奨方法および装置に関するものである。
【背景技術】
【０００２】
シミュレータ（特に、モーションシミュレータ）は、コンピュータによって制御される仮想環境に合うように動的変化を再現することによって、参加者に仮想現実の動きを現実のように感じさせる装置である。シミュレータは、シミュレーション画面、操作レバー、２次元または３次元で移動する参加者が着席する椅子を含むことができる。また、シミュレータは、シミュレータの回転運動および直線運動のための構成を含み、前後方向（Ｚ軸）、左右方向（Ｘ軸）および上下方向（Ｙ軸）への直線運動と、Ｚ軸を回転中心とするローリング（Ｒｏｌｌｉｎｇ）、Ｘ軸を回転中心とするピッチング（Ｐｉｔｃｈｉｎｇ）およびＹ軸を回転中心とするヨーイング（Ｙａｗｉｎｇ）回転運動の組み合わせで動くことができる。
これに伴い、参加者がシミュレータで操作レバーを操作すると、シミュレータは参加者の操作により動くことができるため、シミュレータを通じて動作するシミュレーションを進行する参加者の没入度を高めることができる長所がある。
【０００３】
このような特徴のため、シミュレータは飛行シミュレーションや運転シミュレーションなどに適用されており、最近では３次元を体感できるようにゲーム用や劇場用シミュレータなどに広く活用されている。
【０００４】
このようなシミュレータを活用した事業の売り上げは現場の雰囲気に大きく影響を受ける。従来はシミュレータの利用を補助するためのサービスを提供する人を採用し、採用したサービス提供人を通じて周辺の観覧客の関心度を高めて、現場の雰囲気が良くなるように多様なコメントを遂行する方式を採択した。
しかし、このような補助要員の費用が売り上げに対し相対的に高く、一般の短期アルバイトでは周辺の観覧客の関心度を高めるには限界があり、熟達した人でも持続的に高い水準のサービスを提供するのは難しい。
【０００５】
一方、従来、ゲームシミュレータ参加者は、ゲームのスキルが高いかシミュレーションをよく利用する場合に報奨をもらっていた。すなわち、ゲームスキルの高い参加者は例えば、アイテムを取得でき、ゲームシミュレータをよく利用する参加者はシミュレータ運営者から例えば、訪問回数に応じて割引クーポンをもらった。これは周辺の観覧客の関心を引く手段というよりは参加者本人に対する報奨に過ぎないものであった。
【０００６】
したがって、参加者以外にも観覧客のシミュレーションの没入度と興味を高めることができ、現場の雰囲気の改善に利用される費用を大幅に節減できる新しい技法が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、熟練した人がいなくてもシミュレーションの現場の雰囲気を盛り上げ、参加者と観覧客のシミュレーションの没入度を高めたり、シミュレーションへの参加を最大化できるシミュレーション参加者のリアクション報奨方法および装置を提供することにその目的がある。
【課題を解決するための手段】
【０００８】
本発明の一実施例に係るシミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報奨方法は、カメラおよびマイクのうち少なくとも一つを利用して参加者がシミュレーションに参加する間参加者の映像情報と音声情報のうち少なくとも一つを収集する段階、収集した映像情報と音声情報のうち少なくとも一つから参加者の少なくとも一つのリアクションを検出する段階、検出したリアクションのリアクションレベルを決定する段階および決定したリアクションレベルが一定値以上の場合、参加者にリアクション報奨支給を決定する報奨支給決定段階を含む。
【０００９】
また、リアクションは参加者の声出し、声の大きさの変化、表情の変化および身振りの変化のうち少なくともいずれか一つを含むことができる。
【００１０】
また、少なくとも一つのリアクションを検出する段階は、シミュレーション中に参加者のリアクションが予想される一つ以上のあらかじめ定められた時点で行われ得る。
【００１１】
また、リアクションレベルを決定する段階においてリアクションのレベルは、各リアクションの類型により別途の基準で定められ得る。
【００１２】
また、リアクションレベルを決定する段階は、リアクションの類型のうちいずれか一つのリアクションレベル値により決定されるか、または複数個のリアクションの類型に対してリアクションの類型別に異なる加重値を設け、リアクションレベル値を合算してリアクションレベルを決定することができる。
【００１３】
また、リアクションの類型のうち参加者の声の大きさの変化に対する加重値が最も高くてもよい。
【００１４】
また、リアクションレベルを決定する段階は、シミュレーションのあらかじめ定められた一つ以上の時点で検出したリアクションレベル値を合算して決定することによって行われ得る。
【００１５】
また、リアクションレベルを決定する段階は、各リアクションの類型別に定められた臨界値以上の場合のレベル値のみを合算して決定され得る。
【００１６】
また、リアクションレベルを決定する段階は、一つ以上の前記シミュレーション観覧客のリアクションレベルを含んで決定され得る。
【００１７】
また、観覧客のリアクションレベルは、各観覧客のリアクションレベル値を合算した第１合算値、全観覧客の声の大きさの変化または観覧客数の変化のような全観覧客のリアクションレベル値の一つ以上を合算した第２合算値、または第１および第２合算値を組み合わせた合算値で決定され得る。
【００１８】
また、報奨は、ポイント、景品、割引券、無料クーポン、現場割引クーポン、マイレージのうち少なくとも一つを含むことができる。
【００１９】
また、報奨支給決定段階は、リアクションレベルに応じてリアクション報奨を差等支給する段階を含むことができる。
【００２０】
また、本発明の一実施例に係るシミュレーション参加者のリアクション報奨方法は、シミュレーション参加者を識別する段階をさらに含むことができる。
【００２１】
また、本発明の一実施例に係るシミュレーション参加者のリアクション報奨方法は、決定したリアクションレベルが一定値以上の参加者が登録された会員であるかを確認する段階、および参加者が登録された会員ではない場合、参加者の会員加入のための会員加入画面を生成する段階をさらに含み、会員加入画面は参加者のＩＤおよび携帯電話番号の入力を受けるための情報入力領域を含むことができる。
【００２２】
本発明の一実施例に係るシミュレーション参加者のリアクション報奨方法は、映像、音声情報収集段階は前記シミュレータが位置した現場端末機によって遂行され、リアクション検出段階、リアクションレベル決定段階および参加者に対する報奨支給決定段階はサーバーで遂行され得、前記現場端末機と前記サーバーは相互に通信するものであり得る。
【００２３】
本発明の一実施例に係るシミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報奨装置は、カメラおよびマイクのうち少なくとも一つを利用して参加者がシミュレーションに参加する間参加者の映像情報と音声情報のうち少なくとも一つを収集する情報収集部、収集した映像情報と音声情報のうち少なくとも一つから参加者の少なくとも一つのリアクションを検出し、検出したリアクションのリアクションレベルを決定するリアクションレベル決定部および決定したリアクションレベルが一定値以上の場合、参加者にリアクション報奨支給を決定する報奨支給決定部を含み、前述した方法の各段階を実行することができる。
【００２４】
また、報奨は、ポイント、景品、割引券、無料クーポン、現場割引クーポン、マイレージのうち少なくとも一つを含むことができる。
【００２５】
また、報奨支給決定部はリアクションレベルに応じてリアクション報奨を差等支給できる。
【００２６】
また、本発明の一実施例に係るシミュレーション参加者のリアクション報奨装置は、シミュレーション参加者を識別する識別部をさらに含むことができる。
【００２７】
また、本発明の一実施例に係るシミュレーション参加者のリアクション報奨装置は、決定したリアクションレベルが一定値以上の参加者が登録された会員であるかを確認し、参加者が登録された会員ではない場合、参加者の会員加入のための会員加入画面を生成する会員管理部をさらに含み、会員加入画面は参加者のＩＤおよび携帯電話番号の入力を受けるための情報入力領域を含むことができる。
【００２８】
また、シミュレーション参加者のリアクション報奨装置は、知能型ロボット装置であり、知能型ロボット装置はシミュレータの内部または周辺に位置したカメラまたはマイクからまたは知能型ロボット装置の一側に装着されたカメラまたはマイクから情報を受信することができる。
【００２９】
本発明の一実施例に係るシミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報奨サーバーは、シミュレータが位置した現場端末機から、参加者がシミュレーションに参加する間参加者の映像情報と音声情報のうち少なくとも一つを受信するサーバー通信部、受信した映像情報と音声情報のうち少なくとも一つから参加者の少なくとも一つのリアクションを検出し、検出したリアクションのリアクションレベルを決定するリアクションレベル決定部、および決定したリアクションレベルが一定値以上の場合、参加者にリアクション報奨支給を決定する報奨支給決定部を含むことができる。
【００３０】
本発明の一実施例に係るシミュレータによって実行されるシミュレーションに参加するシミュレーション参加者のリアクション報奨方法は，サーバーで遂行され、前記方法は，シミュレータが位置した現場端末機から参加者がシミュレーションに参加する間参加者の映像情報と音声情報のうち少なくとも一つを受信する段階、受信した映像情報と音声情報のうち少なくとも一つから参加者の少なくとも一つのリアクションを検出する段階、検出したリアクションのリアクションレベルを決定する段階および決定したリアクションレベルが一定値以上の場合、参加者にリアクションによる報奨支給を決定する報奨支給決定段階を含むことができる。
【発明の効果】
【００３１】
本発明の一実施例に係るシミュレーション参加者のリアクション報奨方法および装置は、参加者のリアクションを感知し、感知結果により現場の雰囲気を盛り上げるようなリアクションをした人に報奨を支給する。このような報奨（例えば、ポイント、再利用券、割引券、マイレージなど）を通じてシミュレーション参加者の現場再訪問率を高めることができる。
このような再訪問率の上昇は、現場でリアクションがよい人々の比重を増加させ、これによって現場の雰囲気に肯定的な影響を与えることができる長所がある。すなわち、このような参加者の大きなリアクション、場合によっては誇張されたリアクションは周辺の観覧客の好奇心を刺激してシミュレータの搭乗を誘導することができる。
【００３２】
本発明の一実施例は、シミュレーションにさらに多くの人々が参加するように誘導してシミュレーション運営者の収入を向上させるためのものでありつつ、これに限定されず、シミュレーションを評価し、シミュレーションの没入度や効果を高め得るようにシミュレーションをアップグレードする基礎資料を提供することができる。
また、本発明の一実施例を通じて取得したデータは、シミュレーションサービス提供者が今後多様な他のサービスまたは人工知能を活用したサービスの提供に活用することができるため、サービスの多角化が可能となる。
【００３３】
本発明の一実施例に係るシミュレーション参加者のリアクション報奨方法および装置によると、熟達した人がなくても現場の雰囲気を改善させることができるため、事業者にはシミュレータを活用した事業の運営費用を節減できる効果がある。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１実施例に係るシミュレータ参加者のリアクション報奨装置のブロック図。
【図２】本発明の第１実施例に係るシミュレータ参加者のリアクション報奨装置を通じて送信されたメッセージの一例を示す図面。
【図３】本発明の第２実施例に係るシミュレーション参加者のリアクション報奨システムの概念図。
【図４】本発明の第２実施例に係る現場端末機のブロック図。
【図５】本発明の第２実施例に係るリアクション報奨サーバーのブロック図。
【図６】本発明の第１実施例に係るシミュレータ参加者のリアクション報奨方法のフローチャート。
【図７】本発明の第２実施例に係るシミュレータ参加者のリアクション報奨サーバーの動作方法のフローチャート。
【発明を実施するための形態】
【００３５】
以下、添付された図面を参照して本発明を詳細に説明する。ここで、繰り返される説明、本発明の要旨を不要に曖昧にする恐れのある公知の機能、および構成に対する詳細な説明は省略する。
本発明の実施形態は当業界で平均的知識を有する者に本発明をより完全に説明するために提供されるものである。したがって、図面における要素の形状および大きさなどはより明確な説明のために誇張され得る。
【００３６】
以下、本発明の実施例に係るシミュレーション参加者のリアクション報奨方法および装置について説明する。
【００３７】
以下の説明において、シミュレータはシミュレーション画面、２次元または３次元で移動する参加者が着席する椅子、操作レバーまたは参加者が所持したり着用する任意のシミュレーション補助器具を含むことができる。ここで、シミュレーション補助器具はその大きさとは関係なく、スマートフォンのような小さなデバイスでもよい。
【００３８】
そして、シミュレーションはシミュレータを通じて実行される一種のプログラムであり得、シミュレーションは参加者のリアクションを誘導する任意の模擬エンターテインメントを含み、具体的な一つの例としてシミュレーションゲーム（例えば、飛行、車両走行など）がある。また、シミュレーションは教育訓練プログラムでもよい。
【００３９】
前述したシミュレータを活用した事業は、シミュレータに対する関心度に直接的な関連があり、このような関心度は現場の雰囲気により大きく変わる。また、現場の雰囲気はシミュレータ参加者のリアクションにより大きく変わり得る。
このため、本発明の実施例に係るリアクション報奨装置は、シミュレータが設置された現場の雰囲気を盛り上げるためにリアクションを考慮したことを特徴とする。
【００４０】
具体的には、本発明の実施例に係るリアクション報奨装置は、シミュレーション参加者のリアクションを検出およびリアクションレベルを決定した後、現場の雰囲気に肯定的な影響を及ぼす人に報奨（例えば、ポイント、プレゼント（または景品）、割引券、クーポン（例えば、無料クーポンまたは現場割引クーポン）、マイレージ）を支給できる。
【００４１】
もちろん、報奨を支給する概念自体は一般的であり得る。ただし、従来の報奨支給に対する概念は、シミュレーションまたはゲームそれ自体が上手な人に対し、またはシミュレータの単純広報の目的で行われるのが殆どである。例えば、従来の報奨支給は、ある使用者がゲーム内で特定の順位（例えば、点数、順位、シミュレーションの利用スキルなど）内に属する時、イベントに当たった人々に対して、または利用または訪問回数が特定回数を超過した人々に対して行われるものと限定された。
【００４２】
反面、本発明の実施例では、現場の雰囲気に影響を及ぼす特定の人々を選定し、選定された人々に報奨を支給する方式である。すなわち、本発明の実施例は、前述した従来技術と報奨支給に対する目的が異なる。
これによって、本発明の実施例は、シミュレーションに対する参加者が該当シミュレーションにどれほど上手であるか、そしてシミュレーションをどれほど多く利用したかに関わらず、該当参加者が現場の雰囲気にどれほど大きな影響を及ぼしたかを分析し、その影響度により報奨を支給する方式である。
【００４３】
また、本発明のシミュレーション参加者のリアクションレベルを通じて該当シミュレーションの没入度や教育目的の達成度を評価することができ、評価結果は今後シミュレーションプログラムアップグレード（またはアップデート）時の基礎資料として活用することができる。
また、このような基礎資料は、シミュレーションサービス提供者が今後多様な他のサービスまたは人工知能サービスを提供する時に活用され得るため、サービスの多角化が可能となる。
【００４４】
図１は、本発明の第１実施例に係るリアクション報奨装置１００のブロック図である。ここで、本発明の第１実施例は、リアクション報奨装置１００が装置の形態で現場に位置して以下の機能を遂行することを示す。
本発明の第１実施例に係るリアクション報奨装置１００は、情報収集部１１０、識別部１２０、リアクションレベル決定部１３０、報奨支給決定部１４０、会員管理部１５０および報奨支給通知部１７０を含んで構成され得る。ここで、前記構成は本発明の理解を助けるために機能別に区分されたものであって、実際にはＣＰＵ、ＧＰＵ、ＭＰＵのような一つの処理装置を通じて具現されてもよい。
【００４５】
情報収集部１１０はカメラ１０またはマイク２０から情報を受信する機能をする。具体的には、情報収集部１１０はカメラ１０から撮影された複数の映像情報（例えば、写真または動画）と、マイク２０を通じて感知された音声情報を収集する機能を有する。カメラ１０は複数個で構成され得る。例えば、カメラのうち少なくとも一つはシミュレータの中から参加者を眺める方向に設置されて参加者を撮影し、別のカメラはシミュレータの近所または天井などに配置されて観覧客を撮影することができる。もちろん、観覧客が集まるのを感知するために、シミュレータとその周辺のすべてが撮影されるようにカメラの位置が設定されることも可能である。
このように生成された映像情報と音声情報は、リアクション報奨装置１００との直接連結を通じて、または有線または無線通信を通じて情報収集部１１０で獲得可能である。そして、前記説明において用語、「カメラ」は対象を撮影する装備のすべてを含む。すなわち、カメラは一般のカメラ、デプスカメラ、広角カメラ（例えば、広角レンズまたは魚眼レンズを含むカメラ）等だけでなく、センサタイプも含むことができる。ひいては、カメラを含んで撮影イメージにイメージ処理を遂行するイメージセンサーの概念も含むものと理解されるべきである。
【００４６】
識別部１２０は複数の映像情報と音声情報を分析することによって、参加者と観覧客を識別する機能をする。具体的には、識別部１２０は例えば、シミュレータの内部に配置されたカメラから撮影された映像情報は参加者に対するものに、そしてシミュレータの外部に配置されたカメラから撮影された映像情報は観覧客に対するものに区分することができる。
【００４７】
識別部１２０は映像情報を分析することによって、識別部１２０を通じて識別した参加者と観覧客が登録された会員であるか判断する過程をさらに遂行できる。例えば、識別部１２０は、複数の映像情報から参加者と観覧客の顔を識別し、識別した顔と保存部（図示されず）に保存された会員達の顔情報とを比較することによって、参加者と各観覧客の会員の可否を判断することができる。
ここで、シミュレータを利用した事業において一般の観覧客の会員の可否はさほど重要なものではないが、参加者の場合、シミュレータに関心がある人なので会員加入を誘導することが好ましい。これに伴い、識別部１２０はシミュレータの参加者が会員ではない場合、以下で言及される会員管理部１５０との連係を通じて会員加入を誘導する過程を遂行できる。もちろん会員加入の誘導を遂行する過程は単なる選択的事項であり、本発明に必須の事項ではない。
【００４８】
リアクションレベル決定部１３０は参加者の少なくとも一つのリアクションを検出し、検出したリアクションのリアクションレベルを決定する機能をする。明細書の全体にわたって言及されるリアクションという用語は、シミュレーションによる参加者の任意の身体の反応を意味し、その例として、話し声、悲鳴、感歎詞のような声を出す、声の大きさの、顔の表情の変化、身振り（ｇｅｓｔｕｒｅ）の変化などのように、他人がすぐに観察可能な行動がある。
リアクションレベル決定部１３０は各リアクションレベルに応じて別途の基準でリアクションのレベルを決定することができる。
【００４９】
例えば、リアクションレベル決定部１３０は、人が出す声の種類例えば、話し声、悲鳴、感歎詞ごとに異なる基準でリアクションレベルを決定することができ、感歎詞についても刺激的な感歎詞であるほどさらに高いリアクションレベルを付与することができる。同様に、リアクションレベル決定部１３０は、単に笑う表情の変化または若干の身振りには低いリアクションレベルを付与する一方、大きく驚く表情の変化、拍手または大きく驚く身振りには高いリアクションレベルを付与することができる。
【００５０】
このために、リアクションレベル決定部１３０は、あらかじめ設定された顔検出アルゴリズム（または表情検出アルゴリズム）、身振り検出アルゴリズムなどを利用することによって、参加者の顔の表情と身振りを検出することができる。ここで、顔検出アルゴリズムは例えば、イメージの強度、幾何学的方法、神経網（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、アダブースト（Ａｄａｂｏｏｓｔ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）等を基盤としたアルゴリズムが利用され得る。
【００５１】
まず、イメージの強度を利用した顔検出アルゴリズムは、顔が３次元である点に起因して、写真または動画内で目、鼻、口、あごの周辺に発生する影によって発生する明暗を探し、この明暗を利用して顔を認識する技術である。
【００５２】
幾何学的方法を利用した顔検出アルゴリズムは、写真または動画内で複数の特徴点などを抽出し、抽出した特徴点とあらかじめ設定された顔の幾何学的特徴点間の比較を通じて顔を検出する方式である。すなわち、あらかじめ設定された顔の幾何学的特徴点との比較を通じて写真または動画内で各人の顔を認識することができ、顔の構成（すなわち、目、鼻、口、頬、頬骨など）の認識が可能である。
【００５３】
神経網は、生物学の神経網（例えば、脳）の特徴を利用した統計学的学習アルゴリズムであって、シナプスの結合でネットワークを形成した人工ニューロンの学習を通じてシナプスの結合強度を変化させて問題解決能力を有するモデル全般を指すものである。
【００５４】
アダブーストは、モデルの予測能力を向上させるものと考えられる特性だけを選択して機械的学習を遂行する方式を指すものである。
【００５５】
そして、サポートベクターマシンは機械学習分野の一つであって、パターンの認識、資料分析のための指導学習モデルであり、主に分類と回帰分析のために使う。二つのカテゴリーのうちいずれか一つに属したデータの集合が与えられた時、サポートベクターマシンアルゴリズムは、与えられたデータ集合に基づいて新しいデータがいずれのカテゴリーに属するかを判断する非確率的２進線形分類モデルを作る。作られた分類モデルは、データが写像された空間において境界で表現されるが、サポートベクターマシンアルゴリズムはその中で最も大きな幅を有する境界を探すアルゴリズムである。
【００５６】
ここで、神経網、アダブースト、サポートベクターマシンを活用した顔認識アルゴリズムは多様に変形および応用して使うことができるため、本発明ではこれを特定の方式で制限しない。また、これらのアルゴリズムは、すでに多様な分野に広く知られているため、これに対する追加的な説明は省略する。
【００５７】
このように、リアクションレベル決定部１３０は、前述した多様な顔認識アルゴリズムのうち少なくとも一つのアルゴリズムを通じて人の顔を認識することができる。
また、リアクションレベル決定部１３０は顔認識の後、認識した顔をさらに分析して、該当の人が作る表情をさらに判断することができる。具体的には、リアクションレベル決定部１３０は認識された人（すなわち、参加者および観覧客）の表情分析を通じて、該当の人がどのような表情（例えば、無表情、笑う表情、泣く表情、驚いた表情など）をしているのか、そしてその表情の強度はどの程度であるかを判断することができる。
【００５８】
例えば、人が笑う時、ある人は若干の微笑みだけを浮かべて笑う反面、他のある人は大笑いをしながら笑い得る。同様に、ある人は若干驚いた表情をする反面、他のある人は大きく驚いた表情を浮かべ得る。このように、人ごとに同じ種類の表情をしても、その表情の強度は人ごとに異なり得るため、リアクションレベル決定部１３０は参加者の、そして観覧客別に表情を浮かべるか否かと、表情を浮かべる時にはその強度を判断することができる。
【００５９】
リアクションレベル決定部１３０は、参加者と観覧客別に表情および表情の強度を判断した後、その強度により例えば、下記の表１のように表情に対するリアクションレベル値を付与することができる。
【００６０】
【表１】
2019032838.tif 000016
【００６１】
表１において、低い強度はほぼ無表情に近い表情を示し、高い強度は大きく笑う表情または大きく驚く表情を示す。
表１において、リアクションレベル値は表情の種類とは無関係に表情の強度によりその数値が変わるものと図示されたが、これは例示に過ぎず、実際には種類別に区分してリアクションレベル値を付与する方法でもよい。例えば、笑う表情に対するリアクションレベル値は１〜１０、そして驚く表情に対するリアクションレベル値は５〜１４に設定し、検出した表情の種類とその強度によりリアクションレベル値を付与することも可能である。そして、表情の種類も前述した２つの表情の他に多様な表情が付加され得、リアクションレベル値の各数値および個数も多様に変更可能である。
【００６２】
リアクションレベル決定部１３０は、関節ポイントの座標中心を利用したアルゴリズムとＫＮＮ（Ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ）アルゴリズムなどのような身振り検出アルゴリズムを通じて各人の身振りを検出することができる。例えば、リアクションレベル決定部１３０は、関節ポイントの座標中心を利用した身振り検出アルゴリズムを通じて、首、肩、腰、ヒジ、膝、足首などに特徴点を設定し、特徴点間の連結線と連結線間の角度を利用して人の身振りを検出し、これをＫＮＮアルゴリズムを通じてあらかじめ学習された身振りと検出した身振り間の類似度を比較することによって、身振りの種類を判断することができる。
【００６３】
そして、リアクションレベル決定部１３０は表情についての処理と同様に、前記身振り検出アルゴリズムを通じて参加者および観覧客の身振りの強度をさらに判断することができる。例えば、リアクションレベル決定部１３０は、該当の人の拍手、驚く身振りなどのような身振りの可否を判断するだけでなく、該当身振りの強度をさらに判断することができる。
【００６４】
リアクションレベル決定部１３０は参加者と観覧客別に身振りおよび身振りの強度を判断した後、その強度により下記の表２のように身振りに対するリアクションレベル値を付与することができる。
【００６５】
【表２】
2019032838.tif 000017
【００６６】
表２において、強度が低いほどほぼ硬直した姿勢に近くなることを示し、強度が高くなるほど拍手または驚く身振りが大きくなることを示す。
表２において、リアクションレベル値は身振りの種類とは無関係に身振りの強度によりその数値が変わるものと図示されたが、これは例示に過ぎず、実際には種類別に区分してリアクションレベル値を付与する方法（例えば、驚く身振りに比べて拍手に対するリアクションレベル値を高く付与するか、またはその反対）でもよい。そして、身振りの種類も前述した２個の身振りの他に多様な身振りが付加され得、リアクションレベル値の各数値および個数も多様に変更可能である。
【００６７】
同様に、リアクションレベル決定部１３０は、声検出時、声の種類およびその大きさをさらに算出することができ、参加者と観覧客別に、種類および強度により下記の表３のように声に対するリアクションレベル値を付与することができる。
【００６８】
【表３】
2019032838.tif 000018
【００６９】
表３において、声に対するリアクションレベル値は声の種類とは無関係に声の強度によりその数値が変わるものと図示された。ただし、これは例示に過ぎず、下記の表４のように声の種類によってリアクションレベル値を異ならせて付与することも可能である。
【００７０】
【表４】
2019032838.tif 000019
【００７１】
表３および表４において、低い強度の声は３０ｄＢ以上５０ｄＢ未満の声を示し、中間強度の声は５０ｄＢ以上８０ｄＢ未満の声を示し、高い強度の声は８０ｄＢ以上の声であるものと設定され得る。ここで、３０ｄＢ未満の声は雑音と見なして無視することができる。
【００７２】
前述したように、本発明は現場の雰囲気を考慮することができる。実際の現場において、リアクションのうち、各人の表情や身振りよりは声発生時に周辺の雰囲気に大きい影響を及ぼすことができる。これに伴い、リアクションレベル決定部１３０は、他のリアクションよりも声に対するリアクションレベル値をより高く設定することができる。
【００７３】
また、声のうち、単なる笑いや話し声よりは感歎詞がシミュレータ周辺の人々に集中され得、感嘆詞よりは悲鳴がシミュレータに視線を集中させることができる。これに伴い、本例示では悲鳴に最も高いリアクションレベル値を付与することができる。ただし、これは例示に過ぎず、他のもののうち感歎詞に最も高いリアクションレベル値を付与するなど、多様に変更可能である。そして、各声の種類および強度によるリアクションレベル値の各数値および個数も多様に変更可能である。
【００７４】
また、リアクションレベル決定部１３０は、リアクションの種類またはリアクションの程度だけでなく、一つの種類に対するリアクションをさらに具体化して異なる基準でリアクションレベル値を付与することもできる。例えば、感歎詞や悲鳴において、より刺激的な感嘆詞や悲鳴には刺激的でない感歎詞や悲鳴に比べてリアクションレベル値が付与され得る。
【００７５】
他の例示として、リアクションレベル決定部１３０は、他人がすぐに観察可能なリアクションだけでなく、シミュレーション補助器具を通じて把握可能なリアクションを利用してリアクションを検出し、リアクションレベルを決定する方式を考えることもできる。例えば、リアクションレベル決定部１３０はシミュレーション補助器具を通じて、リアクションは血圧の上昇または呼吸の変化のような、他人がすぐに観察することができなくてもこれを測定して他人が観察できるように視角化または音声化に変換可能な身体反応にも拡大してリアクションレベルを決定することができる。
【００７６】
また、リアクションレベル決定部１３０は参加者の他に、複数の観覧客のうち現場の雰囲気に肯定的な影響を及ぼす人（すなわち、肯定的なリアクションをする人）のリアクションをさらに検出し、そのリアクションレベルをさらに決定することができる。このように、リアクションレベル決定部１３０は参加者だけでなく、観覧客のリアクションレベルも決定することができる。
【００７７】
リアクションレベル決定部１３０を通じて行われるリアクションレベル決定方式は大きく三種類に分類され得る。具体的には、リアクションレベル決定部１３０は参加者のリアクションを検出し、これに基づいてリアクションレベルを決定する第１リアクションレベル決定方式、参加者リアクションの周辺の観覧客に対する影響度に基づいてリアクションレベルを決定する第２リアクションレベル決定方式、そして第１リアクションレベル決定方式と第２リアクションレベル決定方式を組み合わせた第３リアクションレベル決定方式でリアクションレベルを決定することができる。
【００７８】
第１リアクションレベル決定方式は、参加者本人のリアクションを検出し、その強度および回数によりリアクションレベルを決定する方式である。例えば、リアクションレベル決定部１３０は現場にある参加者の声出し、声の大きさの変化、表情の変化および身振りの変化のうち少なくとも一つを検出し、検出時にこれをカウンティングし、検出したリアクションの強度とその回数を利用して参加者と各観覧客のリアクションレベルを決定することができる。
【００７９】
第１リアクションレベル決定方式において、リアクションレベル決定部１３０は、声出し、声の大きさの変化、表情の変化および身振りの変化のうち少なくとも一つが大きいほど高いリアクションレベルを付与することができる。ここで、リアクションレベル決定部１３０は肯定的な感情を表す表情、身振りおよび声を利用してリアクションレベルを決定することができる。
例えば、表情は、笑う表情、驚く表情などがこれに該当し得、身振りは拍手、指差しなどがこれに該当し得、声は悲鳴（例えば、「きゃっ」、「えっえええ」、「ヴゎゎ」のような悲鳴の声）、感嘆詞（例えば、「ウワッ」、「わ〜」、「わう〜」、「アメージング」のように人が肯定的に驚く時に出す声）、話し声（例えば、一般の会話）等がこれに該当し得る。もちろん、表情、身振り、声は前述したものの他にも笑ったり楽しかったり驚いた時に発生し得る多様な表情、身振り、声をさらに含むことができる。
【００８０】
声出し、声の大きさの変化、表情の変化および身振りの変化のうち表情や身振りは、その程度が大きくても現場の雰囲気に及ぼす影響がさほど大きくない場合もある。これに伴い、リアクションレベル決定部１３０は表情や身振りに対するリアクションレベル値に比べて、声に対するリアクションレベル値が高いように設定することができる。
リアクションレベル値をリアクションの類型別に異ならせて設定する方式の例は、前記表４で説明した方式と類似している。またはリアクションレベル設定部１３０は表情、身振りおよび声のそれぞれが類似するレベル範囲値を許容するものの、声にさらに高い加重値を反映してリアクションレベルを決定してもよい。
【００８１】
以下、加重値方式についての例を挙げる。リアクションレベル決定部１３０でリアクションの類型別に、その程度に応じて１〜１０のリアクションレベル値を付与する状況を仮定する。この時、リアクションレベル決定部１３０はリアクションの類型別に加重値をそれぞれ異ならせて設定することができ、声に対する加重値を２、表情の変化に対する加重値を１、そして身振りの変化に対する加重値を１．５に設定することができる。
ここで、第１リアクションレベル決定部１３０を通じて第１参加者と第２参加者が共にリアクションレベル値が５０に決定され、第１参加者は表情に対するリアクションだけが存在し、第２参加者は声に対するリアクションだけが存在する状況を仮定する。この場合、リアクションレベル値に加重値が反映されて第１参加者に対する最終リアクションレベル値は５０に確定する反面、第２参加者に対する最終リアクションレベル値は１００に調整され得る。もちろん、リアクションレベル値と加重値に対する例示は前述のものに制限されず、多様な値に変更され得る。
【００８２】
第１参加者はあらかじめ設定された期間の間第１回数だけ肯定的な表情を浮かべ、第２参加者はあらかじめ設定された期間の間第１回数だけ肯定的な声（例えば、感嘆詞、悲鳴、話し声）を出したと仮定すると、リアクションレベル決定部１３０は第１参加者より第２参加者にさらに高いリアクションレベルを付与することができる。
このように、リアクションレベル決定部１３０はリアクションの類型別に異なるように設定された加重値を反映してリアクションレベルを算出して、参加者と観覧客格別のリアクションレベルを最終決定することができる。例えば、リアクションレベル決定部１３０は下記の表５にしめされた基準によりリアクションレベルを決定することができる。
【００８３】
【表５】
2019032838.tif 000020
【００８４】
表５において、左側の列はリアクションレベル値の合算を示し、右側の列はリアクションレベル値の合算により設定されるリアクションレベルを示す。ここで、リアクションレベルの個数と、その基準となるリアクションレベル値の合算は多様に変更可能である。
【００８５】
また、リアクションレベル決定部１３０は声出し、声の大きさの変化、表情の変化および身振りの変化のうち少なくとも一つを検出しても、その程度が小さすぎる場合（すなわち、各リアクションの類型別に定められた臨界値未満のリアクションである場合）には、これをリアクションレベルに含ませない場合もある。例えば、前述した表１〜表３において、低い強度のレベル値はリアクションレベル値の合算に反映されない場合もある。もちろん、このような臨界値は多様に変更可能である。
【００８６】
このような事項を考慮する理由は、本発明の目的の一つが現場の雰囲気の改善のためのものであるが、小さすぎるリアクションは現場の雰囲気の改善にほとんど役に立たないためである。これに伴い、現場の雰囲気の改善のために、他の人の視線を集中させ得るリアクションレベル値のみを合算して最終の合算値を計算する方がより有効的な計算法となり得る。
【００８７】
本発明の目的の一つにシミュレーション周辺の人々の参加を誘導することがあるが、シミュレーション参加者のリアクションレベルの程度は、結果として周辺の人々のシミュレーション参加者に対する関心度を高める場合に、より意味のある値であると言うことができる。これに伴い、以下で説明される第２リアクションレベル決定方式のように周辺の人々の影響度を考慮することが重要であり得る。
【００８８】
第２リアクションレベル決定方式は、参加者のリアクションにより変わる周辺の人々の影響度を利用してリアクションレベルを決定する方式である。具体的には、第２リアクションレベル決定方式でリアクションレベル決定部１３０は、参加者のリアクションにより変わる周辺の観覧客の影響度およびその回数を判断し、その影響度および回数によりリアクションレベル値を算出し、算出したリアクションレベル値を利用してリアクションレベルを決定することができる。
リアクションレベルの決定は表５を参照して前述したように、あらかじめ設定された基準に算出したリアクションレベル値を反映することによって行われ得る。そして、第１リアクションレベル決定方式と同様に、第２リアクションレベル決定方式は、リアクションにより変わる周辺の人々の影響度が大きいほど高いリアクションレベルを付与することができる。
【００８９】
例えば、リアクションレベル決定部１３０は、参加者が発生したリアクションにより周辺の観覧客の声出し、声の大きさの変化、表情の変化および周辺の観覧客数の変化のうち少なくとも一つを感知し、感知結果に基づいて参加者に対するリアクションレベルを付与することができる。
【００９０】
第３リアクションレベル決定方式は、前述した第１リアクションレベル決定方式と第２リアクションレベル決定方式によるリアクションレベル決定方法を組み合わせる方式である。すなわち、第３リアクションレベル決定方式は、参加者のリアクション、そしてこれらによる周辺環境の影響度を考慮してリアクションレベルを決定する方式である。例えば、参加者に対するリアクションレベルを決定する時には、参加者本人に対するリアクションレベル値と、観覧客のリアクションレベル値を含んで参加者のリアクションレベルを決定することができる。
【００９１】
換言すると、リアクションレベル決定部１３０は観覧客のリアクションレベル値（または観覧客のリアクションレベル）も考慮して、参加者のリアクションレベルを決定することができる。
ここで観覧客のリアクションレベルは、前記第１〜第３リアクションレベル決定方式で説明された各参加者のリアクションレベル値を合算した第１合算値、全観覧客の声の大きさの変化または観覧客数の変化のような全観覧客のリアクションレベル値の一つ以上を合算した第２合算値、または前記第１および第２合算値を組み合わせた合算値で決定され得る。このように合算値が決定すると、リアクションレベル決定部１３０は該当合算値を表５を参照して説明した基準に反映することによってリアクションレベルを決定することができる。これに対する説明は前記で詳細に言及したので、重複する説明は省略する。
【００９２】
シミュレーション観覧客のリアクションレベル決定方法は、シミュレーション参加者のリアクションレベル決定方法と同じ方法を使うことができる。この場合、各観覧客のリアクションレベル値を合算したり、声の大きさのような全観覧客から一つのリアクションレベル値を導き出すこともできる。ひいては、全観覧客の一つのリアクション値のさらに他の例として、シミュレーションの間シミュレーション周辺の観覧客数の変化をさらに含むことができる。
【００９３】
このように、本発明の第１実施例に係るリアクションレベル決定部１３０は、多様な方式を通じて現場の雰囲気に影響を及ぼす人々を探し、その程度に応じてリアクションレベルを決定することを特徴とする。
【００９４】
前記の説明において、リアクションレベル決定部１３０はシミュレーション中に参加者（または観覧客）のリアクションを検出し、検出したリアクションによりリアクションレベルを決定するものと説明した。ここで、リアクションレベル決定部１３０を通じて行われるリアクション検出時点はシミュレーションの全体の時点ではなく、シミュレーション中に参加者のリアクションが予想される一つ以上のあらかじめ定められた時点であることが好ましい。例えば、参加者のリアクションが予想されるあらかじめ定められた時点は、シミュレーション内のプログラムにおいて、参加者の操作によりシミュレータが急激に動く時点、例えば、シミュレータが急激に直線の動きをしたり、回転の動きをすると予想される時点を表し得る。
【００９５】
もちろん、リアクションレベル決定部１３０を通じてシミュレーションの全体の時点に対してリアクションの検出を遂行する方式も考えられ得る。しかし、特定の時点ではなく全体の時点にわたってリアクションの検出を遂行すると、それだけプロセッサでの処理負荷が高く、したがって検出効率も低下するはずである。
反面、あらかじめ定められた時点でのみリアクションの検出を遂行する場合、リアクションの検出および報奨方法の効率性、実現容易性、プロセッサの処理負荷の減少、参加者間の相対的な比較が容易な長所がある。それだけでなく、あらかじめ定められた時点でのみリアクションを検出する場合、リアクションが予想されていない時点での参加者の意図的なリアクションを排除することができるため、押し付けがましい広報の拒否感をなくすことができ、シミュレータ周辺の観覧客の自然な参加を誘導することができる。
【００９６】
報奨支給決定部１４０は、リアクションレベル決定部１３０を通じて決定したリアクションレベルに応じて報奨を支給する機能をする。このために、報奨支給決定部１４０は参加者のリアクションレベルを確認し、リアクションレベルとあらかじめ設定された臨界報奨支給レベルとを比較する。
ここで、報奨支給決定部１４０はリアクションレベルがあらかじめ設定された臨界報奨支給レベルを超過する参加者を、報奨支給対象に決定することができる。また、報奨支給決定部１４０は報奨支給対象に決定された参加者に対して、各リアクションレベルに応じてあらかじめ設定された報奨を支給できる。例えば、報奨がポイントである場合、報奨支給対象に支給されるポイントは下記の表６に図示されたように、リアクションレベルによって異なり得る。
【００９７】
【表６】
2019032838.tif 000021
【００９８】
表６の例示では、リアクションレベルを１０個に分け、リアクションレベルにより支給される報奨はリアクションレベル別に５０ずつ差が出るものとして図示した。ただし、これは例示に過ぎず、リアクションレベルの個数とリアクションレベルにより支給される報奨は多様に変更可能である。
【００９９】
このような報奨支給過程で、報奨支給対象に決定された参加者が該当サービスに登録された会員であれば、該当会員に報奨だけを支給すればよい。ただし、登録されていない参加者が報奨支給対象に決定すると、該当の人への報奨支給が難しく、報奨を支給してもその種類が大きく制限されるため、本発明のリアクション報奨装置１００は会員加入の誘導および会員管理のための会員管理部１５０をさらに含んで構成され得る。
【０１００】
会員管理部１５０は、複数の会員情報を保存する保存部（図示されず）に報奨支給対象に決定された人の情報が存在しない場合、会員加入画面を生成し、会員加入画面を報奨支給対象に決定された人に提供する機能をする。ここで、会員加入画面は出力部５０を通じて出力され得る。
会員加入のために入力すべき情報が多すぎると、該当の人は会員加入を拒否する確率が高い。したがって、会員管理部１５０は該当の人を唯一に識別できる識別子（例えば、写真、携帯電話番号）の入力を受けるものの、その個数を最小化して会員加入画面を構成することができる。例えば、使用者が使用者のＩＤ（または名前）と携帯電話番号だけを入力すれば会員加入が完了するように情報入力領域を構成し、該当情報入力領域を含む会員加入画面を構成することも可能である。もちろん、選択的に使用者のメールアドレス、虹彩、指紋などの他の情報を利用して会員加入を遂行する方式も考えられ得るが、使用者の携帯電話番号が使用者に接近性が最も容易であり情報提供も容易であるので、他のものよりは携帯電話番号を利用して会員加入を遂行することが最も好ましい。
【０１０１】
該当の人の操作を通じて会員加入が完了すると、報奨支給決定部１４０は会員に登録された報奨支給対象に報奨を支給する。また、報奨支給決定部１４０を通じて報奨支給が完了すると、報奨支給通知部１７０により、報奨を支給したことを通知するためのメッセージを生成し、これを報奨の支給を受けた人の携帯用端末機に報奨支給結果を通知するメッセージを送信することができる（図２参照）。
【０１０２】
ただし、報奨支給対象に決定された参加者（または観覧客）が会員加入を所望しない場合も存在し得る。報奨支給対象に決定された参加者（または観覧客）が会員加入をしなくても、該当対象にシミュレータに対する肯定的な経験を誘導し再訪問率を高めるためには、これに伴う報奨を支給することが好ましい。
したがって、報奨支給決定部１４０は該当参加者（または観覧客）が会員加入をしなくても報奨支給対象に報奨を支給できる。前述したように、報奨の種類はプレゼント（または景品）、割引券、クーポン（例えば、無料クーポンまたは現場割引クーポン）、マイレージなど、多様であり得るが、実質的にデータベース内に保存および管理が難しい対象にはポイントやマイレージのように、使用者のアカウントなどに保管されなければならない報奨ではない、現物報奨（例えば、割引券、クーポン、景品）等が支給されるように制御される。
【０１０３】
例えば、このような現物報奨を支給するために、報奨支給決定部１４０は現場にいる管理職員がすぐに確認できるように、文字形態のメッセージとカメラを通じて撮影した映像情報のうち少なくとも一つを伝達し、該当管理職員が前述した物質からなる報奨を支給するように制御する方式を採択することができる。もちろん、これは例示に過ぎず、他の多様な方式が採択されてもよい。
【０１０４】
このように、本発明の第１実施例に係るリアクション報奨装置１００は、現場の雰囲気に肯定的な影響を及ぼす人々を分類し、これらのリアクションレベルにより換算された報奨を参加者（または観覧客）に支給できる。
報奨の支給を受けた顧客は、報奨を利用するために再訪問率が高くなり、このような再訪問率の上昇は周辺の観覧客にも影響を及ぼし得る。また、本発明の第１実施例に係るリアクション報奨装置１００は、シミュレータを活用した事業分野で熟練した人の代わりに現場の雰囲気の改善を実現することができる。
【０１０５】
前記の説明では、本発明の第１実施例に係るリアクション報奨装置１００が、現場の雰囲気の改善のために報奨を支給するとのみ説明されたが、さらに、本発明の第１実施例に係るリアクション報奨装置１００は、検出したリアクションに対する情報に基づいて、シミュレータを通じて動作するシミュレーションを評価し、該当シミュレーションの没入度や効果を高め得るように、シミュレーションのアップグレードに使用され得る基礎資料の提供にも活用され得る。また、このような基礎資料は、シミュレーションサービスの提供者が今後多様な他のサービスまたは人工知能サービスを提供する時、それに活用され得るためサービスの多角化が可能となる。
【０１０６】
本発明の第１実施例に係るリアクション報奨装置１００は、特定の位置に固定されてその機能を遂行するものとして言及された。ただし、これは例示に過ぎず、本発明のリアクション報奨装置は駆動部を含む移動式装置（例えば、知能型ロボット）の形態で具現されてもよい。また、一部の構成は移動式装置に位置し、残りの構成は特定の位置に構成され得、一部の構成が後述するように遠隔地に位置して通信を通じて連結されてもよい。
【０１０７】
図３は、本発明の第２実施例に係るシミュレーション参加者のリアクション報奨システム１０００の概念図である。図４は本発明の第２実施例に係る現場端末機３００についてのブロック図で、図５は本発明の第２実施例に係るリアクション報奨サーバー４００についてのブロック図である。
【０１０８】
本発明の第２実施例に係るシミュレーション参加者のリアクション報奨システム１０００は、前記本発明の第１実施例で説明したリアクション報奨サーバーを二つの装置に分け、二つの装置間の通信を通じてシミュレーション参加者に対するリアクション報奨をする。このために、本発明の第２実施例に係るリアクション報奨システム１０００は、シミュレータがある現場に位置した現場端末機３００と、外部サーバーで動作するリアクション報奨サーバー４００を含んで構成され得る。
【０１０９】
現場端末機３００はシミュレーションが設置された現場で参加者（または観覧客）に対する情報を収集し、収集した情報をリアクション報奨サーバー４００に伝達する。そして、現場端末機３００はリアクション報奨サーバー４００を通じて生成された特定の人（例えば、報奨支給対象）の会員加入画面に対するデータを受信すると、受信した会員加入画面を出力部５０を通じて出力することができる。
本発明の第２実施例に係る現場端末機３００はこれらの機能を遂行するために、情報収集部３１０および端末通信部３２０を含んで構成され得る（図５参照）。ここで、これらの構成は収集した情報を端末通信部３２０を通じてリアクション報奨サーバー４００に伝達するという部分を除いては、図１で言及した情報収集部１１０と実質的に同じであるため、重複する説明は省略する。
【０１１０】
リアクション報奨サーバー４００は外部サーバーであって、少なくとも一つの現場端末機３００からデータ（すなわち、映像情報と音声情報のうち少なくとも一つ）を受信し、受信した情報に基づいてシミュレータの参加者（または観覧客）のリアクションレベルを決定し、決定したリアクションレベルによりリアクション報奨を支給できる。
また、リアクション報奨サーバー４００は報奨支給対象に決定された人が該当サービスに加入した会員であるかどうかの可否を確認し、登録されていない会員の場合、会員加入の誘導のための会員加入画面を生成し、これを現場端末機３００に送信することができる。また、リアクション報奨サーバー４００は報奨支給対象に決定された人の会員登録の有無にかかわらず、報奨を支給するための過程を遂行することもできる。また、会員である場合、報奨支給の後に報奨支給結果を通知するメッセージを生成し、これを移動通信網サーバー６０を通じて該当の人に伝達することができる。
【０１１１】
前述した機能を遂行するためにリアクション報奨サーバー４００は、サーバー通信部４１０、識別部４２０、リアクションレベル決定部４３０、報奨支給決定部４４０、会員管理部４５０および報奨支給通知部４７０を含んで構成され得る。ここで、前記構成は現場端末機３００との通信を通じて情報を受信するという点を除いては、前述した本発明の第１実施例に係る装置に含まれた構成の機能と実質的に同じである。したがって、前記構成に対する機能についての説明は省略する。
【０１１２】
ここで、前述した機能の実行のために、本発明をサーバーおよびクライアントの形態で構成する時に発生する効果は次のとおりである。
【０１１３】
まず、前述した機能を情報収集のための構成（すなわち、現場端末機）と、実質的な処理のための構成（すなわち、リアクション報奨サーバー）で構成する場合、現場端末機そのものから発生する負荷量を相当量減少させることができる。すなわち、シミュレーション事業者の観点から考えてみると、事業者はリアクション報奨サービスを提供できる装置をシミュレーション現場のサービス提供者などにレンタルまたは販売するであろうし、サービス提供者はレンタルまたは購入した装置を利用してシミュレーションサービスを参加者に提供するであろう。
ここで、事業者およびサービス提供者の立場から見ると、図１〜図２を参照して説明した機能が一つの装置を通じて実行されると仮定すると、その装置には処理速度が速いプロセッサが搭載されるべきであろう。プロセッサの性能が高いほど装置の製品の単価も高くなることを意味するので、これは事業者およびサービス提供者のいずれにも悪い影響を及ぼしかねない。
【０１１４】
反対に、事業者がレンタルする装置で多数の処理が行われるのではなく、情報の収集、有線または無線通信を通じての情報の送信、そしてメッセージ出力の機能だけを遂行する場合、比較的安いプロセッサでも可能であるので、製品の単価を非常に低くできる効果がある。このような長所はサービス提供者数が増えるほどさらに目立ち得る。
【０１１５】
第二、販売またはレンタルされた装置に対するアップデートが容易である。本発明の実施例に係るリアクション報奨方法の場合、その特性上、リアクションレベル、リアクションレベルの個数、加重値、報奨量、報奨の種類などを決定する方法に対するアップデートが頻繁となり得る。
もちろん、前記方法の駆動に利用されるプログラムでデバッギングのためのアップデートも存在し得る。この時、サーバーおよびクライアントの構成ではなく、一つの装置で前述した機能をすべて実現する場合、該当装置が設置された場所を動き回りながらアップデートを遂行する人手が要求されるであろうし、即刻的なアップデートの遂行も難しいであろう。その反面、サーバーおよびクライアントの形態で構成をする場合、サーバーの指示により複数の現場端末機が同時にまたは状況によって（例えば、ブートがなされた後）アップデートに該当するデータをサーバーから受信し、受信したデータを通じてアップデートが進行されるようにすることによって、アップデートの過程がより容易に行われ得る。この場合、前述した人手が不要となるため人手を浪費することを防止することができ、迅速なアップデートも可能な長所がある。
【０１１６】
第三、今後シミュレーションのアップデートや多様なサービスに活用される基礎資料の収集が容易である。前述したように、本発明の実施例に係るリアクション報奨装置および方法は、シミュレーションのアップデートまたは多様なサービスの提供に活用される基礎資料を提供することができる。この時、多数の現場端末機から収集された情報をサーバーで処理する場合、サーバーでは多様な場所に（例えば、全国的に）分散された複数の現場端末機から多様な情報の取得できるため、資料の収集が容易となる。
【０１１７】
ただし、この方式はサーバーの仕様が高くなければならず、サーバーとクライアント（すなわち、現場端末機）間の通信状態とサーバー管理などが要求されるので、第１〜第２実施例として言及された装置を状況に合うように実現することが好ましい。
【０１１８】
以下、図６〜図７を参照して本発明の実施例に係るシミュレーション参加者のリアクション報奨方法について説明する。
【０１１９】
図６は、本発明の第１実施例に係るシミュレーション参加者のリアクション報奨方法のフローチャートである。具体的には、図６は本発明の第１実施例に係るリアクション報奨装置を通じて行われる、参加者と観覧客のリアクションレベルを決定し、リアクションレベルにより報奨を支給する方法のフローチャートである。以下では前記で言及されたものと重複する事項は省略して説明する。
【０１２０】
Ｓ１０１段階は、情報収集部によって複数の映像情報および音声情報を収集する段階である。具体的には、Ｓ１０１段階は、シミュレータの内部および外部に位置したカメラから映像情報を収集し、マイクから音声情報を収集する段階である。
【０１２１】
Ｓ１０２段階は、識別部によってＳ１０１段階を通じて収集した複数の映像情報と音声情報を利用して参加者と観覧客を識別する段階である。例えば、Ｓ１０２段階では、シミュレータの内部に設置されたカメラからの映像情報を参加者に対するもの、そしてシミュレータの外部に設置されたカメラからシミュレータの外部を撮影した映像情報を観覧客に対するものに識別することができる。また、Ｓ１０２段階は、識別した参加者と観覧客が登録された会員であるか判断する段階をさらに含むことができる。
【０１２２】
Ｓ１０３段階は、リアクションレベル決定部により、シミュレータに搭乗した参加者と観覧客のリアクションを検出し、参加者のリアクションレベルを決定する段階である。前述したように、リアクションは人の声出し、声の大きさの変化、表情の変化および身振りの変化のうちいずれか一つを含む。
これに伴い、Ｓ１０３段階を通じて行われるリアクションの検出のために、あらかじめ設定された顔検出アルゴリズム（または表情検出アルゴリズム）と身振り検出アルゴリズムが利用され得、本発明ではこれらのアルゴリズムを特定のアルゴリズムに制限しない。また、Ｓ１０３段階は、選択的に、シミュレーション補助器具との連動を通じて血圧の上昇または呼吸の変化のように、他人がすぐに観察することはできないがこれを測定して視角化または音声化に変換可能な身体変化リアクションに基づいて行うことも可能である。
【０１２３】
前述したように、Ｓ１０３段階を通じて行われるリアクションレベルの決定は、各リアクションの類型により別途の基準に定められ得る。例えば、Ｓ１０３段階は、リアクションのうち、声出しについてのリアクションレベルは、話し声、感嘆詞、悲鳴などの種類によって、身振りの変化と表情の変化は身振りと表情の種類によって変わり得る。
また、Ｓ１０３段階は、感歎詞が刺激的であるほど高いレベルを付与することによって、声の大きさによるリアクションレベルはその大きさが大きいほど高いレベルを付与することによって、そして身振りの変化と表情の変化についてはその大きさが大きいほど高いレベルを付与することによって行われ得る。
【０１２４】
また、Ｓ１０３段階は、リアクションの類型のうちいずれか一つのリアクションレベル値により決定されるか、または複数個のリアクションの類型に対してリアクションの類型別に異なる加重値を設け、リアクションレベル値を合算することによって行われ得、加重値はリアクションの類型のうち声に最も高く設定され得る。
Ｓ１０３段階は、シミュレーションのあらかじめ定められた一つ以上の時点で検出したリアクションレベル値を合算して行われ得、単にリアクションの類型によりリアクションレベルを決定するのではなくリアクションの回数も考慮し、リアクションの種類を考慮してリアクションレベルを決定することができる。
【０１２５】
Ｓ１０３段階は、各リアクションの類型別に定められた臨界値以上の場合のレベル値のみを合算して行われるようにすることも可能である。これは前述したように、現場の雰囲気に影響を及ぼす人にのみ報奨を付与するためである。
【０１２６】
また、Ｓ１０３段階を通じて行われるリアクションレベル決定方式は、大きく三個に分類され得る。これらのうち第１リアクションレベル決定方式は参加者自らがしたリアクションに基づいてリアクションレベルを決定する方式であり、第２リアクションレベル決定方式は参加者のリアクションの周辺の人々に対する影響度によりリアクションレベルを決定する方式であり、第３リアクションレベル決定方式は第１リアクションレベル決定方式と第２リアクションレベル決定方式を適切に組み合わせた方式である。
このようにＳ１０３段階は、現場の雰囲気に影響を及ぼすリアクションを検出し、彼自身、周辺の人々またはこれらのすべてを考慮してリアクションレベルを決定することができる。
【０１２７】
第３リアクションレベル決定方式により参加者のリアクションレベルを決定する場合、Ｓ１０３段階は、各観覧客のリアクションレベル値を合算した第１合算値、全観覧客の声の大きさの変化または観覧客数の変化のような全観覧客のリアクションレベル値の一つ以上を合算した第２合算値、または前記第１および第２合算値を組み合わせた合算値に基づいてリアクションレベル値を導き出し、これに基づいてリアクションレベルを決定することができる。これについての説明は前記で詳細に言及したので、重複する説明は省略する。
【０１２８】
また、前述したようにＳ１０３段階は、シミュレーションの全体の時点ではなく、シミュレーション中に参加者のリアクションが予想される一つ以上のあらかじめ定められた時点で行われ得る。
【０１２９】
Ｓ１０４段階は、報奨支給決定部により、報奨支給対象を決定する段階である。具体的には、Ｓ１０４段階は、参加者のリアクションレベルを確認し、確認したリアクションレベルとあらかじめ設定された臨界報奨支給レベルを比較することによって、報奨支給対象を決定する段階である。
Ｓ１０４段階は、臨界報奨支給レベルを超過する参加者または観覧客を報奨支給対象に決定することができる。もちろん、Ｓ１０４段階は、臨界報奨支給レベルを超過する参加者の間でもリアクションレベルにより支給される報奨量または報奨程度に差等を設けることができる。
【０１３０】
Ｓ１０５段階は、会員管理部によって、Ｓ１０４段階を通じて決定された報奨支給対象が登録された会員であるか判断する段階である。確認結果報奨支給対象が会員である場合、制御はＳ１０８段階に伝達される。そうでない場合、制御はＳ１０６段階に伝達される。
【０１３１】
Ｓ１０６段階は、会員管理部によって会員加入画面を生成し、これを表示する段階である。例えば、Ｓ１０６段階は、該当報奨支給対象に携帯電話番号などを入力するように誘導することによって行われ得、該当情報が入力されると、該当対象の会員番号を発行したり、写真を共に保存することができる。
【０１３２】
Ｓ１０７段階は、会員管理部によって、報奨支給対象が会員加入を遂行したかを判断する段階である。判断の結果、報奨支給対象が報奨の支給を受けるために、会員加入をした場合、制御はＳ１０８段階に伝達される。そうでない場合にも、制御はＳ１０８段階に伝達され得る。
【０１３３】
Ｓ１０８段階は、報奨支給決定部により、報奨を支給する段階である。また、報奨は、ポイント、景品、割引券、無料クーポン、現場割引クーポン、マイレージのうち少なくとも一つを含むことができる。ここで、報奨支給対象が既存または新規会員である場合、支給可能な報奨の種類には制限がないが、報奨支給対象が会員ではない場合、Ｓ１０８段階は、現物報奨（例えば、割引券、クーポン、景品など）を該当報奨支給対象に提供するように行われ得る。すなわち、報奨支給対象は現場の雰囲気に大きい影響を及ぼす人を表すので、Ｓ１０８段階は、この人が会員であるかどうかの可否に関わらずに報奨を支給し、報奨支給対象の再訪問率を高めることができる。
【０１３４】
図７は本発明の第２実施例に係るシミュレーション参加者のリアクション報奨サーバーの動作方法のフローチャートである。前述したように、本発明の第２実施例はリアクション報奨装置を二つの装置すなわち、現場端末機とリアクション報奨サーバーに分けた時に行われる方法を表す。ここで、現場端末機は映像情報および音声情報を収集し、これをリアクション報奨サーバーに伝達する機能と、リアクション報奨サーバーの制御により出力を遂行する機能のみを遂行するので、以下ではリアクション報奨サーバーの動作方法を中心にその説明が行われる。また、以下では前述した部分と重複する事項は省略してその説明が行われる。
【０１３５】
Ｓ３０１段階は、サーバー通信部によって、現場端末機から送信された複数の映像情報および音声情報を受信する段階である。前記で言及したように、シミュレータが設置された現場には、シミュレータの内部と外部のうち少なくとも一つにカメラおよびマイクが設置され、現場端末機によって、設置されたカメラおよびマイクを通じて複数の映像情報および音声情報を収集する過程が行われる。こうして収集が完了すると現場端末機で収集した映像情報および音声情報をリアクション報奨サーバーに送信する。
【０１３６】
Ｓ３０２段階は、識別部によって、Ｓ３０１段階を通じて収集した複数の映像情報と音声情報を利用して参加者と観覧客を識別する段階である。
【０１３７】
Ｓ３０３段階は、リアクションレベル決定部により、シミュレータに搭乗した参加者（または観覧客）のリアクションを検出し、参加者（または観覧客）のリアクションレベルを決定する段階である。Ｓ３０４段階は、報奨支給決定部により、報奨支給対象を決定する段階である。Ｓ３０３段階とＳ３０４段階は、図６を参照して説明されたＳ１０３段階およびＳ１０４段階と実質的に同じであるので、重複する説明は省略する。
【０１３８】
Ｓ３０５段階は、会員管理部によって、Ｓ３０４段階を通じて決定された報奨支給対象が登録された会員であるか判断する段階である。確認結果報奨支給対象が会員である場合、制御はＳ３０８段階に伝達される。そうでない場合、制御はＳ３０６段階に伝達される。
【０１３９】
Ｓ３０６段階およびＳ３０７段階は、報奨支給対象が報奨を支給されるように会員加入を誘導する段階である。具体的には、Ｓ３０６段階は、会員管理部によって会員加入画面を生成し、これを現場端末機に送信する段階である。これに伴い、現場端末機では受信した会員加入画面を出力部を通じて出力することができ、これに伴い、該当報奨支給対象に会員加入を誘導することができる。
【０１４０】
Ｓ３０７段階は、会員管理部によって、報奨支給対象が会員加入を遂行したかを判断する段階である。判断結果、報奨支給対象が会員加入をした場合、制御はＳ３０８段階に伝達される。そうでなくても、制御はＳ３０８段階に伝達され得る。
【０１４１】
Ｓ３０８段階は、報奨支給決定部により、報奨を支給する段階である。前述したように、報奨支給は該当対象の会員加入の可否とは無関係に行われ得るが、会員の可否により支給される報奨の種類は少なくとも一部が異なり得る。
【０１４２】
本発明の原理はハードウェアとソフトウェアの組み合わせで具現され得る。また、ソフトウェアはプログラム保存部上で実際に具現されるアプリケーションで具現され得る。アプリケーションは任意の適切なアーキテクチャーを含むマシンにアップロードされてマシンによって実行され得る。好ましくは、マシンは一つ以上の中央処理装置（ＣＰＵ）、コンピュータプロセッサ、ランダムアクセスメモリー（ＲＡＭ）、および入力／出力（Ｉ／Ｏ）インタフェースのようなハードウェアを有するコンピュータプラットフォーム上に具現され得る。また、コンピュータプラットフォームは運営体制およびマイクロ命令コードを含むことができる。
ここで説明された多様なプロセスおよび機能は、マイクロ命令コードの一部またはアプリケーションの一部、またはこれらの任意の組み合わせであり得、これらはＣＰＵを含む多様な処理装置によって実行され得る。さらに、追加データ保存部およびプリンタのような多様な他の周辺装置がコンピュータプラットフォームに接続され得る。
【０１４３】
添付図面で図示された構成システムコンポーネントおよび方法の一部が、好ましくはソフトウェアで具現されるので、システムコンポーネントまたはプロセス機能ブロックの間の実際の接続は、本発明の原理がプログラミングされる方式により変わり得る点がさらに理解されるべきである。これらの教示が与えられると、関連技術分野の当業者は本発明の原理および類似する実現例または構成を参酌できるはずである。
【０１４４】
例示的な実施例がここで添付図面と関連して記述されたが、本発明の原理は実施例に制限されず、多様な変更および修正が本発明の原理の範囲または思想から逸脱することなく関連技術分野の当業者によって実行され得る点が理解されるべきである。すべてのこのような変更および修正は添付された請求項で説明されるような本発明の原理の範囲内に含まれることが意図される。
【０１４５】
以上では特定の用語が使われたが、これは単に本発明を説明するための目的で使われたものであり、意味の限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたのではない。したがって、本技術分野の通常の知識を有する者であれば、これから多様な変形および均等な他の実施例が可能であることが理解できるはずである。したがって、本発明の真の技術的保護範囲は添付された特許請求の範囲の技術的思想によって定められるべきである。
【符号の説明】
【０１４６】
１００  リアクション報奨装置
１１０  情報収集部
１２０  識別部
１３０  リアクションレベル決定部
１４０  報奨支給決定部
１５０  会員管理部
１７０  報奨支給通知部
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2019032838.tif 000022
【図２】
2019032838.tif 000023
【図３】
2019032838.tif 000024
【図４】
2019032838.tif 000025
【図５】
2019032838.tif 000026
【図６】
2019032838.tif 000027
【図７】
2019032838.tif 000028