(57)【要約】      （修正有）【課題】情報がユーザに認識されたか否かを正確に判定することが可能な認識判定装置、認識判定方法及び認識判定プログラムを提供する。【解決手段】認識判定装置は、提示部に提示させる提示情報を供給する提示情報供給部と、提示情報の提示対象となるユーザの行動に関する行動情報を取得する行動情報取得部と、提示情報の内容と提示情報が提示されている間の行動情報の内容とに基づいて、提示情報がユーザに認識されたか否かを判定する判定部と、を有する。【選択図】図２
2019133458.tif 000002
【特許請求の範囲】
【請求項１】
提示部に提示させる提示情報を供給する提示情報供給部と、
前記提示情報の提示対象となるユーザの行動に関する行動情報を取得する行動情報取得部と、
前記提示情報の内容と前記提示情報が提示されている間の前記行動情報の内容とに基づいて、前記提示情報が前記ユーザに認識されたか否かを判定する判定部と、を有することを特徴とする認識判定装置。
【請求項２】
前記行動情報取得部は、前記ユーザが発する音声に関する音声情報を前記行動情報として取得し、
前記判定部は、前記提示情報の内容と前記音声情報の内容との間の関連度に基づいて、前記提示情報が前記ユーザに認識されたか否かを判定することを特徴とする請求項１に記載の認識判定装置。
【請求項３】
前記判定部は、前記提示情報が提示される前と前記提示情報が提示された後との間で前記音声情報の内容が変化し、かつ前記提示情報が提示された後の前記音声情報の内容と前記提示情報の内容との間に所定の関連度がある場合、前記提示情報が前記ユーザに認識されたと判定することを特徴とする請求項２に記載の認識判定装置。
【請求項４】
前記行動情報取得部は、前記ユーザが発する音声に関する音声情報を前記行動情報として取得し、
前記判定部は、前記提示情報が提示された後に前記音声情報が所定時間に亘って取得されなかった場合、前記提示情報が前記ユーザに認識されたと判定することを特徴とする請求項１に記載の認識判定装置。
【請求項５】
前記行動情報取得部は、前記ユーザの挙動に関するユーザ挙動情報を前記行動情報として取得し、
前記判定部は、前記提示情報の内容と前記ユーザ挙動情報の内容との間の関連度に基づいて、前記提示情報が前記ユーザに認識されたか否かを判定することを特徴とする請求項１乃至４のいずれか１つに記載の認識判定装置。
【請求項６】
前記提示部は、移動体に搭載され、
前記行動情報取得部は、前記移動体の挙動に関する移動体挙動情報を前記行動情報として取得し、
前記判定部は、前記提示情報の内容と前記移動体挙動情報の内容との間の関連度に基づいて、前記提示情報が前記ユーザに認識されたか否かを判定することを特徴とする請求項１乃至５のいずれか１つに記載の認識判定装置。
【請求項７】
前記提示情報は、前記移動体の移動支援に係る移動支援情報を含み、
前記判定部は、前記移動体が前記移動支援情報により推奨される挙動を示した場合、前記提示情報が前記ユーザに認識されたと判定することを特徴とする請求項６に記載の認識判定装置。
【請求項８】
前記移動体は車両であり、前記ユーザは前記移動体の乗員であることを特徴とする請求項６又は７に記載の認識判定装置。
【請求項９】
前記移動体は携帯端末であり、前記ユーザは前記携帯端末の使用者であることを特徴とする請求項６又は７に記載の認識判定装置。
【請求項１０】
前記提示情報供給部は、前記判定部によって前記提示情報が前記ユーザに認識されなかったと判定された場合、前記提示情報を再度供給することを特徴とする請求項１乃至９のいずれか１つに記載の認識判定装置。
【請求項１１】
前記提示情報は、広告主から提供された広告情報を含むことを特徴とする請求項１乃至１０のいずれか１つに記載の認識判定装置。
【請求項１２】
認識判定装置が実行する認識判定方法であって、
提示部に提示させる提示情報を供給するステップと、
前記提示情報の提示対象となるユーザの行動に関する行動情報を取得するステップと、
前記提示情報の内容と前記提示情報が提示されている間の前記行動情報の内容とに基づいて、前記提示情報が前記ユーザに認識されたか否かを判定するステップと、を含むことを特徴とする認識判定方法。
【請求項１３】
コンピュータを、
提示部に提示させる提示情報を供給する提示情報供給部と、
前記提示情報の提示対象となるユーザの行動に関する行動情報を取得する行動情報取得部と、
前記提示情報の内容と前記提示情報が提示されている間の前記行動情報の内容とに基づいて、前記提示情報が前記ユーザに認識されたか否かを判定する判定部と、として機能させることを特徴とする認識判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象の情報がユーザに認識されたか否かを判定する認識判定装置、認識判定方法及び認識判定プログラムに関する。
【背景技術】
【０００２】
一般に、広告業界では、広告代理店は、広告主の依頼によって種々の広告を制作し、また種々の媒体を介して当該広告を配布する。広告代理店は、当該広告を配布することによって、広告主から代金を得る。
【０００３】
また、インターネット広告の普及によって、成功報酬型広告が一般化されつつある。成功報酬型広告は、例えば、商品の購入のきっかけが広告の配布（配信）であった場合に広告主から当該広告の配布に係る代金を得ることができる広告取引の仕組みである。
【０００４】
例えば、特許文献１には、広告画像がユーザにより視認された時間を視認情報として生成する情報処理装置と、当該視認情報を用いて広告主へ課金をする金額を算出するサーバ装置と、が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第5245691号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年では、インターネット広告は、カーナビゲーションなどの車載機器やスマートフォンなどの携帯端末などを媒体として普及し始めている。従って、今後も、種々の機器と連携しつつ、成功報酬型広告が普及することが予想される。そして、成功報酬型広告が普及するためには、広告がユーザに認識されたか否かを正確に判定することが不可欠となる。
【０００７】
また、単純な広告に限らず、提示される広告には、広告以外の内容の情報が含まれる場合がある。例えば、移動中のカーナビゲーションを広告媒体とした場合には、広告には、その広告の内容に加え、その広告を提示すべき地点に関する運転支援情報（例えば当該提示地点が事故多発地点などの運転に注意を要する地点である場合にその旨を知らせる情報）が含まれる場合がある。
【０００８】
このような多種多様な広告をはじめ、あらゆる情報は、ユーザに認識されることが重要である。従って、例えば対象となる情報を提示した場合、当該提示した情報がユーザに認識されたか否かを正確に判定することが好ましい。
【０００９】
本発明は上記した点に鑑みてなされたものであり、情報がユーザに認識されたか否かを正確に判定することが可能な認識判定装置、認識判定方法及び認識判定プログラムを提供することを課題の１つとしている。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、提示部に提示させる提示情報を供給する提示情報供給部と、提示情報の提示対象となるユーザの行動に関する行動情報を取得する行動情報取得部と、提示情報の内容と提示情報が提示されている間の行動情報の内容とに基づいて、提示情報がユーザに認識されたか否かを判定する判定部と、を有することを特徴とする。
【００１１】
また、請求項１２に記載の発明は、認識判定装置が実行する認識判定方法であって、提示部に提示させる提示情報を供給するステップと、提示情報の提示対象となるユーザの行動に関する行動情報を取得するステップと、提示情報の内容と提示情報が提示されている間の行動情報の内容とに基づいて、提示情報がユーザに認識されたか否かを判定するステップと、を含むことを特徴とする。
【００１２】
また、請求項１３に記載の発明は、コンピュータを、提示部に提示させる提示情報を供給する提示情報供給部と、提示情報の提示対象となるユーザの行動に関する行動情報を取得する行動情報取得部と、提示情報の内容と提示情報が提示されている間の行動情報の内容とに基づいて、提示情報がユーザに認識されたか否かを判定する判定部と、として機能させることを特徴とする。
【図面の簡単な説明】
【００１３】
【図１】実施例１に係る認識判定装置を含む移動体及び移動体に通信接続されたサーバのブロック図である。
【図２】実施例１に係る認識判定装置のブロック図である。
【図３】実施例１に係る認識判定装置における情報提示処理のフロー図である。
【図４】実施例１に係る認識判定装置における認識判定処理のフロー図である。
【図５】実施例１に係る認識判定装置における認識判定テーブルを示す図である。
【図６】実施例１の変形例１に係る認識判定装置を含むサーバ及びサーバに通信接続された移動体のブロック図である。
【図７】実施例１の変形例２に係る認識判定装置を含む移動体及び移動体に通信接続されたサーバのブロック図である。
【発明を実施するための形態】
【００１４】
以下に本発明の実施例について詳細に説明する。
【実施例１】
【００１５】
図１は、実施例１に係る認識判定装置１０が搭載された移動体ＭＯと、移動体ＭＯに通信接続されたサーバ６０と、を示すブロック図である。図１を用いて、認識判定装置１０、移動体ＭＯ及びサーバ６０の概略について説明する。移動体ＭＯは、例えば、自動車やオートバイ、船舶や航空機などである。本実施例においては、移動体ＭＯが自動車などの車両からなる場合について説明する。
【００１６】
まず、移動体ＭＯについて説明する。移動体ＭＯは、種々の情報を提示可能な提示部２０を有する。提示部２０は、種々の情報を画像として表示することが可能なディスプレイ２１と、種々の情報を音声として出力することが可能なスピーカ２２と、を含む。
【００１７】
次に、移動体ＭＯは、移動体ＭＯの乗員（運転者及び同乗者）の挙動及び言動、すなわち移動体ＭＯのユーザの行動を監視するユーザ監視装置３０を有する。ユーザ監視装置３０は、ユーザの挙動に関する情報であるユーザ挙動情報と、ユーザが発する音声に関する情報である音声情報と、を取得する。
【００１８】
ユーザ監視装置３０は、図示していないが、例えば、ユーザを撮像する撮像装置と、当該撮像された画像からユーザの挙動（体の動き、目の動きなど）を検出及び認識する画像認識装置と、を含む。また、ユーザ監視装置３０は、例えば、移動体ＭＯ内の音を検出するマイクロフォン（マイク）と、当該検出された音からユーザが発する音声及びその内容を認識する音声認識装置と、を含む。
【００１９】
また、移動体ＭＯは、移動体ＭＯの挙動を監視する移動体監視装置４０を有する。移動体監視装置４０は、移動体ＭＯの挙動に関する情報である移動体挙動情報を取得する。移動体監視装置４０は、例えば、移動体ＭＯの挙動として、移動体ＭＯの位置（現在地）、移動速度、及び移動方向などを検出する検出装置（図示せず）を有する。
【００２０】
また、移動体ＭＯは、移動体ＭＯの移動案内を行うナビゲーション装置５０を有する。ナビゲーション装置５０は、ユーザから目的地に関する情報の入力を受付け、移動体ＭＯの当該目的地までの移動案内を行う情報を生成及び出力する。
【００２１】
例えば、ナビゲーション装置５０は、移動体監視装置４０から移動体ＭＯの現在地に関する情報を取得し、当該現在地から目的地までの少なくとも１つ移動経路を探索する。また、ナビゲーション装置５０は、当該探索した経路のうちのユーザが選択した経路に沿って移動体ＭＯの移動案内を行う情報を生成及び出力する。
【００２２】
例えば、ナビゲーション装置５０は、現在地及び移動経路をハイライトした地図情報、ユーザが移動体ＭＯの操作を行うべきポイント（例えば右左折をすべき交差点）への接近を知らせる音声情報及び画像情報、並びに当該操作（例えば右左折）を指示する音声情報及び画像情報及び音声情報を生成及び出力する。
【００２３】
また、ナビゲーション装置５０は、移動体ＭＯの移動制御を行うためにユーザが行う移動体ＭＯの操作を支援する情報を生成及び出力する。例えば、ナビゲーション装置５０は、合流地点などの注意すべきポイントに接近していることを示す音声情報及び画像情報、並びに車線変更を促す音声情報及び画像情報を生成する。本明細書においては、例えば上記した移動体ＭＯの移動の案内及び移動のための支援に関する情報などを移動支援情報と称する。本実施例においては、移動支援情報は、移動体ＭＯとしての車両の運転支援情報である。
【００２４】
また、移動体ＭＯは、外部との通信を行う通信部（図示せず）を有する。本実施例においては、移動体ＭＯは、無線通信を介してサーバ６０との通信を行う。
【００２５】
次に、サーバ６０について説明する。サーバ６０は、広告主（図示せず）から提供された広告に関する種々の情報（以下、広告情報と称する）を取得する広告情報取得部６１を有する。例えば、広告情報取得部６１は、複数の広告主から、広告の内容に関する情報、移動体ＭＯが到達した場合に広告を提示すべき地図上の位置範囲（以下、広告提示位置と称する）に関する情報、並びに広告を提示すべき時刻範囲に関する情報などを取得し、これらを記憶する。
【００２６】
また、サーバ６０は、移動体ＭＯから移動体ＭＯの位置及び移動方向に関する情報を取得する移動体情報取得部６２を有する。例えば、移動体情報取得部６２は、移動体ＭＯの移動体監視装置４０から、移動体挙動情報を取得する。
【００２７】
また、サーバ６０は、広告情報取得部６１が取得した（記憶している）広告情報から、移動体ＭＯの位置及び移動方向に基づいて広告情報を選択する広告情報選択部６３を有する。広告情報選択部６３は、当該選択した広告情報を移動体ＭＯに送信する。例えば、広告情報選択部６３によって選択され、移動体ＭＯに送信される広告情報は、移動体ＭＯの移動方向において移動体ＭＯの周辺に存在する店舗の広告を示す情報である。
【００２８】
ここで、認識判定装置１０の概略について説明する。認識判定装置１０は、提示部２２に提示させる情報（以下、提示情報と称する）を提示部２２に供給する提示情報供給部１１を有する。本実施例においては、提示情報供給部１１は、提示情報として、サーバ６０から移動体ＭＯの現在地に対応する広告情報を取得する。そして、提示情報供給部１１は、当該提示情報を提示部２０に供給する。
【００２９】
次に、認識判定装置１０は、ユーザの行動に関する情報（以下、行動情報と称する）を取得する行動情報取得部１２を有する。また、認識判定装置１０は、提示情報及び行動情報に基づいて、提示情報がユーザに認識されたか否かを判定する判定部１３を有する。判定部１３は、当該提示情報がユーザに認識されたか否かの判定結果に関する情報（以下、認識情報と称する）を生成し、サーバ６０に送信する。
【００３０】
サーバ６０は、認識判定装置１０から認識情報を取得する認識情報取得部６４と、認識情報に基づいて広告の提示に係る広告主への課金金額に関する情報を生成する課金情報生成部６５と、を有する。課金情報生成部６５は、認識情報に応じて異なる課金金額を設定している。
【００３１】
例えば、課金情報生成部６５は、広告情報がユーザに認識されたと判定された場合には通常の広告料を課金し、広告情報がユーザに認識されなかったと判定された場合にはこれよりも低い広告料（例えば当該通常の広告料から割り引いた料金）を課金するように、課金情報を生成する。そして、課金情報生成部６５は、認識情報取得部６４が認識情報を取得する毎に、当該認識情報に基づいた課金情報を生成及び記憶する。例えば、課金情報生成部６５は、定期的に課金情報を広告主（例えば広告主が保有する端末）に出力する。
【００３２】
例えば、認識判定装置１０及びサーバ６０は、広告がユーザに認識されたと判定された場合には広告主に比較的高い課金を行い、広告がユーザに認識されなかったと判定された場合には広告主に比較的低い課金を行う成功報酬型の広告システムを構成する。
【００３３】
なお、上記においては、ナビゲーション装置５０が移動体ＭＯの移動経路の探索、経路案内に関する地図情報、文字情報及び音声情報の生成、並びに移動支援情報の生成を行う場合について説明した。しかし、当該経路探索、案内情報及び移動支援情報の生成は、サーバ６０が行ってもよい。例えば、ナビゲーション装置５０は、ユーザから目的地や経由地などの経路探索に関する条件を取得してサーバ６０に送信してもよい。そして、サーバ６０は、当該目的地までの移動経路を探索し、探索した経路及びその移動案内に関する情報を生成してもよい。この場合、例えば、ナビゲーション装置５０は、サーバ６０から当該経路案内に関する情報を取得して提示部２０に提示すればよい。
【００３４】
図２は、認識判定装置１０の構成例を示すブロック図である。図２を用いて、認識判定装置１０の詳細構成について説明する。まず、認識判定装置１０の提示情報供給部１１は、提示情報を取得する提示情報取得部１１Ａと、提示情報を提示部２０に提示させるためのデータを生成するデータ生成部１１Ｂと、を含む。
【００３５】
本実施例においては、提示情報取得部１１Ａは、提示情報として、サーバ６０の広告情報選択部６３から広告情報を取得する。
【００３６】
データ生成部１１Ｂは、提示情報取得部１１Ａから取得された提示情報を提示部２０から出力するための電子データを生成する。本実施例においては、提示部２０のディスプレイ２１に画像として提示させるデータ（以下、画像データと称する）を生成する画像データ生成部１１Ｂ１と、提示部２０のスピーカに音声として提示させるデータ（以下、音声データと称する）を生成する音声データ生成部１１Ｂ２と、を含む。
【００３７】
データ生成部１１Ｂは、当該画像データ及び音声データを生成し、これらを提示部２０に供給する。提示部２０は、当該画像データ及び音声データを出力する。なお、提示部２０は、移動体ＭＯ内においてユーザに提示可能な位置に設けられている。例えば、ディスプレイ２１は、自動車のダッシュボードに埋め込まれている。また、スピーカ２２は、例えば自動車のドアに埋め込まれている。
【００３８】
次に、認識判定装置１０の行動情報取得部１２は、ユーザ監視装置３０から移動体ＭＯ内におけるユーザの音声に関する音声情報を取得する音声情報取得部１２Ａ、ユーザ監視装置３０からユーザの挙動に関するユーザ挙動情報を取得するユーザ挙動情報取得部１２Ｂ、及び移動体監視装置４０から移動体の挙動に関する移動体挙動情報を取得する移動体挙動情報取得部１２Ｃを含む。行動情報取得部１２は、当該ユーザの行動情報として、当該音声情報、ユーザ挙動情報及び移動体挙動情報を取得する。
【００３９】
続いて、認識判定装置１０の判定部１３は、提示情報供給部１１が供給した提示情報（音声情報及び画像情報）の内容（以下、提示内容と称する）を判定する提示内容判定部１３Ａを有する。また、判定部１３は、行動情報取得部１２が取得した行動情報（音声情報、ユーザ挙動情報及び移動体挙動情報）の内容（以下、行動内容と称する）を判定する行動内容判定部１３Ｂを有する。
【００４０】
例えば、提示内容判定部１３Ａ及び行動内容判定部１３Ｂは、動的計画法（Dynamic Programming：ＤＰ）によって、提示情報及び行動情報に含まれる音声情報及び画像情報に対するマッチング処理を行い、その内容を判定する（認識する）。
【００４１】
また、判定部１３は、提示内容と行動内容との間の関連度を判定する関連度判定部１３Ｃを有する。関連度判定部１３Ｃは、例えば、提示内容と行動内容との間の関連度を３段階（例えば低関連度、中関連度及び高関連度）で判定する。
【００４２】
また、判定部１３は、提示内容と行動内容とに基づいて提示情報がユーザに認識されたか否かを判定する認識判定部１３Ｄを有する。例えば、認識判定部１３Ｄは、提示内容及び行動内容との間に所定の関連度がある場合、提示情報がユーザに認識されたと判定する。
【００４３】
図３は、提示情報供給部１１による提示情報の供給フローを示す図である。図３を用いて、認識判定装置１０による提示情報の供給処理のフローについて説明する。まず、提示情報取得部１１Ａは、移動体ＭＯの位置情報を移動体ＭＯの移動体監視装置４０から取得する（ステップＳ１１）。そして、提示情報取得部１１Ａは、移動体ＭＯの位置情報をサーバ６０に送信する（ステップＳ１２）。このステップＳ１１及びＳ１２は、例えば、定期的に行われる。
【００４４】
これによって、サーバ６０の移動体情報取得部６２は、移動体ＭＯの現在地を認識する。そして、広告情報選択部６３は、移動体ＭＯの位置情報に基づいて、移動体ＭＯに送信すべき広告情報（ユーザに提示すべき広告情報）を選択し、これを移動体ＭＯに送信する。
【００４５】
なお、本実施例においては、提示情報取得部１１Ａは、移動体ＭＯの位置情報に加え、移動方向に関する情報をサーバ６０に送信してもよい。この場合、広告情報選択部６３は、移動体ＭＯの位置及び移動方向に基づいて、広告情報を選択し、移動体ＭＯに送信する。
【００４６】
次に、提示情報取得部１１Ａは、提示情報を取得したか否かを判定する（ステップＳ１３）。まず、本実施例においては、提示情報取得部１１Ａは、サーバ６０から広告情報を取得したか否かを判定する。
【００４７】
提示情報供給部１１は、提示情報が取得されたと判定された場合、当該提示情報を提示部２０に供給する（ステップＳ１４）。本実施例においては、提示情報に応じて、データ生成部１１Ｂの画像データ生成部１１Ｂ１は画像データを、音声データ生成部１１Ｂ２は音声データを、それぞれ生成する。データ生成部１１Ｂは、生成したデータを提示部２０に供給する。これによって、提示部２０は、取得した提示情報をユーザに提示する。
【００４８】
なお、提示情報取得部１１Ａが提示情報を取得しなかったと判定した場合、提示情報供給部１１は、その判定結果をもって提示情報の供給フローを終了する。認識判定装置１０は、例えばこのようなフローを繰り返しながら提示情報の供給処理を行う。
【００４９】
なお、図３に示すフローは一例に過ぎない。例えば、提示情報供給部１１は、サーバ６０から取得した広告情報の中から、時刻に応じて供給する提示情報を選択して提示部２０に供給してもよい。
【００５０】
また、提示情報供給部１１は、ナビゲーション装置５０が案内を行っている場合にその経路上において提示すべき全ての広告情報を一覧表示する情報を提示情報として供給してもよい。この場合、提示情報供給部１１は、当該移動体ＭＯの位置のみならず、移動することが予定されている位置情報、すなわち移動体ＭＯの移動経路に関する情報をサーバ６０に送信し、サーバ６０から当該全ての位置情報に関する広告情報を取得すればよい。
【００５１】
次に、図４は、認識判定装置１０による認識判定フローを示す図である。図４を用いて、判定部１３による認識判定処理のフローについて説明する。まず、提示情報供給部１１は、提示情報を提示部２０に供給する（ステップＳ２１）。そして、行動情報取得部１２は、提示部２０が提示情報を提示した際の行動情報を取得する（ステップＳ２２）。判定部１３は、行動情報取得部１２が行動情報を取得することで、判定動作を開始する。
【００５２】
判定部１３は、提示情報及び行動情報を取得し、その各々の内容を判定する。本実施例においては、まず、判定部１３の関連度判定部１３Ｃは、行動内容のうち、音声情報の内容（以下、音声内容と称する）が提示内容と関連するか否かを判定する（ステップＳ２３）。すなわち、ユーザの会話が広告に関連するものであるか否かが判定される。
【００５３】
具体的には、関連度判定部１３Ｃは、当該提示内容と音声内容との間の関連度を判定し、これを認識判定部１３Ｄに供給する。提示内容と音声内容とが関連すると判定された場合（両者の関連度が所定の関連度以上であった場合）、認識判定部１３Ｄは、提示情報がユーザに認識されたと判定する（ステップＳ２４）。
【００５４】
次に、関連度判定部１３Ｃは、提示内容と音声内容とが関連していないと判定された場合、行動内容のうち、ユーザ挙動情報の内容（以下、ユーザ挙動内容と称する）と提示内容とが関連するか否かを判定する（ステップＳ２５）。そして、提示内容とユーザ挙動内容とが関連すると判定された場合（両者の関連度が所定の関連度以上であった場合）、認識判定部１３Ｄは、提示情報がユーザに認識されたと判定する（ステップＳ２４）。
【００５５】
続いて、関連度判定部１３Ｃは、提示内容とユーザ挙動内容とが関連していないと判定された場合、行動内容のうち、移動体挙動情報の内容（以下、移動体挙動内容と称する）と提示内容とが関連するか否かを判定する（ステップＳ２６）。そして、提示内容と移動体挙動内容とが関連すると判定された場合（両者の関連度が所定の関連度以上であった場合）、認識判定部１３Ｄは、提示情報がユーザに認識されたと判定する（ステップＳ２４）。
【００５６】
そして、認識判定部１３Ｄは、提示内容と移動体挙動内容とが関連しないと判定された場合、提示情報がユーザに認識されなかったと判定する（ステップＳ２７）。なお、提示情報に移動体挙動内容と比較すべき内容が含まれていない場合は、ステップＳ２６は省略されてもよい。提示情報に移動体挙動内容と比較すべき内容が含まれる例については、後述する。このようにして、判定部１３は、提示情報がユーザに認識されたか否かを判定する。
【００５７】
判定部１３（認識判定部１３Ｄ）は、ステップＳ２４又はステップＳ２７の後、当該判定結果を認識情報としてサーバ６０に送信し（ステップＳ２８）、認識判定フローを終了する。認識判定装置１０は例えばこのようなフローを繰り返しながら提示情報の認識判定を行う。
【００５８】
なお、図４に示すフローは一例に過ぎない。例えば、行動情報取得部１２が取得した行動情報に応じ、ステップＳ２３、Ｓ２５及びＳ２６のいずれかが省略されてもよい。また、ステップＳ２３、Ｓ２５及びＳ２６の順序が異なっていてもよい。例えば、提示内容と音声内容との間の関連性を判定する前に、提示内容とユーザ挙動内容との間の関連度性を判定してもよい（ステップＳ２３の前にステップＳ２５が行われてもよい）。
【００５９】
また、本実施例に代えて、提示情報がユーザに認識されなかったと判定された場合（ステップＳ２７の後）、提示情報供給部１１は、当該提示情報を再度提示部２０に供給するようにしてもよい。この場合、認識判定装置１０は、提示情報が再提示された際についても同様に、提示内容と行動内容との間の関連を判定し、判定結果を認識情報としてサーバ６０に送信するようにしてもよい。
【００６０】
サーバ６０の認識情報取得部６４は、認識判定装置１０から認識情報を取得する。また、課金情報生成部６５は、当該認識情報に基づいて提示情報の依頼主（広告主）に課金を行う金額を決定し、この金額を提示情報に紐づけた課金情報を生成する。
【００６１】
例えば、課金情報生成部６５は、広告がユーザに認識されたと判定された場合には通常の料金を、広告がユーザに認識されなかったと判定された場合には通常の広告料から割り引いた割引料金を、当該広告の提示に係る広告料として含む課金情報を生成する。また、課金情報生成部６５は、定期的に又は広告主からの要求に応じ、広告主に当該課金情報を供給する（広告料を請求する）。
【００６２】
図５は、判定部１３による認識判定処理のテーブルの一例を示す図である。図５を用いて、判定部１３による認識判定の基準の具体例について説明する。ここでは、一例として、提示内容と行動内容との関連度が中程度以上の場合は、提示情報がユーザに認識されたと判定する場合について説明する。まず、移動体ＭＯが店舗Ａの周辺を移動している際に提示情報供給部１１が「店舗Ａで乳製品が３割引」であるという内容の広告情報を音声情報として提示部２０に提示させた場合を考える。この場合、関連度判定部１３Ｃは、行動内容判定部１３Ｂが判定した音声情報に、「乳製品」に関連するキーワードを含む内容が含まれているか否かを判定する。
【００６３】
例えば、サーバ６０から取得する広告情報（提示情報）には、広告の内容を示す音声の内容に関するメタデータが含まれていてもよい。例えば、「店舗Ａで乳製品が３割引き」という内容の広告の場合、当該メタデータは、「店舗Ａ」、「乳製品」、「牛乳」、「ミルク」、「ヨーグルト」などのメタデータを含む。関連度判定部１３Ｃは、音声情報（ユーザの会話内容）の中からキーワードを抽出し、これと当該メタデータとを比較する。そして、関連度判定部１３Ｃは、当該キーワードが当該メタデータの一部と一致するか、又は関連する場合、提示内油と行動内容との間に一定以上の関連度があると判定してもよい。
【００６４】
例えば、ユーザが「牛乳」というキーワードが含まれる会話（例えば、「そういえば牛乳が残り少なくなったね」といった会話）を行っていたことが判定された場合、関連度判定部１３Ｃは、ユーザの会話と広告の内容（提示内容）との間に高い関連度があると判定する。そして、この場合、認識判定部１３Ｄは、提示情報がユーザに認識されたと判定する。
【００６５】
なお、関連度判定部１３Ｃは、提示情報が提示される前と提示情報が提示された後との間で音声情報の内容が変化しており、かつ提示情報が提示された後の音声内容と提示内容とが所定の関連度以上であるか否かを判定してもよい。この場合、行動内容判定部１３Ｂは、提示情報が提示される所定時間前からの行動情報（例えば音声情報）を取得すればよい。
【００６６】
この場合、例えば、広告の提示前はユーザは「乳製品」に関する会話をしておらず、広告の提示後に「乳製品」に関する会話を開始したことが判定される。従って、広告の提示によらずに偶然に広告の提示前後に亘ってユーザが広告に関連する行動をとっていたことと、広告がユーザに認識されることでユーザが広告に関連する行動をとったこととが区別して判定される。また、例えば提示情報の提示前後で音声情報の内容が変化していない場合、認識判定部１３Ｄは、提示情報がユーザに認識されなかったと判定することができる。
【００６７】
すなわち、判定部１３は、行動情報がユーザの音声情報を含む場合、提示情報の内容としての広告商品と当該音声情報の内容として音声内に含まれるキーワードとに基づいて提示内容と行動内容との間の関連度を判定し、この関連度の判定結果に基づいて提示情報がユーザに認識されたか否かを判定する。
【００６８】
また、関連度判定部１３Ｃは、広告情報に含まれる音声の提示出力開始および停止のタイミングと、ユーザの行動の変化のタイミングが連動する場合に、広告音声とユーザの行動内容が関連すると判定してもよい。この場合、例えば、音声情報取得部１２Ａ及びユーザ挙動情報取得部１２Ｂは、広告音声の提示出力が終了した後も所定時間（例えば４秒）に亘って音声情報及びユーザ挙動情報情報を取得し続ければよい。また、行動内容判定部１３Ｂは、広告情報の提示中の行動内容と、提示後の所定時間分の行動内容とを判定すればよい。
【００６９】
そして、例えば、関連度判定部１３Ｃは、提示情報の提示が開始された後にユーザの会話が停止したか否かを判定してもよい。具体的には、関連度判定部１３Ｃは、行動内容判定部１３Ｂが判定した音声情報の内容が、提示情報の提示開始後にユーザの会話が所定時間に亘って（例えば５秒間）停止しかつその後再開されたたことを示すものであったか否かを判定してもよい。
【００７０】
この場合は、例えば、行動情報取得部１２は、提示情報が提示される前の音声情報にはユーザが発する音声が含まれており、提示情報の提示開始後に所定時間に亘って当該音声情報が取得されず、かつその後再度ユーザの音声が検出された場合に相当する。この場合、ユーザは、広告情報としての広告音声を聞くために会話をやめた可能性がある。従って、例えば、関連度判定部１３Ｃは、提示内容と行動内容との間に中程度の関連度があると判定してもよい。また、この場合も、認識判定部１３は、提示内容がユーザに認識されたと判定する。
【００７１】
また、提示情報供給部１１が「店舗Ａで乳製品が３割引」であるという内容の広告情報を画像情報として提示部２０に提示させた場合を考える。この場合、例えば、関連度判定部１３Ｃは、行動内容判定部１３Ｂが判定したユーザ挙動情報に、ディスプレイ２１を見たことを示す内容が含まれていたか否かを判定してもよい。
【００７２】
そして、例えば、ユーザがディスプレイ２１を所定時間以上に亘って見ていたと判定された場合、関連度判定部１３Ｃは、ユーザの挙動（ここでは視線の動き）と広告の内容（提示内容）との間に高い関連度があると判定してもよい。そして、この場合、認識判定部１３Ｄは、提示情報がユーザに認識されたと判定する。
【００７３】
また、提示情報供給部１１が「店舗Ａで乳製品が３割引」であるという内容の広告情報を画像情報として提示部２０に提示させ、同時に音楽を音声情報として提示部２０に提示させた場合を考える。この場合、例えば、関連度判定部１３Ｃは、行動内容判定部１３Ｂが判定したユーザ挙動情報に、ユーザが音楽に合わせた挙動を示したことを示す内容が含まれていたか否かを判定してもよい。
【００７４】
そして、例えば、ユーザが音楽に合わせて体を揺らしていたと判定された場合、関連度判定部１３Ｃは、ユーザの挙動（ここでは上半身の動き）と広告の内容（提示内容）との間に中程度の関連度があると判定してもよい。そして、この場合、認識判定部１３Ｄは、提示情報がユーザに認識されたと判定する。
【００７５】
換言すれば、判定部１３は、行動情報がユーザ挙動情報を含む場合、提示情報の内容とユーザ挙動情報の内容とに基づいて提示内容と行動内容との間の関連度を判定し、この関連度の判定結果に基づいて提示情報がユーザに認識されたか否かを判定する。
【００７６】
また、上記した提示情報が音楽を含む場合においては、関連度判定部１３Ｃは、当該音楽の内容とユーザの音声の内容との関連度を判定してもよい。例えば、関連度判定部１３Ｃは、行動内容判定部１３Ｂが判定した音声情報に、ユーザが音楽に合わせた音声を発していたことを示す内容が含まれていたか否かを判定してもよい。そして、例えば、ユーザが音楽を口ずさんでいた、又はユーザが音楽に合わせて鼻歌を歌っていたと判定された場合、関連度判定部１３Ｃは、ユーザの音声と広告の内容（提示内容）との間に中程度の関連度があると判定してもよい。
【００７７】
続いて、提示情報供給部１１が「店舗Ａで乳製品が３割引」であるという内容と、移動体ＭＯの移動支援情報（例えば事故多発地点での車線変更を推奨する情報）とを含む広告情報を音声情報として続けて提示部２０に提示させた場合を考える。
【００７８】
この場合、広告内容と移動支援に関する内容とを含む広告情報は、例えば以下に説明するように、サーバ６０において生成され、認識判定装置１０により取得される。
【００７９】
例えば、広告主が営業する店舗が見通しの悪い交差点や道路の合流地点の周辺に存在する場合などにおいては、広告主は運転支援情報を広告と同時に提示するように依頼してもよい。また、これ以外にも、広告主は、意図的に運転支援情報を含む広告の提示を依頼してもよい。
【００８０】
例えば、広告情報取得部６１は、運転支援情報を提示すべき点、例えば事故多発地点や交差点などの運転に注意を要する地点（以下、運転注意地点と称する）をハイライトした地図情報を広告主に提供する。広告主は、当該地図情報を元に、広告提示位置に関する情報を含んだ広告情報をサーバ６０に送信する。
【００８１】
ここで、広告主は、運転注意地点での広告の提示を選択（依頼）する場合、運転注意地点を広告提示位置として含む広告情報を送信する。この場合、広告情報取得部６１は、広告主から取得した広告情報に、サーバ６０内で生成された運転支援情報を紐づけて合成し、運転支援情報付き広告情報として記憶する。
【００８２】
なお、移動支援情報は、サーバ６０内で生成される場合に限定されない。例えば、広告主が広告の内容に合わせて自ら移動支援情報を作成してもよい。この場合、例えば、広告主は、運転注意地点を広告提示位置とし、かつ当該運転注意地点に関する運転支援情報を含んだ広告情報を送信する。この場合、広告情報取得部６１は、運転支援情報が含まれた広告情報を広告主から取得する。
【００８３】
広告情報選択部６３は、移動体ＭＯの位置が運転注意地点（広告提示位置）に接近した場合に、当該運転注意地点に関連付けられた移動支援情報を含む広告情報を移動体ＭＯに送信する。移動体ＭＯの提示情報供給部１１は、受信した移動支援情報を含む広告情報を提示部２０により提示させる。すなわち、サーバ６０は、移動体ＭＯと共に、先進運転支援システム（Advanced driver-assistance systems：ＡＤＡＳ）を構成する。
【００８４】
このように移動体ＭＯにおいて移動支援情報を含む広告情報が提示部２０に提示されると、関連度判定部１３Ｃは、行動内容判定部１３Ｂが判定した移動体挙動情報に、移動体ＭＯが当該移動支援情報により推奨される挙動を示したことを示す内容が含まれていたか否かを判定する。
【００８５】
そして、例えば、移動体ＭＯが移動支援情報により推奨される挙動を示した（例えば実際に車線変更を行った）と判定された場合、関連度判定部１３Ｃは、ユーザの行動としての移動体ＭＯの挙動（すなわちユーザによる移動体ＭＯの操作）と広告の内容（提示内容）との間に中程度の関連度があると判定してもよい。そして、この場合、認識判定部１３Ｄは、提示情報がユーザに認識されたと判定してもよい。
【００８６】
なお、移動支援情報、すなわち本実施例においては運転注意地点における安全運転に資する情報は、移動体ＭＯのユーザ（本実施例においては車両の乗員）にとっては他の情報よりも優先して認識する必要がある情報であるといえる。従って、移動体ＭＯがこの移動支援情報によって推奨された挙動を示した場合、これに付随して提示された広告についてもユーザに認識された可能性が高い。従って、この場合、認識判定部１３Ｄは、提示情報がユーザに認識されたと判定してもよい。
【００８７】
例えば上記したように、判定部１３は、行動情報が移動体挙動情報を含む場合、提示情報の内容と移動体挙動情報の内容とに基づいて提示内容と行動内容との間の関連度を判定し、この関連度の判定結果に基づいて提示情報がユーザに認識されたか否かを判定してもよい。
【００８８】
なお、図５に示す判定テーブルは一例に過ぎない。例えば、認識判定部１３Ｄは、行動情報が音声情報及びユーザ挙動情報を含んでいる場合、そのそれぞれの内容に基づいて総合的に認識判定を行ってもよいし、その内容の一方を用いて認識判定を行ってもよい。すなわち、認識判定部１３Ｄは、行動情報の内容に基づいてユーザによる提示情報の認識有無を判定すればよい。
【００８９】
このように、認識判定装置１０は、ユーザに提示する情報（例えば広告情報）の内容と、当該提示情報の提示後におけるユーザの行動の内容と、の間の関連度を判定し、これに基づいて当該提示情報がユーザに認識されたか否かを判定する。従って、情報がユーザに認識されたか否かを正確に判定することができる。従って、例えば、成功報酬型の広告システムを正確に機能させることができる。
【００９０】
また、行動情報取得部１２は、例えば、ユーザが発する音声に関する音声情報を行動情報として取得する。この場合、判定部１３は、当該提示情報の内容と当該音声情報の内容との間の関連度に基づいて、当該提示情報が当該ユーザに認識されたか否かを判定する。従って、例えば提示情報が音声のみである場合においても、正確に提示情報がユーザに認識されたか否かを判定することができる。
【００９１】
また、判定部１３は、例えば、当該提示情報が提示される前と提示された後との間で音声情報の内容が変化し、かつ当該提示情報が提示された後の音声情報の内容と提示情報の内容との間に所定の関連度がある場合、当該提示情報がユーザに認識されたと判定する。従って、ユーザの音声が提示情報によるものであることが正確に判定され、正確に提示情報がユーザに認識されたか否かを判定することができる。
【００９２】
また、判定部１３は、例えば、提示情報が提示された後にユーザの音声情報が所定時間に亘って取得されなかった場合、提示情報がユーザに認識されたと判定する。これによって、ユーザが提示情報を認識するために沈黙していたこと、すなわち提示情報がユーザに認識された可能性があることを判定することができる。
【００９３】
また、行動情報取得部１２は、例えば、ユーザの挙動に関するユーザ挙動情報を行動情報として取得する。この場合、判定部１３は、提示情報の内容とユーザ挙動情報の内容との間の関連度に基づいて、提示情報がユーザに認識されたか否かを判定する。また、行動情報取得部１２は、例えば、移動体ＭＯの挙動に関する移動体挙動情報を行動情報として取得する。この場合、判定部１３は、提示情報の内容と移動体挙動情報の内容との間の関連度に基づいて、提示情報がユーザに認識されたか否かを判定する。これによって、幅広くユーザの行動を考慮し、正確に提示情報がユーザに認識されたか否かを判定することができる。
【００９４】
また、提示情報が移動支援情報を含む場合、判定部１３は、移動体ＭＯが当該移動支援情報により推奨される挙動を示した場合に、提示情報がユーザに認識されたと判定する。これによって、ユーザの行動としての移動体ＭＯの挙動が提示情報によるものであること、すなわち提示情報がユーザに認識された可能性があることを判定することができる。
【００９５】
また、提示情報供給部１１は、例えば、判定部１３によって提示情報がユーザに認識されなかったと判定された場合、提示情報を再度供給する。これによって、提示情報がユーザに認識される機会を増やすことができ、提示情報をユーザに確実に認識させることができる。
【００９６】
なお、本実施例においては、認識判定装置１０が移動体ＭＯとしての車両に搭載され、提示部２０が当該車両内に設けられ、かつ提示情報の対象となるユーザが当該車両の乗員である場合について説明した。しかし、認識判定装置１０は移動体ＭＯ内に搭載されている必要はない。
【００９７】
図６は、実施例１の変形例１に係る認識判定装置１０Ａと、移動体ＭＯ及びサーバ６０Ａとを示すブロック図である。本変形例においては、認識判定装置１０Ａは、サーバ６０Ａ内に設けられている点を除いては、認識判定装置１０Ａと同様の構成を有する。本変形例においては、移動体ＭＯは提示部２０、ユーザ監視装置３０、移動体監視装置４０及びナビゲーション装置５０を有する。
【００９８】
本変形例においては、認識判定装置１０Ａは、移動体ＭＯとの無線通信を行って移動体ＭＯ及び移動体ＭＯのユーザに関する情報を取得し、また、サーバ６０Ａ内の種々の情報を用いて認識判定を行う。
【００９９】
これによって、例えば、認識判定装置１０Ａを含まない移動体ＭＯに広告を提示した際にユーザが広告を認識したか否かを判定することができる。従って、例えば、移動体ＭＯが少なくとも提示部２０及びユーザ監視装置３０を有していれば、認識判定装置１０Ａによって広告提示及びユーザの認識判定を行うことができる。従って、幅広い移動体ＭＯに対して認識判定装置１０Ａを適用することができる。
【０１００】
また、本実施例においては、移動体ＭＯが車両である場合について説明したが、移動体ＭＯは車両以外の移動体であってもよい。
【０１０１】
図７は、実施例１の変形例２に係る認識判定装置１０Ｂと、移動体ＭＯ１及びサーバ６０とを示すブロック図である。本変形例においては、認識判定装置１０Ｂは、移動体ＭＯ１としての携帯端末に搭載されている。例えば、移動体ＭＯ１は、スマートフォンやタブレットなどの携帯通信端末である。また、例えば、移動体ＭＯ１のユーザは当該携帯端末を使用する使用者である。例えば、使用者とは、当該携帯端末を操作する者、当該携帯端末を携帯する者、及び当該携帯端末のディスプレイを見る者などを含む。
【０１０２】
本変形例においては、認識判定装置１０Ｂは、例えば、携帯端末にインストールされたアプリケーションプログラムとして搭載されることができる。提示情報は、ディスプレイ２１及びスピーカ２２としての携帯端末のディスプレイやスピーカに提示される。
【０１０３】
また、例えば、行動情報としてのユーザの音声情報及び挙動情報は、携帯端末に搭載されたマイク及び撮像装置を用いてユーザを監視するユーザ監視プログラム３０Ａから取得することができる。また、行動情報としての移動体挙動情報は、携帯端末に搭載された測位装置などを用いて移動体ＭＯの挙動を監視する移動体監視プログラム４０Ａから取得することができる。なお、提示情報としての移動支援情報は、例えば、実施例１の認識判定装置１０と同様に、サーバ６０内において生成され、又はサーバ６０によって広告主から取得されることができる。
【０１０４】
本変形例のように、移動体ＭＯ１が携帯端末である場合には、例えば認識判定装置１０Ｂは、少なくとも、移動体挙動情報として、当該携帯端末の挙動を示す情報を取得すればよい。そして、移動体挙動情報の内容と提示情報の内容との間の関連度に基づいて提示情報がユーザに認識されたか否かを判定すればよい。これによって、情報がユーザに認識されたか否かを正確に判定することができる。
【０１０５】
また、本実施例においては、認識判定装置１０が移動体ＭＯのユーザを提示情報の提示対象とし、移動体ＭＯの位置に応じて、移動体ＭＯ内に設けられた提示部２０に提示情報を提示させる場合について説明した。しかし、認識判定装置１０の判定対象となるユーザは、移動体ＭＯのユーザである場合に限定されない。
【０１０６】
例えば、提示情報を提示させる提示部２０は、街頭や店舗内において固定されたディスプレイ及びスピーカであってもよい。この場合、提示情報供給部１１は、定期的に当該ディスプレイやスピーカに向けて提示情報を供給すればよい。また、認識判定を行う対象となるユーザは、当該固定されたディスプレイ及びスピーカの近傍にいる歩行者や顧客などとなる。この場合でも、認識判定装置１０は、例えば、外部から当該歩行者の挙動や音声に関する情報を取得することで、提示を指示した情報が当該歩行者に認識されたか否かを正確に判定することができる。
【０１０７】
このように、認識判定装置１０は、提示部２０に提示させる提示情報を供給する提示情報供給部１１と、提示情報の提示対象となるユーザの行動に関する行動情報を取得する行動情報取得部１２と、提示情報の内容と当該提示情報が提示されている間の当該行動情報の内容とに基づいて、当該提示情報がユーザに認識されたか否かを判定する判定部１３と、を有する。従って、情報がユーザに認識されたか否かを正確に判定することが可能な認識判定装置１０を提供することができる。
【０１０８】
また、サーバ６０は、認識判定装置１０と共に成功報酬型の広告システムを構成する。この場合、サーバ６０は、認識判定装置１０による判定結果を用いて、広告主に課金を行う。具体的には、上記したように、サーバ６０は、広告がユーザに認識された場合には通常の広告料を課金し、広告がユーザに認識されなかった場合には割引広告料を課金する。これによって、ユーザが広告を認識したか否かを正確に区別し、これに基づいて正確に広告料を課金することができる成功報酬型の広告システムを提供することができる。
【０１０９】
また、例えば、図４に示すフローで情報処理を行うことで、本発明は認識判定装置１０を用いて行う認識判定方法の発明として実施されることができる。すなわち、例えば、本発明は、提示部２０に提示させる提示情報を供給するステップ（ステップＳ２１）と、当該提示情報の提示対象となるユーザの行動に関する行動情報を取得するステップ（ステップ）Ｓ２２と、当該提示情報の内容と当該提示情報が提示されている間の当該行動情報の内容とに基づいて、当該提示情報が当該ユーザに認識されたか否かを判定するステップ（ステップＳ２３〜Ｓ２７）と、を含む認識判定方法として実施されることができる。これによって、情報がユーザに認識されたか否かを正確に判定することが可能な認識判定方法を提供することができる。
【０１１０】
また、例えばカーナビゲーション装置などの車載機器、スマートフォンなどの通信情報端末、その他種々の機器をコンピュータ（計算機）とし、このコンピュータを認識判定装置１０として動作させ、又は図４に示すような処理を行わせるプログラムとして実施されることができる。
【０１１１】
すなわち、例えば、本発明は、コンピュータを、提示部２０に提示させる提示情報を供給する提示情報供給部１１と、提示情報の提示対象となるユーザの行動に関する行動情報を取得する行動情報取得部１２と、提示情報の内容と当該提示情報が提示されている間の当該行動情報の内容とに基づいて、当該提示情報がユーザに認識されたか否かを判定する判定部１３と、して機能させるプログラムとして実施されることができる。これによって、情報がユーザに認識されたか否かを正確に判定することが可能なプログラムを提供することができる。
【符号の説明】
【０１１２】
１０、１０Ａ、１０Ｂ  認識判定装置
１１  提示情報供給部
１２  行動情報取得部
１３  判定部
【図１】
2019133458.tif 000003
【図２】
2019133458.tif 000004
【図３】
2019133458.tif 000005
【図４】
2019133458.tif 000006
【図５】
2019133458.tif 000007
【図６】
2019133458.tif 000008
【図７】
2019133458.tif 000009