(57)【要約】【課題】広告成果をユーザの知覚や反応に基づいて評価することが難しい場合でもユーザの認知容量に基づいて定量的に評価できるようにする。【解決手段】広告成果評価装置１は、ユーザの状況を識別するユーザ状況識別部１０およびユーザ状況の識別結果に基づいて広告成果を決定する広告成果決定部１１を含み、さらにカメラ１２、マイク１３および人感センサ１４などの各種センサを備える。ユーザ状況識別部１０は認知容量評価部１０３を含む。認知容量評価部１０３は、認知容量予測モデル１０３ａ、コンテキストテーブル１０３ｂおよび認知容量評価値計算部１０３ｃを含み、各センサ出力をコンテキスト予測モデル１０２ａに適用することで当該ユーザのコンテキストを推定し、コンテキストの推定結果をコンテキストテーブル１０３ｂに適用することで当該ユーザの認知容量を求める。広告成果決定部１１は、ユーザの認知容量に基づいて広告成果を評価する。【選択図】図１
2020140456.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに対する広告の成果を評価する広告成果評価装置において、
ユーザの認知容量を評価する手段と、
前記ユーザの認知容量に基づいて当該ユーザに対する広告成果を評価する手段とを具備したことを特徴とする広告成果評価装置。
【請求項２】
前記ユーザのコンテキストを推定する手段を更に具備し、
前記ユーザの認知容量を評価する手段は、前記コンテキストの推定結果に基づいてユーザの認知容量を評価することを特徴とする請求項１に記載の広告成果評価装置。
【請求項３】
前記ユーザのコンテキストを推定する手段は、ユーザの状況を検知するセンサの出力信号に基づいてコンテキストを推定するコンテキスト予測モデルを具備し、
ユーザの状況を検知するセンサの出力信号を前記コンテキスト予測モデルに適用して当該ユーザのコンテキストを推定することを特徴とする請求項２に記載の広告成果評価装置。
【請求項４】
ユーザの知覚を評価して知覚評価値を求める知覚評価手段を更に具備し、
前記広告成果を評価する手段は、前記ユーザの認知容量および知覚評価値に基づいて広告成果を評価することを特徴とする請求項１ないし３のいずれかに記載の広告成果評価装置。
【請求項５】
ユーザの反応を評価して反応評価値を求める反応評価手段を更に具備し、
前記広告成果を評価する手段は、前記ユーザの認知容量および反応評価値に基づいて広告成果を評価することを特徴とする請求項１ないし３のいずれかに記載の広告成果評価装置。
【請求項６】
ユーザの知覚を評価して知覚評価値を求める知覚評価手段と、
ユーザの反応を評価して反応評価値を求める反応評価手段とを更に具備し、
前記広告成果を評価する手段は、前記ユーザの認知容量、知覚評価値および反応評価値に基づいて広告成果を評価することを特徴とする請求項１ないし３のいずれかに記載の広告成果評価装置。
【請求項７】
前記知覚評価手段は、音のSN比および広告発信源とユーザとの相対位置に基づいて当該ユーザの知覚を評価することを特徴とする請求項４または６に記載の広告成果評価装置。
【請求項８】
前記反応評価手段は、ユーザの音声およびカメラ映像に基づいて当該ユーザの反応を評価することを特徴とする請求項５または６に記載の広告成果評価装置。
【請求項９】
ユーザに発信した広告の成果をコンピュータに評価させる広告成果評価方法において、
コンピュータが、
ユーザの認知容量を評価し、
前記ユーザの認知容量に基づいて当該ユーザに対する広告成果を評価することを特徴とする広告成果評価方法。
【請求項１０】
前記ユーザのコンテキストを推定し、
前記コンテキストの推定結果に基づいて前記ユーザの認知容量を評価することを特徴とする請求項９に記載の広告成果評価方法。
【請求項１１】
ユーザに発信した広告の成果を評価する広告成果評価プログラムにおいて、
ユーザの認知容量を評価する手順と、
前記ユーザの認知容量に基づいて当該ユーザに対する広告成果を評価する手順とを、コンピュータに実行させる広告成果評価プログラム。
【請求項１２】
ユーザのコンテキストを推定する手順を更に含み、
前記コンテキストの推定結果に基づいてユーザの認知容量を評価することを特徴とする請求項１１に記載の広告成果評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広告成果評価方法、装置およびプログラムに係り、特に、広告視聴ユーザの認知容量に基づいて広告成果を評価する広告成果評価方法、装置およびプログラムに関する。
【背景技術】
【０００２】
テレビやラジオを通して配信される広告の成果を広告視聴ユーザの視覚の状況や反応の程度に応じて評価し、広告報酬を決定するシステムが知られている。特許文献１には、ユーザのバイタルデータを収集し、配信された広告に対してユーザが反応を示したか否かに基づいて、広告の対象となった商品やサービスの将来の売り上げを予測する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第6434177号
【非特許文献】
【０００４】
【非特許文献１】上田健揮, et al. "ユーザ位置情報と家電消費電力に基づいた宅内生活行動認識システム." 情報 処理学会論文誌 57.2 (2016): 416-425.
【非特許文献２】Yacoob, Yaser, and Michael J. Black. "Parameterized modeling and recognition of activities." Computer Vision and Image Understanding 73.2 (1999): 232-247.
【非特許文献３】Jianming Wu, Toshiyuki Hagiya, Yujin Tang, and Keiichiro Hoashi. 2017. Effects of objective feedback of facial expression recognition during video support chat. In Proc. MUM '17. 293-297.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザの反応をバイタルデータに基づいて取得するためには、各ユーザにバイタルデータを取得する専用のセンサを装着しなければならない。このため、ユーザに負担を強いることになり、また、大量の情報を簡易的に取得することが難しい。加えて、ユーザの知覚や反応のみからは、広告成果を正確に評価できない場合がある。
【０００６】
図１０は、ユーザの広告に対する知覚および反応の程度と当該ユーザに対する広告成果との関係を模式的に示した図である。
【０００７】
ユーザが広告に対して明確な反応を示したと認められる場合は十分な広告成果を期待できる一方、明確な反応を示したと認められない場合でも広告成果を期待できる場合がある。また、ユーザが広告を知覚できていないと認められる場合は広告成果を期待できない一方、知覚できていると認められる場合でも、それだけでは十分な広告成果を期待できるとは判断できない。
【０００８】
このように、広告成果をユーザの反応や知覚のみで評価すると、十分な広告成果を期待できる状況や広告成果を全く期待できない状況は評価できるが、その中間すなわちユーザが広告を知覚できる状況にあるが明確な反応を示していない場合などに広告成果を定量的に評価することができなかった。
【０００９】
本発明の目的は、上記の技術課題を解決し、広告成果をユーザの知覚や反応に基づいて評価することが難しい場合でもユーザの認知容量の評価値に基づいて定量的に評価できる広告成果評価方法、装置およびプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、ユーザに対する広告の成果を評価する広告成果評価方法、装置およびプログラムにおいて、以下の手段を講じた点に特徴がある。
【００１１】
(1) ユーザの認知容量の評価値に基づいて広告成果を評価するようにした。
【００１２】
(2) ユーザのコンテキストの推定結果に基づいて認知容量を評価できるようにした。
【００１３】
(3) ユーザの状況を検知するセンサの出力信号に基づいてコンテキストを推定するコンテキスト予測モデルを用意し、ユーザの状況を検知するセンサの出力信号をコンテキスト予測モデルに適用してコンテキストを推定するようにした。
【００１４】
(4) ユーザの知覚を評価して知覚評価値を求める知覚評価手段を更に設け、ユーザの認知容量の評価値および知覚評価値に基づいて広告成果を評価するようにした。
【００１５】
(5) ユーザの反応を評価して反応評価値を求める反応評価手段を更に設け、ユーザの認知容量の評価値および反応評価値に基づいて広告成果を評価するようにした。
【００１６】
(6) ユーザの知覚を評価して知覚評価値を求める知覚評価手段およびユーザの反応を評価して反応評価値を求める反応評価手段を更に設け、ユーザの認知容量の評価値、知覚評価値および反応評価値に基づいて広告成果を評価するようにした。
【００１７】
(7) ユーザの知覚を音のSN比および広告発信源とユーザとの相対位置に基づいて評価するようにした。
【００１８】
(8) ユーザの反応を音声およびカメラ映像に基づいて評価するようにした。
【発明の効果】
【００１９】
本発明によれば、以下のような成果が達成される。
【００２０】
(1) ユーザの認知容量の評価値に基づいて広告成果を評価するので、広告成果をユーザの知覚や反応に基づいて評価することが難しい場合でも定量的に評価できるようになる。
【００２１】
(2) ユーザの認知容量と相関の高いコンテキストに基づいて認知容量を求めるようにしたので、ユーザの認知容量を正確に評価できるようになる。
【００２２】
(3) ユーザの状況を検知するセンサの出力信号をコンテキスト予測モデルに適用して当該ユーザのコンテキストを推定するようにしたので、ユーザの状況に基づいてコンテキストを正確に推定できるようになる。
【００２３】
(4) ユーザの認知容量の評価値および知覚評価値に基づいて広告成果を評価するようにしたので、ユーザが広告を知覚できている場合の広告成果を認知容量の評価値に基づいて定量的に評価できるようになる。
【００２４】
(5) ユーザの認知容量の評価値および反応評価値に基づいて広告成果を評価するようにしたので、ユーザが明確な反応を示していない場合の広告成果を認知容量の評価値に基づいて定量的に評価できるようになる。
【００２５】
(6) ユーザの認知容量の評価値、知覚評価値および反応評価値に基づいて広告成果を評価するようにしたので、ユーザが広告を知覚できているが明確な反応を示していない場合の広告成果を認知容量の評価値に基づいて定量的に評価できるようになる。
【００２６】
(7) 音のSN比および広告発信源とユーザとの相対位置に基づいてユーザの知覚が評価されるのでユーザの多様な知覚を評価できるようになる。
【００２７】
(8) ユーザの音声およびカメラ映像に基づいて当該ユーザの反応が評価されるのでユーザの多様な反応を評価できるようになる。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態に係る広告成果評価装置の機能ブロック図である。
【図２】認知容量の評価方法を模式的に示した図である。
【図３】知覚評価部の機能ブロック図である。
【図４】反応評価部の機能ブロック図である。
【図５】認知容量評価部の機能ブロック図である。
【図６】反応テーブルの一例を示した図である。
【図７】コンテキストテーブルの一例を示した図である。
【図８】本発明の一実施形態の動作を示したフローチャートである。
【図９】映像ベース知覚評価値の求め方の一例を示した図である。
【図１０】ユーザの広告に対する知覚および反応と広告成果との関係を示した図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る広告成果評価装置１の主要部の構成を、その適用環境と共に示した機能ブロック図である。
【００３０】
広告成果評価装置１は、広告配信事業設備２が配信し、テレビTVやラジオ等を通して発信する広告を対象にその視聴ユーザUの状況を識別するユーザ状況識別部１０と、ユーザ状況の識別結果に基づいて当該ユーザに対する広告成果を決定する広告成果決定部１１とを主要な構成とし、さらにユーザ状況を検知するセンサ群として、カメラ１２、マイク１３および人感センサ１４などの各種センサを備えている。なお、ユーザが携帯するスマートフォンやタブレットなどのモバイル端末１５のマイク機能を前記マイク１３と共に又は前記マイク１３に代えて用いることもできる。
【００３１】
前記ユーザ状況識別部１０は、知覚評価部１０１、反応評価部１０２および認知容量評価部１０３を含む。知覚評価部１０１は、ユーザの広告に対する知覚を評価する。反応評価部１０２は、ユーザの広告に対する反応を評価する。認知容量評価部１０３は、ユーザの広告に対する認知容量を評価する。
【００３２】
このような広告成果評価装置１は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。
【００３３】
図２は、前記認知容量評価部１０３における認知容量の評価方法を模式的に示した図である。各ユーザは所定の認知容量を有しているが、「歩行」、「睡眠」、「読書」などのコンテキストごとに認知容量が消費される。そこで、本実施形態ではユーザのコンテキストを分析し、コンテキストにより消費された後に残った認知容量をユーザが広告の認知に割ける容量として評価する。
【００３４】
宅内のユーザに対してテレビやラジオから放送される広告の当該ユーザへの成果を評価対象とする場合、前記広告成果評価装置１は、例えばAIアシスタント機能を持つスピーカー（スマートスピーカ）や対話型ロボットに実装されて稼働される。また、前記カメラ１２、マイク１３および人感センサ１４等のセンサ群は、各居室、台所、廊下、トイレ、風呂などにそれぞれ分散配置される。
【００３５】
前記カメラ１２は、その設置空間内を撮影したカメラ映像をセンサ出力として広告成果評価装置１へ送信する。マイク１３は、その設置空間内で検知した音響信号をセンサ出力として広告成果評価装置１へ送信する。人感センサ１４は、その設置空間内での人物の検知結果をセンサ出力として広告成果評価装置１へ送信する。各センサ出力の広告成果評価装置１への送信は、無線または有線のLANあるいはモバイル通信網を中継して行われる。
【００３６】
前記知覚評価部１０１は、図３に示したように、知覚の指標値として音のSN比を計測するSN比計測部１０１ａおよびテレビとユーザとの相対位置を計測する相対位置計測部１０１ｂを含み、さらに前記SN比および相対位置に基づいて知覚評価値p(x)を計算する評価値計算部１０１ｃを含む。
【００３７】
前記SN比計測部１０１ａは、テレビが出力する音声信号（S）と環境騒音（N）との比（S/N）を計算する。本実施形態では、ユーザが携帯するスマートフォン１５のマイク機能を用いることでユーザ近傍のS/Nを計測できる。あるいは、カメラ映像および人感センサ１４の出力に基づいてユーザの居場所を推定し、推定された居場所に設置したマイク１３の音声信号に基づいてS/Nを計測しても良い。あるいは、マイクとユーザとの距離およびスピーカからの出力に基づいてS/Nを推定しても良い。
【００３８】
前記相対位置計測部１０１ｂは、カメラ１２が出力する映像出力および人感センサ１４の出力に基づいてテレビ及びユーザを識別し、その居場所を推定したうえで、テレビとユーザとの距離を計算する。
【００３９】
前記反応評価部１０２には、図４に示したように、反応予測モデル１０２ａおよび反応テーブル１０２ｂが予め登録されている。本実施形態では、ユーザの反応形態の候補として「返事をする」、「うなずく」、「視線を向ける」、「表情を変える」、「作業を中断する」などが予め登録されており、これらの反応候補ごとまたはその組み合わせごとに各センサ出力を機械学習することで、各センサ出力からユーザの反応を推定する反応予測モデル１０２ａを構築する。前記反応テーブル１０２ｂには、図６に示したように、ユーザの反応と重み値との対応付けが予め登録されている。
【００４０】
評価値計算部１０２ｃは、マイク１３等が検知した音声信号および前記カメラ映像から分析したユーザの挙動を反応予測モデル１０２ａに適用してユーザの反応を推定し、さらに反応の推定結果を前記反応テーブル１０２ｂに適用することで反応ごとに重み値を求める。そして、各反応に対応した重み値を全て乗じることで反応評価値r(x)を計算する。なお、反応の具体的な推定方法については、非特許文献１に開示されている。
【００４１】
前記認知容量評価部１０３には、図５に示したように、認知容量予測モデル１０３ａおよびコンテキストテーブル１０３ｂが予め登録されている。本実施形態では、コンテキスト候補として「歩行」、「入浴」、「食事」、「テレビ視聴」、「料理」などが定義されており、予めコンテキスト候補ごとに各センサ出力を機械学習することで、各センサ出力からコンテキストを推定する認知容量予測モデル１０３ａが構築される。前記コンテキストテーブル１０３ｂには、図７に示したように、コンテキストと認知容量との対応付けが予め登録されている。
【００４２】
評価値計算部１０３ｃは、前記各センサ出力を前記コンテキスト予測モデル１０２ａに適用することでユーザのコンテキストを推定し、コンテキストの推定結果をコンテキストテーブル１０３ｂに適用することで認知容量を求める。なお、コンテキストの具体的な推定方法は、非特許文献２，３に開示されている。
【００４３】
図８は、本発明の一実施形態に係る広告成果評価装置１の動作を示したフローチャートであり、ステップＳ１では、予めスケジューリングされた広告配信のタイミングに先立って、前記各センサ１２，１３，１４の出力信号が取得される。各出力信号の取得は、これ以降も所定のサンプリング周期で繰り返される。
【００４４】
ステップＳ２では、知覚評価部１０１が各センサの出力信号に基づいて知覚指標値を計測する。本実施形態では、前記SN比計測部１０１ａにより音のSN比が計測され、前記相対位置計測部１０１ｂによりテレビとユーザとの相対距離が計測される。
【００４５】
ステップＳ３では、前記認知容量評価部１０３がユーザのコンテキストを推定する。本実施形態では、各センサの出力信号をコンテキスト予測モデル１０３ａに適用することでコンテキストが推定される。なお、本実施形態では複数のコンテキストを同時に推定できるように予測モデル１０３ａが構築されており、ユーザが歩きながら読書をしていると、コンテキストとして「歩行」および「読書」が推定される。
【００４６】
ステップＳ４では、評価対象の広告が発信されたか否かが判断される。発信が発行されるまでは、ステップＳ１へ戻って上記の各処理が繰り返され、知覚指標値およびユーザのコンテキストが最新の情報に更新される。
【００４７】
広告が発信されると、ステップＳ５では、前記知覚評価部１０１の評価値計算部１０１ｃが、前記ステップＳ２で計測した知覚指標値に基づいて知覚評価値p(x)を計算する。本実施形態では、広告に応じて音声に対する知覚と映像に対する知覚とに区別して評価するものとし、ラジオ広告のような音声広告であれば音声ベースの知覚評価値p1(x)のみが求められる。これに対して、テレビ広告のように音声および映像の組み合わせで構成される広告であれば音声ベースの知覚評価値p1(x)および映像ベース知覚評価値p2(x)が求められる。
【００４８】
前記SN比については、その値を0〜1.0の範囲で正規化することで音声ベース知覚評価値p1(x)が求められる。SN比を0〜1.0の範囲に変換する手法としては、明瞭度指数の改良版として1997年にANSIにより標準化された手法（SII）を用いることができる。SIIでは、値が大きくなるほど明瞭度が高くなる。
【００４９】
一方、前記相対位置に関しては、図９に示したように、広告発生源であるテレビを基準にユーザとの距離に応じて映像ベース知覚評価値p2(x)が求められる。本実施形態では、テレビからの距離が2メートル以内であればp2(x)=1.0、10メートル以上であればp2(x)=0とし、その間では距離に応じてp2(x)を線形に変化させる関数を用いて計算される。
【００５０】
以上のようにして、音声ベース知覚評価値p1(x)および映像ベース知覚評価値p2(x)が求まると、各知覚評価値p1(x)，p2(x)を次式(1)に適用することで映像広告に対する知覚評価値p(x)が求められる。
p(x)= (p1(x) + p2(x))／2  …(1)
【００５１】
ステップＳ６では、前記認知容量評価部１０３がユーザのコンテキストを認知容量指標値として認知容量評価値c(x)を求める。本実施形態では、前記ステップＳ３で推定されたユーザのコンテキストに基づいてコンテキストテーブル１０３ｂを参照することで当該ユーザの認知容量が求められる。
【００５２】
本実施形態では、図７に示したように、コンテキストテーブル１０３ｂではコンテキストごとに0から1.0の認知容量が登録されている。そして、前記図２を参照して説明したように、認知容量の初期値を最大値1.0とし、ここからコンテキストの推定結果に対応した認知容量を減算することでユーザの現在の認知容量が計算される。
【００５３】
例えば、前記各センサの出力信号に基づいてユーザが歩いていると推定されると、コンテキストとして「歩行」が推定されるので、次式(2)に基づいて、当該ユーザの現在の認知容量c(x)は0.9となる。
c(x) = 1.0−0.1 = 0.9  …(2)
【００５４】
また、ユーザが歩きながら読書をしていると推定されると、コンテキストとして「歩行」および「読書」が推定されるので、次式(3)に基づいて、当該ユーザの現在の認知容量c(x)は0.2となる。
c(x) = 1.0−0.1−0.7 =0.2  …(3)
【００５５】
さらに、ユーザが掃除をしながら読書をしていると、コンテキストとして「掃除」および「読書」が推定されるので、次式(4)に基づいて、ユーザの現在の認知容量c(x)は−0.4となる。ただし、この場合はオーバーフロー状態と認定されるので認知容量c(x)は0となる。
c(x) = 1.0−0.7−0.7 = −0.4  …(4)
【００５６】
なお、ユーザのコンテキストと認知容量との関係は、広告の種類すなわち音声広告および映像広告のいずれであるかに応じて異なる可能性がある。したがって、音声広告用のコンテキストテーブルと映像広告のコンテキストテーブルとを設けてコンテキストと認知容量との関係を異ならせ、広告の種類に応じて各コンテキストテーブルを使い分けるようにしても良い。
【００５７】
ステップＳ７では、前記マイク１３の出力信号から分析された音声信号および前記カメラ映像から分析されたユーザの反応に基づいて当該ユーザの反応評価値r(x)が計算される。本実施形態では、反応の推定結果に基づいて反応テーブル１０２ｂを参照することで重み値が求められる。そして、推定された反応に対応した重み値を全て乗じることで反応評価値r(x)が求められる。
【００５８】
例えば、ユーザが広告に対して返事をしながら表情を変える反応が推定されると、反応評価値r(x)が次式(5)に基づいてr(x)=1.32として求まる。
r(x)=1.2×1.1＝1.32  …(5)
【００５９】
なお、ユーザの反応と重み値との関係も広告の種類に応じて異なる可能性があるので、音声広告用の反応テーブルと映像広告の反応テーブルとを設けて反応と重み値との関係を異ならせ、広告の種類に応じて各反応テーブルを使い分けるようにしても良い。
【００６０】
ステップＳ８では、前記知覚評価値p(x)、認知容量評価値c(x)および反応評価値r(x)に基づいて広告成果が計算される。本実施形態では、次式(6)に示すように、全ての評価値を乗じることで広告成果vが計算される。
v= p(x)×c(x)×r(x)  …(6)
【００６１】
このように、本実施形態では知覚評価値p(x)、認知容量評価値c(x)および反応評価値r(x)に基づいて広告成果が求められるが、反応評価値r(x)は必ず1.0以上の値をとるので、広告に対するユーザの反応が認められない場合でも、知覚評価値p(x)および認知容量評価値c(x)に基づいて広告成果を定量的に評価できるようになる。
【００６２】
また、本実施形態ではユーザが広告を知覚できない場合は知覚評価値p(x)が0となるので、ユーザが広告を知覚することが物理的に不可能な場合には、認知容量評価値c(x)にかかわらず広告成果を0とすることができる。
【符号の説明】
【００６３】
１…広告成果評価装置，２…広告配信事業設備，１０…ユーザ状況識別部，１１…広告成果決定部，１２…カメラ，１３…マイク，１４…人感センサ，１５…モバイル端末，１０１…知覚評価部，１０１ａ…SN比計測部，１０１ｂ…相対位置計測部，１０１ｃ…評価値計算部，１０２…反応評価部，１０２ａ…反応予測モデル，１０２ｂ…反応テーブル，１０２ｃ…評価値計算部，１０３…前記認知容量評価部，１０３ａ…認知容量予測モデル，１０３ｂ…コンテキストテーブル，１０３ｃ…評価値計算部
【図１】
2020140456.tif 000003
【図２】
2020140456.tif 000004
【図３】
2020140456.tif 000005
【図４】
2020140456.tif 000006
【図５】
2020140456.tif 000007
【図６】
2020140456.tif 000008
【図７】
2020140456.tif 000009
【図８】
2020140456.tif 000010
【図９】
2020140456.tif 000011
【図１０】
2020140456.tif 000012