JAA銅賞

BRONZE PRIZE
成功確度を高める為のテレビ広告事前評価手法開発への挑戦＿

広告の神様はサイコロを振らない＿ライオン株式会社

南 曉氏

入賞所感

5年前のエントリーを最後に卒業するつもりでした…が、出ざるを得ない事情ができ、重たい腰を上げました。しかし、ポンコツ化した脳をフル回転させるも筆は走らず、また、統計解析的な内容がテーマの実態でしたので、読み手にわかりやすく興味を持ってもらえるよう表現するのにも苦労しました。
でも、「出るからにはテッペンを目指す」と志高く臨んだだけに、結果には少々悔しさが残ります。
さて、出ざるを得ない事情とは、今論文のテーマであるTV広告事前評価手法のPRです。
刀は使い、研ぎこむことによってそのキレ味が鋭くなると言います。調査ツールも同じです。論文で紹介の手法は、その精度向上に向け、オープンツール化することを検討しています。よって、少しでも多くの方にこの論文に目を止めてもらい、興味を持ってもらう、それが、今回のエントリーの狙いでもありました。
「ツールは共通、勝負はクリエイティブで」 ご興味ある方は、是非お声掛けください。

1.はじめに降、平均視聴率が徐々に低下し、更にいつでもど日本の広告市場は、インターネット広告の登場

こでも情報接触が可能な同時性メディア、スマーにより、この20年で大きく変貌した。ネット広トフォンの台頭が視聴率の下落に拍車を掛けてい告市場は1兆円規模の巨大メディアに成長し、今る。しかし、メディアとしてのテレビ価値は大きや市場ジャイアントであるテレビ業界からも恐れく落ちてはおらず、寧ろ不思議なことにテレビ広られる存在となっている。
【資料1】

告費は近年上昇トレンドにある。市場経済におい【資料1】地上波テレビ及びインターネット広告費の推移

28

一方、テレビ業界はインターネットの登場以

特集 / JAA銅賞

て価格が商品価値尺度の一つであると考えると、メディアの状況を鑑みると、その精度を更に高めテレビメディアの価値は上がっているのである。

る必要があると考え、新たな調査手法の構築に挑【資料2】戦した。当論文では、その挑戦内容を紹介すると媒体力の指標となる視聴率の下落に対し広告料ともに、広告調査という視点から、広告主不利のが上がるという矛盾した動きの背景には、大きく時代における゛売れる確度を高めるテレビCM創2つの理由が考えられる。①ここ数年の景気回復

り゛について論ずるものである。

により事業利益が拡大し、テレビ広告に投資する企業が増えたこと。②力が落ちたとは言え、テレ■広告の神様はサイコロを振らないビの情報拡散力は強力であると改めて認識されて量子力学の世界に「シュレーディンガーの猫」きていること。特に②は、テレビ業界を恐れさせという有名な思考実験がある。これは、オーストる存在であるスマートフォンのキャリアやゲーム

リアの理論物理学者エルヴィン・シュレーディン会社が、こぞってテレビ広告を大量投下しているガーが、量子力学の引き起こす奇妙な現象を、箱ことからも、情報拡散力がある媒体としてテレビの中に入れた猫の生存状況に例えて説明し、「箱の価値が高く評価されていることがわかる。これの中の量子の存在が確認できる確率は50%で、はテレビを主力媒体として展開してきた旧来の広あるかもしれないし、無いかもしれないという状告主にとっては、いささか厄介なことである。極態が続いている。
」という独自の理論を提唱した

端に言うと、以前より粗悪な商品を高い料金で買ものである。現在のテレビCMの多くは、このわねばならない状況になっている。しかし、テレ「シュレーディンガーの猫」と同じ状態だと考えビ広告を止めるという選択肢が無い以上、広告主られる。つまり、ある程度出稿してみないと、そである我々が今の状況に抗う為に唯一できるのれが゛
効く（売れる）゛CMであるかどうかわからは、如何に少ない広告量で売りに繋がるテレビない状態に置かれていることが多いのだ。しかCMを創るか、言い換えれば、如何に゛
効く゛
テレ

し、テレビメディアは広告料が高額である上に、ビCMを創るかということになる。

近年更にパーコストが上昇する状況下、広告主とライオン株式会社では、マーケティングの精度しては゛
博打゛
を避け、購買に繋がる可能性の高いを高めるポイントは、「CMオンエア前に、その広告を展開したいと思うのは当然である。よっ広告が商品の売上拡大に機能する広告と評価されて、゛効く゛
CMを創る為には、精度の高い事前評ていること」であると考え、以前よりCMの事前価ができることに加え、より゛効く゛CMへと改善評価調査を実施している。しかし、昨今のテレビ提言ができるツール（調査手法）が必要になる。

【資料2】テレビ広告費とHUT（総世帯視聴率）の推移

1 / 2017 Vol.61 / No.723

29■効く（売れる）
CMを創る為の調査課題

パッケージ商品の為、活用する側の個別カスタマ

当社では、テレビCM制作が個人の意思や感性イズが不可で、当社にとって「より精度が高く、によるものでは無く、マーケティング戦略に則っ使い勝手の良い調査手法に改善することができなた゛
効く゛
広告になっていることを論理的、客観的かった」点である。そして最後にコストの問題がに確認する為、2007年より事前評価調査を導入あった。一回の調査にかなりの金額がかかることしている。この調査は、対象となるCMが生活者から、コスト削減の為に「この手法による事前評の購入意向をどれだけ喚起させるかを測定する指価調査を避け、量的客観的評価を下さないまま標として、【共感度】
【説得力】
【印象度】
【わかりCMをオンエアする」ケースが増加しはじめた。

やすさ】の4つを用い、これらが基準点をクリア

このように、従来の手法には様々な問題があったしなければならないとしたものである。

為、これに代わる新しい調査手法の開発が急務と当手法は広く実績のあるものではあるが、当社なり、新プロジェクトがスタートしたのである。

においては運用上いくつかの問題があった。一つは、「事前のCM評価調査結果とオンエア後の調査

新しい調査手法の開発にあたっては、まず調査

売実績は、対象商品の取扱店率など様々な要因が会社の大小を問わず広く各社が保有する手法の研影響する為、事前の調査結果と販売実績に多少の究を行なった。様々な検討の結果、最終候補としミスマッチが発生することは当然ともいえる。して二つの手法に絞り込み導入テストを実施した

かし、CM投下前と投下後の調査で広告内容に対が、ともに既存手法を凌駕するものではなく、結する生活者の評価が異なるのは、調査として大き局、導入は見送ることにした。

な問題であり、広告制作部門をはじめ関連部署は当初の目論見は敢え無く頓挫した為、発想を根この手法による調査結果を鵜呑みにできないと感本から変え、外部の調査会社が開発した調査手法じ始めていた。二つ目は、この手法は定量調査ののパッケージ導入では無く、当社自ら調査手法を為、CM素材案としての善し悪しは判断できても、開発することに方針を転換した。元々、新たな調「質的な提言（より売れる為の改善提案）にまで査手法を独自開発することが如何に難しいかは想十分に踏み込むことができない」点である。三つ像に難くない為、調査会社の持つ既存の手法を採目は、この調査手法が他社にて開発された普遍用するという方法を探っていたのだが、困難な道【資料3】テレビ広告評価4指標

30■新調査手法独自開発に向けた挑戦

結果及び販売実績が一致しない」ことである。販

特集 / JAA銅賞

スコア構造分析

を承知の上で独自開発の道へ進むこと以外、膠着した状況からの打開策を見出すことができなかったのである。

（モデル式）であると言える。
また解析の結果、【共感度】と【説得力】についてはわずか3つの独立変数で、最も独立変数の独自開発に向けて最初に行ったのは、従来の調多い【印象度】についても7つの変数でそれぞれ査で使用していた4指標の構造分析である。
【共の指標のスコアを求めることができることがわ

感度】
【説得力】
【印象度】
【わかりやすさ】それかった。このことから、広告の評価はあまり多くぞれのスコア算出方法を明らかにし、当社独自のはない変数で決まっていると考えられる。わずか算出ロジックを構築しようと考えた。これら4指15秒のCMに数回接触しただけで、生活者を゛買標による評価方法は以前の調査手法によるものだ

いたい気持ち゛にさせるには直感的に興味を持たが、各指標の数値がどのように算出されているのせることが重要だと考えれば、この変数の少ないかを当社は把握していなかった為である。そこシンプルなモデル式は、むしろ合点がいく。

で、当社が過去に実施した61例のＣＭ事前評価

次に、4指標のスコア算出モデルとＣＭオンエ調査を元に算出ロジック構築の為の分析を試み

ア後に実施したブランド調査内容との相関分析をた。具体的には、スコア結果を従属変数とし、そ行った。これは、もともとＣＭオンエア前に調れぞれのスコアを導き出した調査項目の回答数値査・分析した4つの指標が、オンエア後のブランを独立変数として重回帰分析を行い、各独立変数

ドの認知形成、使用意向獲得に本当に反映されての係数を見つけだすという作業を4つの指標ついいるのかという疑念に対して検証を行ったものでて行った。調査項目の中には、調査時に被験者のある。この分析は、より広告訴求対象製品に近いバイアスを除去する目的で設定されたダミー質問レベルでの評価であるべきと考え、ブランドの定が数多くあった。これらを発見し取り除く作業を義を【マスターブランド】では無く【サブブランしつつ何度も回帰分析を繰り返し、最終的に4指ド】軸での評価とした。洗濯用洗剤を例にとる

標のスコアを算出する当社独自の近似方程式を作と、【トップ】では無く【トップHYGIA（ハイジり出した。
【資料3】

ア）
】といったレベルでのブランド認知、使用意

このような作業を経て、それぞれの指標のスコ向に対する4指標の相関性を評価した。その結アがどの調査項目（独立変数）から導き出され、果、4指標の全てがブランドの認知形成、使用意その重み（係数）がどれ位のものであるかを割り向獲得と相関関係があるわけではなく、【共感度】出し、当社独自のスコア算出モデル式を作成すると【印象度】の2指標のみ相関があることがわことに成功した。このモデル式はそれぞれの重相かった。
【資料4】 4指標については元々、【説得関係数を見てもわかるように結果的に4指標とも力】や【わかりやすさ】の評価が高ければ、【共非常に精度の高いものとなっており、更にどの指感度】や【印象度】のスコアも高くなるなどの指標のモデル式も100%の重相関が認められている

標間に相関がある為、新手法の評価指標は、【共わけではない為【資料3】、作成したモデル式は、感度】と【印象度】のみを採用することとし、質既存手法とは異なる当社独自のスコア算出方法

問項目の特徴・独自性も鑑みて、それぞれを「好【資料4】テレビ広告評価4指標スコアとオンエア後ブランド調査結果との相関性

1 / 2017 Vol.61 / No.723

31意スコア」、「記憶スコア」と呼び、新手法におけるデプスインタビュー方式の方が、被験者からよるＣＭ評価の基本指標とすることにした。また、り多くの言葉を引き出せそうだが、実際には、傍指標を2つに集約した為、質問数を大幅に削減でにいる調査員の存在が被験者にとってプレッき、回答精度の向上やコストダウンの可能性も見シャーとなり、多くの言葉を引き出せなかった

えてきた。しかし他方で、【説得力】や【わかりり、被験者の言葉を調査員が翻訳して記入するやすさ】の評価を全くとらなくてもいいのかといケースがある為、被験者が本来伝えたかったことう議論もあり、これらの指標に関しては、調査内が我々に伝わっていないことがあるのではないかの自由回答をテキストマイニングし、量的に分という疑念を以前から感じていた為である。そこ

析・評価する方法を採用することにした。具体的

で、被験者本人によるPC画面への記述方式に変には、調査前後に【説得力】や【わかりやすさ】更したところ、回答文字数がデプスインタビューの到達度を評価できる言葉を複数設定し、それぞ方式に比べ、1人当たり1.5倍になることが確認

れの言葉が回答者の何割から出現してくるか分析できた。また調査被験者が高齢の場合、PCへのし、その出現状況から総合的に評価する方法であ不慣れから回答が記入できなかったり、記入文字る。
【資料5】

数が極端に減少するのではないかと心配していたが、これらは杞憂に終わった。若年層に比べると■多くを聞かず深く聞き取る
新手法では、調査バイアスを避ける為、ダミー質問をいくつか挿入したものの、質問項目をかな

回答記入時間は若干長くかかるものの、高齢者の方がより丁寧で多くの回答が得られることもわかった。

り絞り込むことができた結果、質問数は従来の半しかし、ただ回答文字数を増やせば良いとい分以下になり、実査時間も今まで平均1時間程度うものではない。如何に、その゛声゛から、売れかかっていたものが平均20分程度にまで大幅にる広告に改善できるヒントを聞き取れるかが肝短縮することができた。代わりに、゛効く゛
CMへ心である。このことを解決する為に、株式会社の改善示唆をより多く得る為、自由回答の量と質

ア ー ム ズ が 開 発 し た 分 析 ソ フ ト「A R M S -の改善に努めた。これは、新手法の開発にあたっFlower」を導入した。これはテキストマイニて最も拘ったポイントの一つである。従来の手法

ングとKJ法を合わせた分析ソフトで、自由回答による自由回答は、調査員によるデプスインタから言葉を拾い上げ、それを分類した後、被験者ビュー方式だったが、これを被験者自身が操作す個々のそれぞれの言葉に対する重要性や、言葉間るPC画面での回答方式に変更した。調査員によの相関性から、提示したCM案が「何故好きで、【資料5】フリーアンサーのテキストマイニングによる【説得度】、【わかりやすさ】到達度確認イメージ

32

特集 / JAA銅賞

何故ダメなのか」を全体俯瞰図に落とし込むことで、調査被験者の快・不快感評価について、既存ができるという特長をもっている。
【資料6】

手法で使用していた「好き」「嫌い」という言葉でなく、「いい感じがする」「いい感じがしない」■新手法の評価実験という言葉を使い調査していることに起因すると新手法の調査設計が開発できたといってもまだ考えられる。日本語の「好き」、「嫌い」という言机上の空論に過ぎず、実際の精度については何の葉は、白黒をはっきりさせる極端な表現である

保 証 も 無 か っ た。 そ こ で、「トップスーパー

為、その言葉の間に隠れた微妙なニュアンスを掬NANOX（ナノックス）」
CM素材の事前評価調査い上げたいと考え、新手法では「いい感じがすを実施した際、既存手法と並行して新手法でも評る」、「いい感じがしない」という表現に変更し、価調査を行い、双方の評価結果比較を行うこと調査していた。そこでこの部分を、先に述べたで、新手法の精度確認を行うことにした。この調「ARMS-Flower」を用いて分析を行ったところ、査は、実写版を制作する前にクリエイティブの評「挑戦状のシーンは面白さであり、その面白さが価を行なうものだった為、両調査ともアニマあるからこそ、汚れ落ちのシーンが活きている」

ティックというCMストーリーを絵に書き起したということがわかった。
【資料6】以上から、こ「動く紙芝居」のようなものを見せて行っている。の「挑戦状」のシーンは既存手法による評価では【資料7-1】そして、調査結果の比較をしてみる「ネガティブに働くので、表現方法としての使用と、好意スコア、記憶スコアとも新手法で算出しは疑問」との評価が下ったが、新手法による評価たスコアは、既存手法で算出したスコアと同じまでは「CMストーリー上、必須のシーンである」

たは近似しており、新手法における各スコア評価と分析・提言された。結局「挑戦状」のシーンは、の再現性を確認することができた。
【資料8-1】

演出上必要と判断され最終的に残されることに

しかし一方で、CMの冒頭にある「八百屋の女なった。そしてこのシーンはCMオンエア後に実将から二宮和也に挑戦状を渡すシーン」では、既施した視聴者追跡調査において、CM記憶効果に存手法と新手法で評価が大きく別れてしまった。

機能していると評価されており、ここでも新手法【資料9】既存手法では、調査被験者から「嫌い」の有効性を確認することができた。しかし、アニなシーンとして評価されたシーンだが、新手法でマティック版での比較評価により、新手法によるは否定的な評価も若干見られたものの、それを上好意スコア、記憶スコアの再現性は確認できたも回る数の肯定的な評価を得ている。これは新手法のの、そもそもCMストーリーを絵に書き起こし、【資料6】ARMS-Flower

分析のアウトプットイメージ

1 / 2017 Vol.61 / No.723

33

【資料7】事前CM評価時の呈示素材イメージ【資料8】新旧調査手法評価結果【資料9】新旧調査手法の違いによる評価のギャップ

34

特集 / JAA銅賞

「動く紙芝居」としたアニマティック版と実際にまた、この基準値は絶対的なものではなく、あくオンエアする実写版では表現力や情緒感がかなりまで一つの判断目安とし、基準値を下回った場合異なる為、アニマティック版での評価が実写版のでも、好意スコアは購入意向や定性評価（自由回評価とリンクしているのかという疑念は残ってい答）にて、また記憶スコアも定性評価（想起内容）た。そこで、トップスーパーNANOXの実写版を確認し、総合的に評価検討して最終判断するこCMオンエア前に、新手法を使用して実写版の評ととした。
【資料10】

価調査を行った。尚、実写版はアニマティック版

尚、新手法は「事前広告調査（Preliminaryから若干の演出修正が施されていたが、ストーAdvertising Research）」の英語の頭文字をリー展開は全く同じだった為、比較評価を行なうとって、「PAR（ピーエーアールもしくはパー）」上で問題は無いと判断した。
【資料7-2】結果は、と呼んでいるが、このPARの実施基準について新手法で得たアニマティック版の好意スコア、記は、コスト効率、調査の適正さから①調査費が半憶スコアと、実写版のそれぞれのスコアは近似し期宣伝費の1%を超える場合は実施しない。②調ており、この調査により、新手法でのアニマ査時のターゲット出現率が10%を切る場合は実ティック版評価は実写版評価に高い確度でリンク施しない。という、調査実施上の1%ルールとしていることが確認できた。
【資料8-2】

10%ルールを設けている。

■新手法の運用方法■PARの進化に向けて現在、この新手法を用いて調査を行う際は、好新手法PARは、2016年9月より本格導入する

意スコアと記憶スコアの二つの基準値をクリアしことが決定しているが、調査ツールとしてはまだた場合に「オンエアに値する（売りに繋がる）まだ改善の余地があり、当面、以下三つの課題改CMであると評価」している。そして当面、それ善への取り組みが必要と考えている。一つ目は、ぞれのスコアの基準値は、当社が過去に行った事基準値の精度アップである。現在の基準は、あく前評価調査において「合格」と判断したCM素材まで自社の過去調査結果から設定したものであのスコア下限値を置くことにした。しかし、このり、自社のノーム値でしかない。よって、基準値基準値は、今後の調査やオンエア後の評価等を照の精度アップに向けては、自社以外からも幅広くらし合わせていくことにより徐々に修正していくデータを収集し、自社の製品群の特性に偏らないことにしている。

ノーム値を形成していくことが重要と考える。そ【資料10】PARによるCM評価基準（合格基準）

1 / 2017 Vol.61 / No.723

35こで、当社ではPARのノウハウを他社に開放し、要と考えている。具体的には、PARを現在の会共同でノーム値を形成することを検討している。

場調査からインターネットを利用した自宅調査に但し、ノウハウの情報共有に留まり、データ収集移行させる方法である。これは、面接方式ではなが一向に進まず、最終的に調査の精度アップにもく、PC画面記入方式を採用しているPARだから繋がらないというのでは元も子もないので、ノウこそ可能になる。ただ、自宅調査に変更することハウの開放方法については、現在検討中である。

による調査精度の問題や守秘の問題が出てくるの二つ目は、CMオンエア後評価との相関精度であは必至で、これらの解決に向けては、日々進化する。オンエア前に思い描いていた通りの生活者認るITの力を借りて臨みたい。

知・意識が形成できているか、もし形成できていニューロサイエンス、表情解析等広告調査に関ないのであれば事前評価調査手法としてどこに問わる技術の進化は、近年著しい。現状、解析精度題があって、何を改善していかなければならないを含め課題も多いが、これら技術を取り入れた手のかを継続して探っていく必要がある。今後は、法が導入される日も遠くはないだろう。当社も事後評価結果にしっかりとリンクする調査手法にPAR開発を端に、゛売れるCM創り゛の確度向上になっていくことを意識したい。そして、三つ目は向けて調査精度を高めるべく、進化する技術を積調査コストの削減である。

極的に取り入れ、更なる手法改善に挑戦していきPARは、従来手法から2割程度のコストダウンたい。

を図ることができたが、更なるマーケティングコ以上ストの負担軽減を目的に、今後も手法の改善が必審査講評

36だ。ＣＭ制作者にとっては共通の課題であり、事前調査の限界をどう乗り越えるか、定性的な視点や他社データとの広告表現の事前評価の精度向上という、非常に重要かつ連携など、他の広告主にとっても非常に参考になる取り組困難な課題に取り組んだチャレンジングな論文である。こみとなっている。合わせて、課題抽出、解決方法、実施結れまで使ってきたモデルを解体し、改善しつつ再構築して果の検証等がよく整理され、論文としても筆者の思いや意いくという新評価モデルの開発方法も、現実的かつ実践的気込みが伝わってくる。

特集 / JAA銅賞