(57)【要約】      （修正有）【課題】ユーザの行動対象からサービスシナリオの改善要因を推定する装置等を提供する。【解決手段】カメラによって撮影された映像からユーザの行動を分析する行動分析装置であって、行動時間を対応付けた各行動対象を時系列に並べた、サービスシナリオ（手順）を登録するサービスシナリオ登録手段と、映像からユーザの行動対象を逐次に推定する行動対象推定手段と、推定された行動対象が、当該サービスシナリオについて、時系列と異なる行動対象へ移行した第１の不適正行動か、行動時間以上となった第２の不適正行動か、それ以外の適正行動かを判定するシナリオ行動判定手段と、同一のサービスシナリオについて、複数のユーザの行動結果を用いて、第１の不適正行動のユーザ数が所定条件以上となる場合、又は、第２の不適正行動のユーザ数が所定条件以上となる場合、当該サービスシナリオ自体に改善要因があると推定する行動要因推定手段とを有する。【選択図】図２
2019061592.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって撮影された映像からユーザの行動を分析する行動分析装置であって、
行動時間を対応付けた各行動対象を時系列に並べた、サービスシナリオ（手順）を登録するサービスシナリオ登録手段と、
前記映像からユーザの行動対象を逐次に推定する行動対象推定手段と、
推定された前記行動対象が、当該サービスシナリオについて、時系列と異なる行動対象へ移行した第１の不適正行動か、前記行動時間以上となった第２の不適正行動か、それ以外の適正行動かを判定するシナリオ行動判定手段と、
同一のサービスシナリオについて、複数のユーザの行動結果を用いて、第１の不適正行動のユーザ数若しくは割合が第１の所定数若しくは第１の所定割合以上となる場合、又は、第２の不適正行動のユーザ数若しくは割合が第２の所定数若しくは第２の所定割合以上となる場合、当該サービスシナリオ自体に改善要因があると推定する行動要因推定手段と
を有することを特徴とする行動分析装置。
【請求項２】
前記行動対象推定手段は、前記映像に映り込む周辺対象物を更に検出しており、
前記サービスシナリオ登録手段は、各サービスシナリオについて前記映像に映り込む周辺対象物を登録しており、
前記シナリオ行動判定手段は、当該サービスシナリオに登録された周辺対象物が、前記映像に映り込んでいない場合、行動結果を判定しない
ことを特徴とする請求項１に記載の行動分析装置。
【請求項３】
前記サービスシナリオ登録手段は、複数のサービスシナリオを登録しており、
前記映像から推定されたユーザの行動対象に基づいて、いずれかのサービスシナリオを選択するサービス選択手段を
更に有することを特徴とする請求項１又は２に記載の行動分析装置。
【請求項４】
前記行動対象推定手段は、前記映像に映り込む周辺対象物を検出しており、
前記サービスシナリオ登録手段は、各サービスについて前記映像に映り込む周辺対象物を登録しており、
前記サービス選択手段は、前記映像に映り込む周辺対象物から、いずれかのサービスシナリオを更に絞り込んで選択する
ことを特徴とする請求項３に記載の行動分析装置。
【請求項５】
ユーザ属性情報が付与された複数のユーザを、所定条件に基づいてグループ化して記憶するユーザグループ記憶手段を更に有し、
前記行動要因推定手段は、グループ毎に、当該サービスシナリオ自体に改善要因があるか否かを推定する
ことを特徴とする請求項１から４のいずれか１項に記載の行動分析装置。
【請求項６】
前記シナリオ行動判定手段は、前記サービスシナリオの時系列と異なる行動対象が、当該サービスシナリオに含まれていない行動対象である場合、行動結果を判定しない
ことを特徴とする請求項１から５のいずれか１項に記載の行動分析装置。
【請求項７】
更にマイクによってユーザの発話音声を録音した端末から、ユーザの発話音声を収集し、
前記行動対象推定手段は、前記発話音声を更に用いてユーザの行動対象を逐次に推定する
ことを特徴とする請求項１から６のいずれか１項に記載の行動分析装置。
【請求項８】
請求項１から７のいずれか１項に記載の行動分析装置と、
ユーザに行動指示可能なスピーカ及び／又はディスプレイを有する端末と
がネットワークを介して通信するシステムであって、
前記行動分析装置は、前記シナリオ行動判定手段によって第１の不適正行動又は第２の不適正行動と判定された際に、当該サービスシナリオに基づく行動指示メディアデータを、前記端末へ送信する行動指示送信手段を更に有し、
前記端末は、前記行動分析装置から受信した行動指示メディアデータを、スピーカ及び／又はディスプレイによって再生する
ことを特徴とするシステム。
【請求項９】
カメラによって撮影された映像からユーザの行動を分析する装置に搭載されたコンピュータを機能させる行動分析プログラムであって、
行動時間を対応付けた各行動対象を時系列に並べた、サービスシナリオ（手順）を登録するサービスシナリオ登録手段と、
前記映像からユーザの行動対象を逐次に推定する行動対象推定手段と、
推定された前記行動対象が、当該サービスシナリオについて、時系列と異なる行動対象へ移行した第１の不適正行動か、前記行動時間以上となった第２の不適正行動か、それ以外の適正行動かを判定するシナリオ行動判定手段と、
同一のサービスシナリオについて、複数のユーザの行動結果を用いて、第１の不適正行動のユーザ数若しくは割合が第１の所定数若しくは第１の所定割合以上となる場合、又は、第２の不適正行動のユーザ数若しくは割合が第２の所定数若しくは第２の所定割合以上となる場合、当該サービスシナリオ自体に改善要因があると推定する行動要因推定手段と
してコンピュータを機能させることを特徴とする行動分析プログラム。
【請求項１０】
カメラによって撮影された映像からユーザの行動を分析する装置の行動分析方法であって、
前記装置は、行動時間を対応付けた各行動対象を時系列に並べた、サービスシナリオ（手順）を登録するサービスシナリオ登録部を有し、
前記装置は、
前記映像からユーザの行動対象を逐次に推定する第１のステップと、
推定された前記行動対象が、当該サービスシナリオについて、時系列と異なる行動対象へ移行した第１の不適正行動か、前記行動時間以上となった第２の不適正行動か、それ以外の適正行動かを判定する第２のステップと、
同一のサービスシナリオについて、複数のユーザの行動結果を用いて、第１の不適正行動のユーザ数若しくは割合が第１の所定数若しくは第１の所定割合以上となる場合、又は、第２の不適正行動のユーザ数若しくは割合が第２の所定数若しくは第２の所定割合以上となる場合、当該サービスシナリオ自体に改善要因があると推定する第３のステップと
を実行することを特徴とする装置の行動分析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによって撮影された映像から、ユーザの行動を推定する技術に関する。
【背景技術】
【０００２】
近年、年齢や性別が異なる各ユーザに最適な、商品役務（サービス）を提供する商取引が所望されている。そのため、サービス事業者は、その商品役務の発売前やマーケティング調査時に、一般消費者に実際にその商品役務を使用してもらい、改善ポイントを洗い出すというモニターテストを実施している。モニターテストでは、通常、その商品役務を使用したユーザが、感想や問題点をアンケート形式で回答する場合が多い。
【０００３】
アンケート方式では、ユーザが問題点を十分に記載しない場合も多い。また、モニターテストでは、サービス事業者がその商品役務の取扱手順を推奨しても、そのユーザがどのように取り扱っているかまでは、把握することはできない。そのために、モニターテストでは、その商品役務の取り扱っているユーザの行動を把握するために、実際に同じ場所にユーザを集める必要もあった。このような手間を省くためにも、サービス事業者にとっては、モニターテストにおけるユーザの行動を自動的に把握したいとする要求もある。
【０００４】
従来、脈拍情報を計測するデバイスをユーザに装着し、そのユーザの行動状態（心的状態、外部環境、居住場所）を解析する技術がある（例えば特許文献１参照）。この技術によれば、サービス事業者は、ユーザのストレス状態を検知した際に、その時の行動状態をユーザに通知してもらう必要がある。
【０００５】
また、情報処理装置を操作するプレイヤの操作状況から、習熟度等に適した操作支援を実行する技術もある（例えば特許文献２参照）。この技術によれば、プレイヤによる操作ガイドアプリの操作状況をタッチパネルから取得し、プレイヤによる操作を動的に支援する。操作状況が、期待するリアクションに合致しているか否かを判断することによって、プレイヤの習熟度や習得意欲を推測することができる。
【０００６】
更に、ユーザの位置情報及び方向と対象物の位置情報とに基づいて、ユーザの情動反応を算出する行動要因分析の技術もある（例えば特許文献３参照）。この技術によれば、ユーザが注目している対象物を特定し、ユーザの視点位置から対象物内で興味を示しているエリアを判定した上で、その情動反応を算出することができる。
【０００７】
更に、ユーザの行動とその次に取る行動とを結び付け、ユーザの行動の影響が他のユーザに伝播する様子を提示する技術もある（例えば特許文献４参照）。例えば、あるユーザの「空き缶をゴミ箱に捨てる」という行動が、他のユーザに影響を与える動向を算出することができる。
【０００８】
更に、ユーザの操作習熟度の違いによって、ユーザの操作を支援するプレビュー・ヘルプ機能を適切に表示する技術もある（例えば特許文献５参照）。この技術によれば、過去のある操作をスムーズに操作できたか否かを記憶し、これから行おうとする操作にユーザが不慣れであると判断した場合にのみ、プレビュー・ヘルプ機能を表示することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１６−２０２３４７号公報
【特許文献２】特開２０１５−１３２９５１号公報
【特許文献３】特開２０１０−０６１４５２号公報
【特許文献４】ＷＯ２０１２０９０６９７Ａ１
【特許文献５】特開２００９−０２０５５４号公報
【非特許文献】
【００１０】
【非特許文献１】Fabian Caba Heilbron, Victor Escorcia, Bernard Ghanem and Juan Carlos Niebles, “ActivityNet: A Large-Scale Video Benchmark for Human Activity Understanding,” CVPR2015.、[online]、［平成２９年９月１８日検索］、インターネット＜URL: http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Heilbron_ActivityNet_A_Large-Scale_2015_CVPR_paper.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【００１１】
サービス事業者は、その商品役務におけるサービスシナリオの通りに、ユーザが取り扱うことを所望している。サービスシナリオとは、取扱手順（使用説明書や操作手順）として、ユーザの行動対象を時系列に並べて規定したものである。
【００１２】
しかしながら、サービス事業者は、その商品役務のサービスシナリオを推奨しても、現実に一般消費者のユーザがどのように取り扱っているかまで、把握することはできない。多くのユーザが、サービスシナリオとは異なる行動対象を取っていたり、その時間が長かったりする場合も多い。
また、前述した従来技術によればそもそも、ユーザの行動対象が、サービスシナリオの通りに進行することを判断するものではない。また、これら従来技術は、ユーザに対して、デバイスの装着や特定操作を要求するものでもある。
【００１３】
これに対し、本願の発明者らは、各ユーザに、デバイスの装着や特定操作を要求することなく、サービスシナリオの通りに操作したか否かを判定することはできないか、と考えた。
また、ユーザがサービスシナリオの通りに操作しなかった場合に、サービスシナリオ自体に改善要因があるのか、又は、サービスシナリオ以外におけるユーザの性格や周辺環境に起因するものなのか、を更に判定することはできないか、とも考えた。
サービスシナリオ自体を改善することができれば、当該サービスを利用しようとする様々なユーザの不都合も改善することができる。
【００１４】
そこで、本発明は、ユーザにデバイス装着や特定操作を要求することなく、ユーザの行動対象からサービスシナリオの改善要因を推定する行動分析装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明によれば、カメラによって撮影された映像からユーザの行動を分析する行動分析装置であって、
行動時間を対応付けた各行動対象を時系列に並べた、サービスシナリオ（手順）を登録するサービスシナリオ登録手段と、
映像からユーザの行動対象を逐次に推定する行動対象推定手段と、
推定された行動対象が、当該サービスシナリオについて、時系列と異なる行動対象へ移行した第１の不適正行動か、行動時間以上となった第２の不適正行動か、それ以外の適正行動かを判定するシナリオ行動判定手段と、
同一のサービスシナリオについて、複数のユーザの行動結果を用いて、第１の不適正行動のユーザ数若しくは割合が第１の所定数若しくは第１の所定割合以上となる場合、又は、第２の不適正行動のユーザ数若しくは割合が第２の所定数若しくは第２の所定割合以上となる場合、当該サービスシナリオ自体に改善要因があると推定する行動要因推定手段と
を有することを特徴とする。
【００１６】
本発明の行動分析装置における他の実施形態によれば、
行動対象推定手段は、映像に映り込む周辺対象物を更に検出しており、
サービスシナリオ登録手段は、各サービスシナリオについて映像に映り込む周辺対象物を登録しており、
シナリオ行動判定手段は、当該サービスシナリオに登録された周辺対象物が、映像に映り込んでいない場合、行動結果を判定しないことも好ましい。
【００１７】
本発明の行動分析装置における他の実施形態によれば、
サービスシナリオ登録手段は、複数のサービスシナリオを登録しており、
映像から推定されたユーザの行動対象に基づいて、いずれかのサービスシナリオを選択するサービス選択手段を
更に有することも好ましい。
【００１８】
本発明の行動分析装置における他の実施形態によれば、
行動対象推定手段は、映像に映り込む周辺対象物を検出しており、
サービスシナリオ登録手段は、各サービスについて映像に映り込む周辺対象物を登録しており、
サービス選択手段は、映像に映り込む周辺対象物から、いずれかのサービスシナリオを更に絞り込んで選択することも好ましい。
【００１９】
本発明の行動分析装置における他の実施形態によれば、
ユーザ属性情報が付与された複数のユーザを、所定条件に基づいてグループ化して記憶するユーザグループ記憶手段を更に有し、
行動要因推定手段は、グループ毎に、当該サービスシナリオ自体に改善要因があるか否かを推定することも好ましい。
【００２０】
本発明の行動分析装置における他の実施形態によれば、
シナリオ行動判定手段は、サービスシナリオの時系列と異なる行動対象が、当該サービスシナリオに含まれていない行動対象である場合、行動結果を判定しないことも好ましい。
【００２１】
本発明の行動分析装置における他の実施形態によれば、
更にマイクによってユーザの発話音声を録音した端末から、ユーザの発話音声を収集し、
行動対象推定手段は、発話音声を更に用いてユーザの行動対象を逐次に推定することも好ましい。
【００２２】
本発明によれば、前述した行動分析装置と、
ユーザに行動指示可能なスピーカ及び／又はディスプレイを有する端末と
がネットワークを介して通信するシステムであって、
行動分析装置は、シナリオ行動判定手段によって第１の不適正行動又は第２の不適正行動と判定された際に、当該サービスシナリオに基づく行動指示メディアデータを、端末へ送信する行動指示送信手段を更に有し、
端末は、行動分析装置から受信した行動指示メディアデータを、スピーカ及び／又はディスプレイによって再生する
ことを特徴とする。
【００２３】
本発明によれば、カメラによって撮影された映像からユーザの行動を分析する装置に搭載されたコンピュータを機能させる行動分析プログラムであって、
行動時間を対応付けた各行動対象を時系列に並べた、サービスシナリオ（手順）を登録するサービスシナリオ登録手段と、
映像からユーザの行動対象を逐次に推定する行動対象推定手段と、
推定された行動対象が、当該サービスシナリオについて、時系列と異なる行動対象へ移行した第１の不適正行動か、行動時間以上となった第２の不適正行動か、それ以外の適正行動かを判定するシナリオ行動判定手段と、
同一のサービスシナリオについて、複数のユーザの行動結果を用いて、第１の不適正行動のユーザ数若しくは割合が第１の所定数若しくは第１の所定割合以上となる場合、又は、第２の不適正行動のユーザ数若しくは割合が第２の所定数若しくは第２の所定割合以上となる場合、当該サービスシナリオ自体に改善要因があると推定する行動要因推定手段と
してコンピュータを機能させることを特徴とする。
【００２４】
本発明によれば、カメラによって撮影された映像からユーザの行動を分析する装置の行動分析方法であって、
装置は、行動時間を対応付けた各行動対象を時系列に並べた、サービスシナリオ（手順）を登録するサービスシナリオ登録部を有し、
装置は、
映像からユーザの行動対象を逐次に推定する第１のステップと、
推定された行動対象が、当該サービスシナリオについて、時系列と異なる行動対象へ移行した第１の不適正行動か、行動時間以上となった第２の不適正行動か、それ以外の適正行動かを判定する第２のステップと、
同一のサービスシナリオについて、複数のユーザの行動結果を用いて、第１の不適正行動のユーザ数若しくは割合が第１の所定数若しくは第１の所定割合以上となる場合、又は、第２の不適正行動のユーザ数若しくは割合が第２の所定数若しくは第２の所定割合以上となる場合、当該サービスシナリオ自体に改善要因があると推定する第３のステップと
を実行することを特徴とする。
【発明の効果】
【００２５】
本発明の行動分析装置、プログラム及び方法によれば、ユーザにデバイス装着や特定操作を要求することなく、ユーザの行動対象からサービスシナリオの改善要因を推定することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明におけるシステム構成図である。
【図２】本発明における行動分析装置の機能構成図である。
【図３】サービスシナリオ登録部に登録されたサービスシナリオを表す説明図である。
【図４】サービス選択部におけるサービスシナリオの選択を表す説明図である。
【図５】シナリオ行動判定部のフローチャートである。
【図６】シナリオ行動判定部における具体例の処理の流れを表す説明図である。
【図７】ユーザ行動記憶部によって記憶されたテーブルである。
【発明を実施するための形態】
【００２７】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２８】
図１は、本発明におけるシステム構成図である。
【００２９】
図１のシステムによれば、行動分析装置１が、インターネットに接続されており、カメラによって撮影された映像からユーザの行動を分析する。
端末２はそれぞれ、カメラを搭載しており、ユーザの行動状態を撮影した映像を、ネットワークを介して行動分析装置１へ送信する。端末２は、各ユーザによって所持されるスマートフォンや携帯端末であって、携帯電話網又は無線ＬＡＮのようなアクセスネットワークに接続する。
勿論、端末２は、スマートフォン等に限られず、例えば宅内に設置されたＷｅｂカメラであってもよい。また、Ｗｅｂカメラによって撮影された映像データがＳＤカードに記録され、その記録された映像データが行動分析装置１に入力されるものであってもよい。
【００３０】
図２は、本発明における行動分析装置の機能構成図である。
【００３１】
図２によれば、行動分析装置１は、サービスシナリオ登録部１０１と、ユーザグループ記憶部１０２と、ユーザ行動記憶部１０３とを有する。また、行動分析装置１は、行動対象推定部１１と、シナリオ行動判定部１２と、行動要因推定部１３と、サービス選択部１４と、行動指示送信部１５とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の行動分析方法としても理解できる。
【００３２】
［サービスシナリオ登録部１０１］
サービスシナリオ登録部１０１は、サービス事業者が推奨するユーザの各行動手順（サービスシナリオ）に、行動時間を対応付けたものを時系列に並べて登録する。サービスシナリオ自体は、１つであってもよいし、サービス選択部１４によって選択可能となるように複数であってもよい。
また、他の実施形態として、サービスシナリオ登録部１０１は、サービスシナリオ毎に、映像に映り込む周辺対象物を登録することも好ましい。
【００３３】
図３は、サービスシナリオ登録部に登録されたサービスシナリオを表す説明図である。
【００３４】
図３によれば、例えば３つのサービスシナリオが登録されている。
第１のサービスシナリオ（「ＴＶｄｅ写真」サービス）
携帯電話機で受信した写真をテレビに表示するサービスの設定手順
（行動対象）                  （行動時間）
ドングルを把持                      ５秒
テレビへのドングルの挿入          １０秒
携帯電話機のアプリの起動          １５秒
テレビのボタンの押下              ２０秒
（周辺対象物->  人、ドングル、テレビ、携帯電話機）
---------------------------------------------------------------------
第２のサービスシナリオ（「ストリーミング」サービス）
スマホの動画をレコーダにストリーミング転送するサービスの設定手順
（行動対象）                  （行動時間）
スマホのアプリ起動                １０秒
レコーダのボタンの押下              ５秒
ケーブルの把持                      ５秒
レコーダへのケーブルの挿入        １０秒
（周辺対象物->  人、ケーブル、レコーダ、スマホ）
---------------------------------------------------------------------
第３のサービスシナリオ（「パソコン設定」サービス）
パソコンの設定をＵＳＢメモリから自動設定するサービスの設定手順
（行動対象）                  （行動時間）
パソコンの操作                    ２０秒
ＵＳＢメモリの把持                  ５秒
パソコンへのＵＳＢメモリの挿入    １０秒
パソコンの操作                    １５秒
（周辺対象物->  人、パソコン、ＵＳＢメモリ）
【００３５】
「行動対象」とは、行動対象推定部１１によって映像から推定されたユーザの行動である。
「行動時間」とは、推定された行動対象の継続時間であって、サービス事業者が想定した適合操作の時間である。
「周辺対象物」とは、サービス事業者が想定した、映像に映り込むであろう対象物である。
【００３６】
［ユーザグループ記憶部１０２］
ユーザグループ記憶部１０２は、ユーザ属性情報が付与された複数のユーザを、所定条件に基づいてグループ化して記憶する。
ユーザ属性情報としては、例えば年齢、性別、使用端末等であってもよい。これによって、ユーザ群をグループ化することができる。若年男性のようにサービスシナリオの通りに行動できるグループもあれば、高齢女性のようにサービスシナリオの通りに行動しにくいグループもある。
これらユーザ属性情報は、例えば通信事業者の契約情報から、予め取得しておくことができる。
【００３７】
尚、前述したサービスシナリオ登録部１０１は、ユーザグループ記憶部１０２のグループ毎に、異なるサービスシナリオを登録しておくことが好ましい。例えばユーザ属性によっては、１つの行動対象について、他のグループよりも長い行動時間が必要となる場合もある。若年男性のように各サービスシナリオを短時間に操作できるグループもあれば、高齢女性のようにサービスシナリオの操作に時間がかかるグループもある。
【００３８】
［行動対象推定部１１］
行動対象推定部１１は、映像に映り込む周辺対象物を認識すると共に、その映像からユーザの行動対象を逐次に推定する。
このような行動対象の推定は、深層学習に基づく既存技術によって実現される（例えば非特許文献１参照）。この技術によれば、ユーザの行動が映り込む映像から、ユーザの「歩く」「話す」「持つ」などの「行動対象」を分析することができる。また、行動対象推定部１１は、推定した行動対象の行動時間（継続時間）も測定する。
そして、行動対象推定部１１は、推定した「行動対象」とその「行動時間」とを、逐次、シナリオ行動判定部１２及びサービス選択部１４へ出力する。
【００３９】
実運用の中では、例えばモニターテストに参加したユーザには、自らのスマートフォン（端末２）のカメラで、自らの行動を撮影してもらう。そのスマートフォンは、ユーザの行動が映り込んだ映像を、行動分析装置１へ送信する。行動分析装置１の行動対象推定部１１は、その映像からユーザの行動対象を推定することができる。
【００４０】
尚、行動対象推定部１１は、ユーザの行動対象として、「首を傾げる」「顔をしかめる」などを感情対象として推定することも好ましい。そして、この「感情対象」と「行動時間」とを対応付けて出力する。例えば「行動時間」が長い場合、ユーザはその「感情対象」の状態にあると判定することができる。また、例えば、高齢者が、パソコン設定のサービスシナリオにおける行動対象「ＵＳＢメモリをパソコンに挿す」を実施している場合に、感情対象「顔をしかめる」状態で、登録された行動時間を超えている場合、そのユーザは困惑した状態であることを推定することもできる。
【００４１】
尚、他の実施形態として、行動対象推定部１１は、更にマイクによってユーザの発話音声を録音した端末２から、ユーザの発話音声を収集するものであってもよい。行動対象推定部１１は、映像のみならず、発話音声を更に用いてユーザの行動対象を逐次に推定することができる。
例えば、携帯電話機の着信音が鳴り響いた後、ユーザが携帯電話機を耳に近づける映像がある場合、行動対象「携帯電話機の着信」と推定される。
また、ユーザが「やばい」「間違った」と発声した後、サービスシナリオとは異なる行動対象の映像がある場合、その誤った行動対象となる確率は高いと考えられる。
【００４２】
［サービス選択部１４］
サービス選択部１４は、行動対象推定部１１によって映像から推定されたユーザの行動対象から、いずれかのサービスシナリオを選択する。また、サービス選択部１４は、行動対象推定部１１によって映像に映り込む周辺対象物から、いずれかのサービスシナリオを更に絞り込んで選択することも好ましい。
選択されたサービスシナリオは、シナリオ行動判定部１２へ出力される。
【００４３】
図４は、サービス選択部におけるサービスシナリオの選択を表す説明図である。
【００４４】
図４によれば、行動対象推定部１１によって、映像から、「ドングル」「テレビ」「携帯電話機」の映り込みと、ユーザの行動対象として「ドングルを把持」とが推定されており、図３のサービスシナリオ登録部１０１の中から、サービスシナリオ１が選択される。
【００４５】
また、例えば、行動対象推定部１１によって、映像から、「ケーブル」「レコーダ」「スマホ」の映り込みと、ユーザの行動対象として「スマホのアプリの起動」とが推定された場合、図３のサービスシナリオ登録部１０１の中から、サービスシナリオ２が選択される。
更に、例えば、行動対象推定部１１によって、映像から、「パソコン」「ＵＳＢメモリ」の映り込みと、ユーザの行動対象として「パソコンの操作」とが推定された場合、図３のサービスシナリオ登録部１０１の中から、サービスシナリオ３が選択される。
【００４６】
［シナリオ行動判定部１２］
シナリオ行動判定部１２は、サービスシナリオ登録部１０１の当該サービスシナリオについて、行動対象推定部１１によって推定された行動対象から、不適正行動／適正行動を判定する。サービスシナリオは、例えばサービス選択部１４によって選択されたものであってもよい。
シナリオ行動判定部１２によって推定された行動対象は、ユーザ行動記憶部１０３へ出力される。
【００４７】
図５は、シナリオ行動判定部のフローチャートである。
【００４８】
シナリオ行動判定部１２は、ユーザが映り込む映像から、サービスシナリオの時系列に並ぶ行動対象を、逐次判定していく。
【００４９】
（Ｓ１２０）オプション的な操作として、シナリオ行動判定部１２は、サービスシナリオ登録部１０１の当該サービスシナリオに登録された周辺対象物が、映像に映り込んでいるか否かを判定する。偽と判定された場合、ユーザが別の行動をとっているとして、行動結果を判定しない。
【００５０】
（Ｓ１２１）推定された行動対象が、サービスシナリオの時系列の行動対象と異なるか否かを判定する。真（異なる）と判定された場合、以下の２つの場合を意味する。
（ｓ１２１ａ）「取扱手順がユーザに十分に理解されていない」（誤解している）
（ｓ１２１ｂ）「周辺環境によって別の行動をとっている」（行動阻害要因の発生）
【００５１】
例（ｓ１２１ａ）によれば、例えば以下のような場合である。
＜取扱手順＞
「ドングルを把持」->「テレビへのドングルの挿入」->「携帯電話機のアプリの起動」
＜推定された行動対象＞
「ドングルを把持」->「携帯電話機のアプリの起動」（★手順違い）
【００５２】
例（ｓ１２１ｂ）によれば、例えば以下のような場合である。
＜取扱手順＞
「ドングルを把持」->「テレビへのドングルの挿入」->「携帯電話機のアプリの起動」
＜推定された行動対象＞
「ドングルを把持」->「携帯電話機を耳に当てる（電話の着信）」
【００５３】
（Ｓ１２２）推定された行動対象と、サービスシナリオの行動対象とが一致しており、推定された行動対象の行動時間が、サービスシナリオの行動時間以上であるか否かを判定する。
真（行動時間以上である）と判定された場合、「第２の不適正行動」とする。
一方で、偽（行動時間よりも短い）と判定された場合、「適正行動」とする。
【００５４】
第２の不適正行動については、以下の２つの場合を意味する。
（ｓ１２２ａ）「取扱手順がユーザに十分に理解されていない」（戸惑っている）
（ｓ１２２ｂ）迷っていないが「ユーザの個性」によって時間がかかっている
具体的には、例えば以下のような場合がある。
＜取扱手順＞
「ドングルを把持」->「テレビへのドングルの挿入」->「携帯電話機のアプリの起動」
＜推定された行動対象＞
「ドングルを把持」->「テレビへのドングルの挿入」（★１０秒以上継続）
【００５５】
（Ｓ１２３）Ｓ１２１に基づくサービスシナリオの時系列と異なる行動対象が、当該サービスシナリオ全体に含まれていない行動対象である場合、行動結果を判定しない。即ち、例（ｓ１２１ｂ）のように、ユーザが周辺環境によって別の行動をとっているとして、行動結果を判定しない。
一方で、例（ｓ１２１ａ）のように、当該サービスシナリオに含まれている行動対象であって、取扱手順の順序を誤解している場合、「第１の不適正行動」とする。
【００５６】
図６は、シナリオ行動判定部における具体例の処理の流れを表す説明図である。
【００５７】
（ｓ１）最初に、選択されたサービスシナリオ１における所定の周辺対象物が、映像に映り込んでいることを確認する。
（ｓ２）サービスシナリオ１の最初の行動対象「ドングルを把持」が推定された。
（ｓ３）行動対象「ドングルを把持」が５秒よりも短く終了した。
（ｓ４）ここでは、行動対象「ドングルを把持」について「適正行動」と判定する。
（ｓ５）次に、サービスシナリオ１に無い行動対象「着信有り」が推定された。
（ｓ６）ここでは、不適正行動の判定をしない。
（ｓ７）次に、サービスシナリオ１に有る行動対象「ドングルを把持」が再び推定された。
（ｓ８）行動対象「ドングルを把持」が５秒よりも短く終了した。
（ｓ９）ここでは、行動対象「ドングルを把持」について「適正行動」と判定する。
（ｓ１０）サービスシナリオ１に有るが、時系列と異なる行動対象「携帯電話機のアプリの起動」が推定された。
（ｓ１１）ここでは、行動対象「携帯電話機のアプリの起動」について「第１の不適正行動」と判定する。
（ｓ１２）その映像のカメラを搭載する端末に対して、行動指示メディアデータを送信し、ユーザに「不適正行動」である旨を伝える。
（ｓ１３）次に、サービスシナリオ１に無い行動対象「携帯電話機のアプリの終了」が推定された。
（ｓ１４）ここでは、不適正行動の判定をしない。
（ｓ１５）次に、サービスシナリオ１に有る次の行動対象「テレビへのドングルの挿入」が推定された。
（ｓ１６）行動対象「テレビへのドングルの挿入」が１０秒以上推定された。
（ｓ１７）ここでは、行動対象「テレビへのドングルの挿入」について「第２の不適正行動」と判定する。
（ｓ１８）次に、サービスシナリオ１に有る次の行動対象「携帯電話機のアプリの起動」が推定された。
（ｓ１９）行動対象「携帯電話機のアプリの起動」が１５秒よりも短く終了した。
（ｓ２０）ここでは、行動対象「携帯電話機のアプリの起動」について「適正行動」と判定する。
（ｓ２１）次に、サービスシナリオ１に有る次の行動対象「テレビのボタンの押下」が推定された。
（ｓ２２）行動対象「テレビのボタンの押下」が２０秒よりも短く終了した。
（ｓ２３）ここでは、行動対象「テレビのボタンの押下」について「適正行動」と判定する。
【００５８】
［ユーザ行動記憶部１０３］
ユーザ行動記憶部１０３は、ユーザ毎に、行動結果を記憶したものである。
【００５９】
図７は、ユーザ行動記憶部によって記憶されたテーブルである。図７によれば、グループ毎に、各ユーザの行動結果が記憶されている。
【００６０】
［行動要因推定部１３］
行動要因推定部１３は、同一のサービスシナリオについて、複数のユーザの行動結果を用いて、以下のような場合、当該サービスシナリオ自体に改善要因があると推定する。
（ｓ１３ａ）第１の不適正行動のユーザ数若しくは割合が、第１の所定数若しくは第１の所定割合以上となる場合
（ｓ１３ｂ）第２の不適正行動のユーザ数若しくは割合が、第２の所定数若しくは第２の所定割合以上となる場合
ここでは、行動要因推定部１３は、その「ユーザの個性」に基づくような不適正行動は、サービスシナリオ自体に改善要因はない、と推定している。また、「ユーザの個性」に基づくような不適正行動ほど、複数のユーザの中で、そのようなユーザ数又は割合は極めて少ないものとなると考えられる。
【００６１】
行動要因推定部１３は、グループ毎に、当該サービスシナリオ自体に改善要因があるか否かを推定することが好ましい。若年男性のようにサービスシナリオの通りに行動できるグループではサービスシナリオを改善する必要がなくても、高齢女性のようにサービスシナリオの通りに行動しにくいグループではサービスシナリオを改善する必要もある。
【００６２】
＜「ユーザ個性・スキル不足」に基づく不適正行動について＞
「ユーザ個性・スキル不足」に基づく不適正行動は、ユーザ数全体の中では少数派として計数される。そのような少数派の行動は、サービスシナリオ自体の改善要因にはならないために、無視することとする。
一方で、本発明によれば、ユーザ群をユーザ属性に応じてグループ（性別、年齢層）に分類しているために、そのグループ毎に、サービスシナリオの改善要因の適否を判定することができる。例えば、「スキル不足」のユーザであっても、「老年女性」のグループ用のサービスシナリオの中では、多数派になると考えられる。その多数派が不適正行動をする場合に、そのグループ用のサービスシナリオに改善要因があると考えられる。
結局、ユーザ属性に応じたグループに分類し、更にそのグループ内でも少数派となるユーザの「ユーザ個性・スキル不足」に基づく不適正行動は、サービスシナリオ自体を改善すべきものではなく、逆に無視すべきものと考えられる。
【００６３】
サービス事業者としては、例えば「操作時間は３秒で設定可能！」と広告した製品について、ユーザのそのような操作をすることができない割合も知ることができる。特に、モニターテストでは、ユーザが戸惑っている行動や、イライラしてしまう時間（例えば１０秒程度）を把握することもできる。これは、サービスシナリオの改善要因として理解することができる。
【００６４】
［行動指示送信部１５］
端末２は、カメラのみならず、ユーザに行動指示可能なスピーカ及び／又はディスプレイを有するとする。
ここで、行動指示送信部１５は、シナリオ行動判定部１２によって第１の不適正行動又は第２の不適正行動と判定された際に、当該サービスシナリオに基づく行動指示メディアデータを、端末２へ送信する。
行動指示メディアデータは、音声、映像、テキストに基づくものである。行動指示メディアデータは、例えばユーザが不適正行動をした際に、サービスシナリオの取扱手順を、改めてユーザに説明するものであってもよい。
そして、端末２は、その行動指示メディアデータを、スピーカ及び／又はディスプレイによって再生する。ユーザは、その行動指示によって、自らの取扱手順をやり直すことができる。
【００６５】
以上、詳細に説明したように、本発明の行動分析装置、プログラム及び方法によれば、ユーザにデバイス装着や特定操作を要求することなく、ユーザの行動対象からサービスシナリオの改善要因を推定することができる。
特に、ユーザ属性に応じて、サービスシナリオを改善することもできる。
また、サービス事業者としては、例えばユーザ宅内でのモニターテストであっても、ユーザに何ら負担をかけることなく、サービスシナリオの改善要因を推定することができる。
【００６６】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００６７】
１  行動分析装置
１０１  サービスシナリオ登録部
１０２  ユーザグループ記憶部
１０３  ユーザ行動記憶部
１１  行動対象推定部
１２  シナリオ行動判定部
１３  行動要因推定部
１４  サービス選択部
１５  行動指示送信部
２  端末
【図１】
2019061592.tif 000003
【図２】
2019061592.tif 000004
【図３】
2019061592.tif 000005
【図４】
2019061592.tif 000006
【図５】
2019061592.tif 000007
【図６】
2019061592.tif 000008
【図７】
2019061592.tif 000009