(57)【要約】  動画像及び静止画像を閲覧するユーザが、動画像や静止画像に示される対象物の情報にアクセスする際の利便性を向上させることを課題とする。  紐付情報管理部１０１は、動画像Ｌの中で視聴者Ｗにより指定がなされるオブジェクトＪに対し、視聴者Ｗにオブジェクト情報を提供するための紐付情報を、当該指定がなされる前に紐付けて管理する。動画像提示制御部１０２は、動画像Ｌを視聴者Ｗに提示する。指定受付部１０３は、動画像Ｌの視聴者ＷによるＴＩＧエリアＡに対するタップ操作による指定を受付ける。取得部１０４は、指定が受付けられたオブジェクトＪに紐付けられている紐付情報を取得する。提供部１０５は、取得された紐付情報に基づいて、オブジェクト情報を視聴者Ｗに提供する。これにより、上記課題を解決する。
2020071545.tif 000002
【特許請求の範囲】
【請求項１】
表示されている動画像の中でユーザにより指定がなされる、所定領域に存在するオブジェクトに対し、当該ユーザに所定情報を提供するための情報を、当該指定がなされる前に紐付けて、当該情報を紐付情報として管理する管理手段と、
前記ユーザに対し、前記動画像を提示する制御を実行する第１提示制御手段と、
前記動画像が提示されている前記ユーザによる前記所定領域に対する所定操作がなされた場合、当該所定領域に存在する前記オブジェクトの前記指定がなされたと認識して、当該指定を受付ける第１受付手段と、
前記指定が受付けられた前記オブジェクトに紐付けられて管理されている前記紐付情報を取得する取得手段と、
前記取得手段により取得された前記紐付情報に基づいて、前記所定情報を前記ユーザに提供する制御を実行する提供制御手段と、
を備える情報処理システム。
【請求項２】
１以上の前記ユーザによる前記所定操作が行われた前記動画像上の位置を示す情報を生成して、所定様式で提示する制御を実行する第２提示制御手段をさらに備える、
請求項１に記載の情報処理システム。
【請求項３】
前記第２提示制御手段は、前記１以上の前記ユーザによる前記所定操作が行われた前記動画像上の位置を示す情報として、前記所定操作が行われた数に基づいて生成されたヒートマップの様式で提示する制御を実行する、
請求項２に記載の情報処理システム。
【請求項４】
前記動画像を複数のストーリーに分岐させる分岐点を示す情報を生成する分岐生成手段をさらに備える、
請求項１乃至３のうちいずれか１項に記載の情報処理システム。
【請求項５】
前記ユーザの音声の認識を行う音声認識手段をさらに備える、
請求項１乃至４のうちいずれか１項に記載の情報処理システム。
【請求項６】
前記ユーザのジェスチャーの認識を行うジェスチャー認識部手段をさらに備える、
請求項１乃至５のうちいずれか１項に記載の情報処理システム。
【請求項７】
前記ユーザの操作の実績に基づいて、前記動画像に所定の広告を表示する制御を実行するサジェスト制御部１１０をさらに備える、
請求項１乃至６のうちいずれか１項に記載の情報処理システム。
【請求項８】
前記管理手段は、前記オブジェクトに複数の前記紐付情報を紐付けて管理し、
前記取得手段は、前記指定が受付けられた前記オブジェクトに紐付けられて管理されている前記複数の前記紐付情報を取得し、
前記提供制御手段は、前記取得手段により取得された前記複数の前記紐付情報に基づいて、前記所定情報を前記ユーザに提供する制御を実行する、
請求項１乃至７のうちいずれか１項に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
これまで、ユーザによる動画を用いた商品の紹介を支援するため、配信ユーザによる動画を複数の視聴ユーザに提示し、複数の商品の中からの紹介商品を提示し、視聴ユーザの商品の選択を受け付けるシステムが提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−２６１５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば、動画を視聴するユーザが動画内の商品に興味を持ち、詳細を知りたい要望や購入したいという要望がある場合、その商品の名前等を用いて別途検索エンジン等を用いて検索する必要がある。このような場合、視聴するユーザは最終的に購入するまでの操作や検討する時間や手間が増えるため、購入に至る可能性が低下するという問題があった。【０００５】
本発明は、動画像及び静止画像を閲覧するユーザが、動画像や静止画像に示される対象物の情報にアクセスする際の利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の情報処理装置は、
ユーザに対して情報提供が可能な１以上の対象を少なくとも含む画像を、当該ユーザに提示する提示手段と、
前記画像が提示された前記ユーザによる操作に基づいて、当該ユーザが情報提供を希望する対象を特定するための情報を取得する取得手段と、
前記取得手段により取得された前記情報に基づいて、前記ユーザが情報提供を希望する前記対象を特定する特定手段と、
前記特定手段により特定された前記対象に関する情報を前記ユーザに提供する提供手段と、
を備える。
【発明の効果】
【０００７】
本発明によれば、動画等を閲覧するユーザが、動画や静止画像に示される対象物の情報にアクセスする際の利便性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る情報処理システムにより実現可能な本サービスの一例の概要を示す図である。
【図２】本サービスの一例であるヒートマップサービスの概要を示す図である。
【図３】本サービスの一例であるストーリー分岐サービスの概要と具体例を示す図である。
【図４】本サービスの一例であるストーリー分岐サービスの他の具体例を示す図である。
【図５】本サービスの一例であるマルチリンクサービスの概要を示す図である。
【図６】本サービスの一例である音声ＴＩＧサービスの概要を示す図である。
【図７】本サービスの一例であるジェスチャーＴＩＧサービスの概要を示す図である。
【図８】本サービスの一例であるリアルタイムサジェストサービスの概要を示す図である。
【図９】本発明の一実施形態に係る情報処理システムの構成の一例を示す図である。
【図１０】図９の情報処理システムのうち管理サーバのハードウェア構成の一例を示すブロック図である。
【図１１】図１０の管理サーバの機能的構成のうち、ヒートマップ処理、分岐処理、リンク処理、音声処理、ジェスチャー処理、及びサジェスト処理を実行するための機能的構成の一例を示す機能ブロック図である。
【図１２】図９の情報処理システムのうち視聴者端末のＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）の機能の具体例を示す図である。
【図１３】視聴者端末のＧＵＩの機能の具体例を示す図である。
【図１４】視聴者端末のＧＵＩの機能の具体例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
なお、以下において、単に「画像」と呼ぶ場合には、「動画像」と「静止画像」との両方を含むものとする。
また、「動画像」には、次の第１処理乃至第３処理の夫々により表示される画像を含むものとする。
第１処理とは、平面画像（２Ｄ画像）におけるオブジェクト（例えばアニメのキャラクタ）の夫々の動作に対して、複数枚からなる一連の静止画像を時間経過と共に連続的に切り替えて表示させる処理をいう。具体的には例えば、２次元アニメーション、いわゆるパラパラ漫画の原理による処理が第１処理に該当する。
第２処理とは、立体画像（３Ｄモデルの画像）におけるオブジェクト（例えばアニメのキャラクタ）の夫々の動作に対応するモーションを設定しておき、時間経過と共に当該モーションを変化させて表示させる処理をいう。具体的には例えば、３次元アニメーションが第２処理に該当する。
第３処理とは、オブジェクト（例えばアニメのキャラクタ）の夫々の動作に対応した映像（即ち動画像）を準備しておき、時間経過と共に当該映像を流していく処理をいう。
ここで、「映像（即ち動画像）」は、複数のフレームやフィールド等の画像（以下、「単位画像」と呼ぶ）から構成される。なお以下の例では、単位画像はフレームであるものとして説明する。
【００１１】
まず図１を参照して、後述する図２の情報処理システムにより実現可能なサービス（以下、「本サービス」と呼ぶ）の概要について説明する。
【００１２】
図１は、本発明の一実施形態に係る情報処理システムにより実現可能な本サービスの一例の概要を示す図である。
【００１３】
本サービスは、サービス提供者（図示せず）により、動画像を視聴する者（以下、「視聴者」と呼ぶ）、及びその動画像の作成や各種設定を行う者（以下、「設定者」と呼ぶ）の夫々に提供されるサービスの一例である。
以下、本サービスのうち、主に視聴者を対象とするサービスのことを「視聴者向けサービス」と呼び、主に設定者を対象とするサービスのことを「設定者向けサービス」と呼ぶ。
本サービスでは、動画像に表示されるオブジェクトに、そのオブジェクトに関する情報（以下、「オブジェクト情報」と呼ぶ）を紐付けて管理することができる。このサービスは「設定者向けサービス」として提供される。
【００１４】
ここで、「オブジェクト」には、動画像に被写体として登場する人や物を示す画像や文字等の領域の他、動画像に重畳されて表示されるテロップ等の画像（静止画像又は動画像）等も含まれる。また、動画像において目視することができないものも「オブジェクト」に含まれる。具体的には例えば、ＢＧＭ（Ｂａｃｋ  Ｇｒｏｕｎｄ  Ｍｕｓｉｃ）や音楽、位置情報等はいずれも「オブジェクト」の一例である。
【００１５】
「オブジェクト情報」には、オブジェクトに関するあらゆる情報が含まれ得るが、本サービスでは、視聴者が視聴している動画像からは直接取得することができないようなオブジェクトに関する情報が主にオブジェクト情報とされる。
視聴者は、スマートフォン等の端末（後述の図２等の視聴者端末３）に表示されている動画像を視聴しながら、動画像に表示されている１以上のオブジェクトのうち所望のオブジェクトを指定する操作を行う。
これにより、視聴者は、自身が指定したオブジェクトに紐付けられているオブジェクト情報を容易に取得することができる。このサービスは「視聴者向けサービス」として提供される。
【００１６】
本サービスでは、動画像は、視聴者に配信等されるものであるとする。また、本実施形態では、視聴者の端末に予めインストールされた、動画像を視聴するための専用のアプリケーションソフトウェア（以下、「視聴アプリ」と呼ぶ）を用いて動画像が視聴されるものとする。
ただし、動画像の視聴の手法は、特に限定されず、例えば視聴者の端末のブラウザ機能により動画像を視聴する手法を採用してもよい。
【００１７】
具体的には例えば、図１には、視聴者の端末に配信された動画像Ｌの具体例が示されている。視聴者は、端末に配信されてきた動画像Ｌを、視聴アプリやブラウザ機能を用いて視聴することができる。
【００１８】
図１に示す動画像Ｌには、女性タレントがハワイのビーチを歩く様子が描画されている。この動画像Ｌに描画されている女性タレントは、オブジェクトＪの一例である。なお、女性タレントの他、女性タレントの衣服（商品）、ホテル（施設）、ヤシの木（動植物）、海（自然物）等、あらゆる事物がオブジェクトＪに該当し得る。
【００１９】
視聴者は、動画像Ｌの視聴中、例えば動画像Ｌに登場している女性タレントに興味を持った場合、その女性タレントを示すオブジェクトＪを指定する操作を行う。
【００２０】
オブジェクトＪのオブジェクト情報としては、その女性タレントに関する情報として、例えば名前（芸名）、所属するプロダクション事務所の名称、公開されているプロフィール等が含まれる。
また、それ以外にも、オブジェクト情報には、例えばその女性タレントが着用している衣服に関する情報として、ブランド名、商品名、購入可能な販売店（ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｍｍｅｒｃｅ）サイト含む）等が含まれていてもよい。
これにより、視聴者は、自身が指定したオブジェクトＪのオブジェクト情報を任意のタイミングで入手することができる。
ここで、「任意のタイミング」とは、動画像を視聴している最中は勿論のこと、当該動画像とは別の動画像を視聴している最中や、動画像自体の視聴が終了した後のタイミング等を含む意である。
【００２１】
本サービスでは、動画像において、視聴者の操作に基づいて指定され得る１以上のオブジェクトＪ毎に、そのオブジェクト情報を視聴者に「提供するため」の情報が紐付けられて管理されている。このように、オブジェクトＪに対して紐付けられた情報であって、そのオブジェクト情報を視聴者に「提供するため」の情報を、以下、「紐付情報」と呼ぶ。これにより、上述のような視聴者向けサービスを実現させることができる。
【００２２】
また、視聴者向けサービスは、動画像において、視聴者の操作に基づいて指定され得る１以上のオブジェクトＪ毎に、紐付情報が予め紐付けられていることで実現される。オブジェクトＪに紐付情報を紐付ける作業は、設定者向けサービスを利用する設定者により行われる。
【００２３】
オブジェクトに紐付けられる「紐付情報」には、視聴者にオブジェクト情報を「提供するため」のあらゆる情報が含まれる。例えば図１の動画像Ｌの場合、人物（女性タレント）を示すオブジェクトＪの紐付情報として以下のような情報を採用することができる。
即ち、その女性タレントの名前（芸名）、所属するプロダクション事務所の名称、公開されているプロフィール等（オブジェクト情報）が掲載されたＷＥＢページのＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）等を紐付情報として採用することができる。また、それ以外にも、例えば女性タレントが着用している衣服に関する情報として、ブランド名、商品名、購入可能な販売店等（オブジェクト情報）が掲載されたＷＥＢページのＵＲＬを紐付情報として採用することもできる。
【００２４】
さらにいえば、「紐付情報」として、ＵＲＬを採用することは例示に過ぎない。
例えば、オブジェクトＪに関する各種のキーワードを紐付情報として採用することもできる。この場合、視聴者の端末やサーバ等は、当該キーワードを用いて所定の検索用ＷＥＢサイトで検索を行い、その検索結果をオブジェクト情報として視聴者に提供することができる。
【００２５】
また、１つのオブジェクトＪに対して紐付けられる紐付情報の個数は、１個に限定されず、複数個であってもよい。
例えば、本サービスにおいて正規とされるＵＲＬを第１紐付情報として採用することもできる。また、そのＵＲＬ以外に、本サービスにより別途抽出された（例えば自動でレコメンド表示される）ＵＲＬを第２紐付情報として採用することもできる。そして、視聴者が、その端末を操作することで、第１紐付情報と第２紐付情報のうち所望の一方を選択することができるようにしてもよい。この場合、選択された方のＵＲＬに存在するＷＥＢサイトが、当該オブジェクトＪのオブジェクト情報として視聴者に提供される。
換言すると、１つのオブジェクトＪに対して視聴者に提供されるオブジェクト情報は、１個に限定されず、複数個であってもよい。
【００２６】
視聴者は、端末に対して、所定のオブジェクトＪに対応付けられた紐付情報を「使用する操作」を行うことで、当該オブジェクトＪのオブジェクト情報の提供を受けることができる。
例えば、紐付情報がＵＲＬである場合には、当該紐付情報を「使用する操作」とは、当該ＵＲＬに「アクセスすることを指示する操作」のことを指す。この場合、当該ＵＲＬに存在するＷＥＢサイトが視聴者の端末に表示されることで、そのＷＥＢサイトに掲載されているオブジェクト情報が視聴者に提供される。
【００２７】
ここで、所定のオブジェクトＪに対応付けられた紐付情報を「使用する操作」が行われるタイミングは、当該オブジェクトＪを含む動画像の視聴している最中に限定されない。例えば他の動画像を視聴している最中や、動画像の視聴を終了した後の任意のタイミング等とすることが可能である。
このように、所定のオブジェクトＪに対応付けられた紐付情報を使用する操作を視聴者の任意のタイミングとすることができるように、本サービスでは、当該オブジェクトＪの指定の操作がなされると、当該オブジェクトＪに紐付けられた紐付情報が所定場所（例えば視聴アプリ内の所定の格納場所）に格納される。
このように、視聴者は、視聴者向けサービスを利用することにより、その所定場所に格納された１以上の紐付情報のうち、所望の紐付情報を使用する操作を、任意のタイミングで行うことができるようになる。
【００２８】
ここで、視聴者による「オブジェクトＪを指定する操作（紐付情報を所定場所に格納させる操作）」とは、具体的には、動画像の中の、オブジェクトＪが存在し得る、「ＴＩＧエリア」と呼ばれる領域を指定する操作のことをいう。
例えば、図１の動画像Ｌの中に二点鎖線で示される領域がＴＩＧエリアＡとなる。ここで、視聴者よる「ＴＩＧエリアＡを指定する操作」が行われると、この操作が「オブジェクトＪを指定する操作」となり、ＴＩＧエリアＡに存在するオブジェクトＪが指定される。
【００２９】
本サービスでは、視聴者向けサービスとして、オブジェクトＪが存在するＴＩＧエリアＡのうち、いずれかの位置に対するタップの操作が行われると、これが「オブジェクトＪを指定する操作」として受付けられる。
即ち、視聴者は、ＴＩＧエリアＡのうち、いずれかの位置をタップする操作を行うことで、そのＴＩＧエリアＡに対応するオブジェクトＪを指定するとともに、そのオブジェクトＪの紐付情報を所定場所に格納させることができる。
例えば図１の例では、ＴＩＧエリアＡのうち、いずれかの位置がタップされると、ＴＩＧエリアＡに対応するオブジェクトＪの紐付情報（例えばオブジェクト情報が掲載されたＷＥＢページのＵＲＬ等）が、所定場所に格納される。
【００３０】
ここで、本サービスでは、紐付情報が格納される所定場所として、「ＴＩＧストック」と呼ばれる場所が採用されている。
即ち、視聴者によるＴＩＧエリアＡのうち、いずれかの位置をタップする操作により指定されたオブジェクトＪの紐付情報は、ストック情報として、「ＴＩＧストック」に保存されて管理される。
ここで、視聴者に提供されるオブジェクト情報のデータ形式は、対応するオブジェクトＪのデータ形式に依存することなく、例えばテキストデータ形式、静止画像のデータ形式、動画像のデータ形式等任意のものを採用することができる。「ＴＩＧストック」は、その動画像のストックページとして把握されるが、複数の動画像を跨ぐ共通のストックページに拡張することもできる。
具体的には例えば、図示はしないが、視聴者は、端末に表示された所定のボタンを押下する（タップする操作を行う）ことで、「ＴＩＧストック」に保存されている１以上のオブジェクト情報を一覧表示させることができる。
【００３１】
なお、動画像において、視聴者によりタップされたオブジェクトＪに紐付情報が紐付けられていない場合には、視聴者に紐付情報を提供することができない。
即ち、本サービスは、上述したように、視聴者の端末に表示される動画像について、設定者による各種の設定が予め行われるか、あるいは自動的に設定が行われることで初めて実現される。
具体的には、設定者が、設定者向けサービスを利用して、動画像に表示される１以上のオブジェクトＪの夫々にＴＩＧエリアＡを設定して、ＴＩＧエリアＡに紐付情報を紐付ける作業（以下、「紐付作業」と呼ぶ）を行うか、あるいはシステム側でＡＩ（人工知能）等が自動的に紐付作業を行うことで、初めて視聴者に紐付情報を提供することができる。
このため、設定者による紐付作業が行われていないオブジェクトＪについては、視聴者がタップする操作を行ったとしても何ら反応しないようにしてもよいし、紐付情報が紐付けられていない旨を端末に表示させてもよい。
【００３２】
このように、本サービスによれば、設定者が紐付作業を行い、視聴者がＴＩＧエリアＡのうちいずれかの位置をタップすることで、対象となるオブジェクトＪのオブジェクト情報を視聴者が容易に取得できるようにすることができる。
【００３３】
また、本サービスでは、上述したベースとなるサービスの一例の他、視聴者及び設定者の利便性をさらに向上させる各種サービスが提供される。
具体的には、「ヒートマップサービス」、「ストーリー分岐サービス」、「マルチリンクサービス」、「音声ＴＩＧサービス」、「ジェスチャーＴＩＧサービス」、「リアルタイムサジェストサービス」が本サービスの一例として提供される。以下、これらの各種サービスの概要について、図２乃至図８を参照して説明する。
【００３４】
図２は、本サービスの一例であるヒートマップサービスの概要を示す図である。
【００３５】
「ヒートマップサービス」とは、ＴＩＧエリアを含む視聴者端末３の画面に対する視聴者Ｗによるタップ操作が、具体的にどの位置（座標）に対してどの程度行われたのかを、タップ数のヒートマップによって表すサービスである。
ここで、集計対象となるタップ操作を行った視聴者Ｗは、全ての視聴者Ｗとすることもできるし、所定の条件（例えば性別、年代等）を満たす視聴者Ｗとすることもできる。また、期間を設定して、設定された期間中にどの程度視聴者Ｗにタップされたのかをヒートマップで表すこともできる。これにより、タップ数の期間比較を行うこともできる。
【００３６】
具体的には、ヒートマップサービスでは、ＴＩＧエリアに対するタップ操作の数（タップ数）に段階的な閾値が設けられ、色彩や色の濃淡によるタップ数のヒートマップが生成され、対象となる動画像に重畳的に表示される。
このため、ヒートマップサービスは、動画像のうち具体的にどの位置に対してタップする操作が行われたのかを示す情報であるため、主に紐付作業を行う設定者Ｃにより利用される設定者向けサービスとなる。
設定者Ｃは、ヒートマップサービスを利用することで、オブジェクトＪが存在するＴＩＧエリアのうち、具体的にどの位置が多くタップされたのか、あるいはどの位置がタップされないのかを一見して把握することができる。また、設定者Ｃは、ＴＩＧエリア以外のどの位置がタップされたのかを一見して把握することもできる。
これにより、設定者Ｃは、ヒートマップに基づいて、例えば動画像に設定したＴＩＧエリアＡの位置を好適な位置に修正することができる。また例えば、当初設定したＴＩＧエリアの広狭に関する修正を行うことができる。また例えば、これまでオブジェクト情報が紐付けられていなかったオブジェクトＪのうち、視聴者Ｗによるタップする操作が多く行われたオブジェクトＪに対し、新たな紐付作業を行うこともできる。その結果、視聴者の利便性を向上させることができる。
【００３７】
ヒートマップサービスでは、ヒートマップの強調度を設定することができる。上述したように、ヒートマップサービスで提供されるヒートマップは、視聴者Ｗのタップ数に段階的な閾値が設けられることで、色彩や色の濃淡が施される。ヒートマップの強調度は、段階的に設けられる閾値を変化させることで調節することができる。
これにより、例えば視聴者Ｗの数が１００万人を超える動画像と、視聴者Ｗの数が１００人程度である動画像との夫々のヒートマップを好適に生成することができる。即ち、仮に５段階の閾値を設けた場合、視聴者Ｗの数が１００万人である動画像は、例えば１段階目のタップ数の閾値が２０万回、２段階目のタップ数の閾値が４０万回、３段階目のタップ数の閾値が６０万回、４段階目のタップ数の閾値が８０万回、５段階目のタップ数の閾値が１００万回となるように設定して、色彩や色の濃淡を施すことができる。
これに対して、視聴者Ｗの数が１００人程度である動画像は、例えば１段階目のタップ数の閾値が２０回、２段階目のタップ数の閾値が４０回、３段階目のタップ数の閾値が６０回、４段階目のタップ数の閾値が８０回、５段階目のタップ数の閾値が１００回となるように設定して、色彩や色の濃淡を施すことができる。
【００３８】
具体的には例えば、図２の上段左側には、強調度の設定が「標準」とされたヒートマップが描画されている。また、図２の上段右側には、強調度の設定が「＋２」とされたヒートマップが描画されている。
この場合、強調度の設定が「標準」とされたヒートマップ（図２の上段左側）よりも、強調度の設定が「＋２」とされたヒートマップ（図２の上段右側）の方が、少ない数のタップ数も色彩や色の濃淡が施されて表示されるように設定されている。
これにより、設定者Ｃは、タップ数に応じて強調度の設定を変更しながらヒートマップを表示させることができる。
【００３９】
図２の下段左側には、ヒートマップにＴＩＧエリアを重畳的に表示させた場合の例が示されている。
ヒートマップにＴＩＧエリアＡを重畳的に表示させることで、上述したように、設定者Ｃは、例えば動画像に設定したＴＩＧエリアＡの位置を好適な位置に修正することができる。また例えば、当初設定したＴＩＧエリアの広狭に関する修正を行うことができる。
図２の下段左側に示す例では、ＴＩＧエリアＡ１及びＡ２のうち、特にＴＩＧエリアＡ１からはみ出た領域に対するタップ操作が多く行われていることがわかる。この場合、視聴者Ｗにおいて、タップする操作を行ったにもかかわらず反応がなかった、あるいはオブジェクト情報が設定されていない旨の表示がなされたといった不便が生じたことを示している。
このため、設定者Ｃは、ヒートマップを参考にしながら、例えばＴＩＧエリアＡ１を下方に広げる修正等を行う。これにより、視聴者Ｗの利便性を向上させることができる。
【００４０】
図２の下段右側には、ヒートマップに吹き出しを重畳的に表示させた場合の例が示されている。
図２の下段右側に示す吹き出しＦ１及びＦ２の夫々は、ＴＩＧエリアの中心付近に配置させることができる。この場合、ヒートマップに吹き出しＦ１及びＦ２を重畳的に表示させることで、設定者Ｃは、ＴＩＧエリアＡの設定位置の妥当性を把握することができる。
また、吹き出しは、動画像Ｌに重畳して視聴者端末３に表示されるため、視聴者Ｗがオブジェクト情報を取得するためのタップ操作を行う際のターゲットとなる。このため、ターゲットとしての吹き出しから離れた位置に対するタップ数が多いような場合には、例えば吹き出しが見難いであるとか、他にターゲットとなるようなものが存在する、といった何等かの理由が存在する。つまり、設定者Ｃは、ヒートマップを表示することにより、吹き出しと実際にタップ操作された位置との対応関係を把握することができる。
これにより、設定者Ｃは、例えば動画像に設定したＴＩＧエリアＡの位置を好適な位置に修正することができる。また例えば、当初設定したＴＩＧエリアの広狭に関する修正を行うことができる。
【００４１】
なお、上述したように、ヒートマップサービスは、主に設定者向けサービスとして提供されるが、視聴者向けサービスとして提供することもできる。
即ち、視聴者Ｗはヒートマップを見ることで、自分以外の視聴者Ｗが、どのようなオブジェクトＪに興味を持っているのかを把握することができる。また、多くの視聴者ＷによりタップされたオブジェクトＪに対して、自分もタップしてみようと考える誘因を与えることができる。また、タップ数の集計結果を様々な用途で活用することもできる。具体的には例えば、動画像Ｌがライブコンサートのいわゆる生中継動画である場合には、ライブコンサート中にタップ数が一番多かった楽曲を、ライブコンサートの最後のアンコール曲に採用することもできる。即ち、ヒートマップは、単にタップされた位置のマップとしてのみならず、再生された動画像Ｌの時間帯における盛り上がりとして把握されることもできる。
【００４２】
図３は、本サービスの一例であるストーリー分岐サービスの概要と具体例を示す図である。
【００４３】
ストーリー分岐サービスとは、再生される動画像の中に、オブジェクトＪとして、動画像のストーリーを分岐させる選択肢を示す複数のボタンを選択可能に表示させるサービスである。
従来、動画像のストーリーを選択するためのボタンは、動画像とは異なる場所に表示され、視聴者Ｗによるストーリーを選択する操作が行われると、対象となる動画像が再生される構成となっていた。
これに対して、本サービスの一例であるストーリー分岐サービスでは、例えば図３の右側に示す分岐の構成によって、選択肢を示すボタンが動画像Ｌの中に表示される。
即ち、図３の右側に示す分岐は、「泊まる」、「遊ぶ」、「食べる」、「浸かる」からなる第１階層の分岐と、第１階層の分岐で「遊ぶ」が選択された場合における、「春」、「夏」、「秋」、「冬」からなる第２階層の分岐と、第１階層の分岐で「食べる」が選択された場合における、「雰囲気重視」、「エンタメ重視」からなる第２階層の分岐とで構成される。
【００４４】
図３の左側上段には、図３の右側に示す分岐の構成に基づいて作成された、動画像のトップ画面の一例が示されている。
即ち、図３の左側上段に示すトップ画面は、「見たいテーマを選んでください」と表記された案内文章とともに、「泊まる」と表記されたオブジェクトＪ１と、「遊ぶ」と表記されたオブジェクトＪ２と、「食べる」と表記されたオブジェクトＪ３と、「浸かる」と表記されたオブジェクトＪ４との夫々が選択可能なボタンとして表示されている。
視聴者Ｗが、オブジェクトＪ１乃至Ｊ４のうち、「食べる」と表記されたオブジェクトＪ３を選択する操作（タップ操作）を行うと、「食べる」を想起させる内容の動画像Ｌ（プロモーションビデオ）が再生される。その後、図示はしないが、「雰囲気重視」と表記されたボタンと、「エンタメ重視」と表記されたボタンとが選択可能に表示される。ここで、例えば「雰囲気重視」と表記されたボタンがタップされると、「雰囲気重視」を想起させる内容の動画像Ｌ（プロモーションビデオ）がイントロダクションとして再生される。その後、例えば図３の左側下段に示すような、「食べる」及び「雰囲気重視」をテーマとした、囲炉裏端で地魚料理が振舞われるような、雰囲気を重視した旅館の動画像Ｌ（プロモーションビデオ）がオブジェクト情報として再生される。このオブジェクト情報として再生される動画像には、オブジェクト情報が紐付けられた１以上のオブジェクトＪが含まれる。そして、オブジェクトＪが存在するＴＩＧエリアＡのいずれかの位置がタップされると、画面右端の「ＴＩＧストック」を示す領域Ｄに保存される。
なお、図３の左側下段に示す例では、オブジェクトＪ２１としての地魚料理が存在するＴＩＧエリアＡ２１のいずれかの位置がタップされると、画面右端の「ＴＩＧストック」を示す領域Ｄに保存される。
【００４５】
このように、ストーリー分岐サービスによれば、分岐先でもオブジェクトＪ毎にＴＩＧエリアＡが設定されているため、ＴＩＧエリアＡのいずれかの位置がタップされると、タップされたオブジェクトＪが「ＴＩＧストック」に順次加えられていくことになる。また、図３の左側上段に示すトップ画面に何度も戻りながら、全ての選択肢を横断して、「ＴＩＧストック」に加えることもできる。
また、図３の例ではストーリーの分岐は、２階層であるが、何階層にでも分岐することができる。
また、二択の分岐が繰り返される構成とすることもできる。この場合、メインストーリーは１本としながらも、各分岐ではオブジェクト情報としてサブストーリーを再生することもできる。
また、ストーリー分岐サービスは、例えばクイズの動画像に適用することができる。この場合、例えば正解と間違いの夫々の動画像をオブジェクト情報として再生することができる。ここで、クイズの動画像Ｌにストーリー分岐サービスを適用した場合には、たとえ視聴者Ｗがクイズに正解することができなくても、正解できなかった問題に再チャレンジすることができる。この場合、一度回答して不正解だった選択肢と、他の選択肢との表示に違いを設けることができる。具体的には例えば、図示はしないが、選択肢が「Ａ」，「Ｂ」，「Ｃ」である三択問題に対し、視聴者Ｗが「Ａ」を選択して間違えた場合には、同じ問題に再チャレンジした際、「Ａ」の色合いのみが薄くなるように表示させることができる。これにより、視聴者Ｗは、再度「Ａ」を選択することなく、クイズに解答することができる。
【００４６】
図４は、本サービスの一例であるストーリー分岐サービスの他の具体例を示す図である。
【００４７】
図４の上段に示す分岐の構成によって、選択肢を示すボタンが動画像Ｌの中に表示される。
即ち、図４の上段に示す分岐は、「もう一度見る」、「次を見る」、「作り方だけを見る」という分岐が繰り返される構成となっている。
図４の下段には、図４の上段に示す分岐の構成に基づいて作成された、子供の工作の手順を示す動画像Ｌのトップ画面の一例が示されている。
即ち、図４の下段に示すトップ画面は、「みたいボタンをおしてね！」と表記された案内文章とともに、「つぎをみる」と表記されたオブジェクトＪ３１と、「つくりかただけをみる」と表記されたオブジェクトＪ３２と、「もういちどみる」と表記されたオブジェクトＪ３３とが選択可能に表示されている。
このうち、「もういちどみる」と表記されたオブジェクトＪ３３がタップされると、一度再生された工作の手順を示す動画像Ｌが、オブジェクト情報として再度再生される。
また、「つぎをみる」と表記されたオブジェクトＪ３１がタップされると、工作の手順が先に進み、その手順を示す動画像Ｌがオブジェクト情報として再生される。
また、「つくりかただけをみる」と表記されたオブジェクトＪ３２がタップされると、工作の手順のみを示す動画像Ｌが、オブジェクト情報として再生される。
【００４８】
図５は、本サービスの一例であるマルチリンクサービスの概要を示す図である。
【００４９】
マルチリンクサービスとは、紐付情報を追加するサービスである。
マルチリンクサービスによれば、「ＴＩＧストック」に追加されたオブジェクトＪに対し、紐付情報を追加的に紐付けることができる。マルチリンクサービスは、設定者向けサービスである。
【００５０】
図５の上段には、オブジェクトＪ４１の紐付情報を設定する画面が描画されている。図５の上段に示すように、設定者Ｃは、オブジェクトＪ４１の紐付情報Ｈ１乃至Ｈ３を追加的に設定することができる。
図５の下段には、追加的に設定された紐付情報が視聴者端末３に表示された場合の例が示されている。
これにより、視聴者Ｗは、オブジェクトＪ４１について、例えばＥＣサイトでの購入と、実店舗での購入とを自由に選択して購入することができる。また、それ以外にも、単にＥＣサイトを閲覧したり、店舗の具体的な情報を閲覧したり、店舗の場所を確認したりするなど、様々な用途にオブジェクト情報を利用することができる。
【００５１】
図６は、本サービスの一例である音声ＴＩＧサービスの概要を示す図である。
【００５２】
音声ＴＩＧサービスとは、視聴者Ｗの音声を認識するサービスである。
音声ＴＩＧサービスによれば、視聴者Ｗは、両手がふさがって指による操作が行えないようなときでも、声によって操作を行うことができる。
具体的には例えば、図６に示すように、視聴者Ｗは、組み立てマニュアルの動画像Ｌを視聴しながら、模型等を組み立てる際、両手を使って効率よく模型を組み立てることができる。この場合、視聴者端末３に対する操作は、マイクＩに向かって指示内容を声で発することにより行われる。
これにより、視聴者Ｗの音声の操作に基づいて、模型のオブジェクト情報として、例えばより詳細な組み立てマニュアルを取得することができる。
また、視聴者Ｗの音声の操作に基づいて、模型の一部のパーツのオブジェクト情報として、実寸大のパーツのサイズの画像を取得して表示させることもできる。
動画像Ｌに対しては、例えば再生、停止、１０秒送り、１０秒戻しといった操作を行うことができる。
また、図６に示すように、ＧＵＩにはマイクＩのＯＮ／ＯＦＦスイッチボタンＧが設けられている。これにより、操作上必要でない音声をマイクＩが拾ってしまうことを防ぐことができる。
なお、図６の例では、視聴者端末３とマイクＩとが有線接続されているが、これに限定されず、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等によって無線接続されていてもよいし、マイクＩが視聴者端末３に内蔵されていてもよい。
【００５３】
図７は、本サービスの一例であるジェスチャーＴＩＧサービスの概要を示す図である。
【００５４】
ジェスチャーＴＩＧサービスとは、視聴者端末３に表示された動画像のデータを視聴しながら、視聴者Ｗがジェスチャーをするだけで、オブジェクト情報を取得できるサービスである。
具体的には例えば、視聴者Ｗが、自分のこぶしを握り締める（いわゆるグーにする）ジェスチャーや、手を開くジャスチャー（いわゆるパーにする）ジェスチャーにより、オブジェクトＪを選択する操作を行ったり、選択したオブジェクトＪのオブジェクト情報にアクセスしたりすることができる。
ジェスチャーＴＩＧサービスは、図７の左端に示すように、典型的には視聴者端末３のカメラに対してジェスチャーするが、図７の中央に示すように、テレビジョンＶと視聴者端末３等で同時配信されるようにすることもできる。この場合、視聴者Ｗは、テレビジョンＶを見ながらオブジェクトの選択をジェスチャーで行う。
ジェスチャーの検知は、視聴者端末３に搭載されているＷｅｂカメラや、各種各様のセンサによって行うことができる。
また、図７の右端に示すように、店頭のサイネージＳにおいてジェスチャーＴＩＧサービスを提供することができる。この場合、例えば動画像Ｌに登場した商品を選択して購入する操作をジェスチャーにより行い、その商品をその場で受け取って持ち帰ることもできる。
【００５５】
図８は、本サービスの一例であるリアルタイムサジェストサービスの概要を示す図である。
【００５６】
リアルタイムサジェストサービスとは、視聴者Ｗにとってタイムリーな広告を動画像Ｌに表示させるサービスである。
即ち、本サービスでは、基本的に動画像Ｌに登場するあらゆるオブジェクトＪに紐付情報が予め（又は自動的に）紐付けられることになる。しかしながら、趣味嗜好が夫々異なる視聴者Ｗが同一の動画像Ｌを視聴した場合、興味を抱くオブジェクトＪは視聴者Ｗ毎に異なるのが通常である。このため、リアルタイムサジェストサービスでは、視聴者Ｗの趣味嗜好に合わせて、有効化されるＴＩＧエリアに変化をつけることができる。
具体的には例えば、図８の左側に示すように、ある視聴者Ｗが、動画像Ｌの前半部分を視聴し終えた時点で、オブジェクトＪとしての自動車を頻繁に指定する操作を行っているケースを想定する。このケースでは、その視聴者Ｗが視聴する動画像Ｌの後半部分には、図８の右側上段に示すように、自動車のＴＩＧ領域Ａのみ（又は自動車のＴＩＧ領域Ａがメインに）が有効化されるように設定する（又は自動設定される）ことができる。
即ち、視聴者ＷがオブジェクトＪを指定する操作は、その指定の対象となったオブジェクトＪの内容とともに実績として記録され、分析の対象になる。
その結果、その視聴者Ｗの操作の傾向が把握され、操作の傾向に応じて表示させるＴＩＧエリアが随時変化するようすることができる。
さらに、図８の右側下段に示すように、自動車に関する情報を好んで取得する視聴者Ｗには、自動車の広告Ｋがワイプとして動画像Ｌの中に表示されるようにすることもできる。
【００５７】
次に、本サービスを実現させる情報システムの構成について説明する。
図９は、本発明の一実施形態に係る情報処理システムの構成の一例を示す図である。
【００５８】
図９に示す情報処理システムは、管理サーバ１と、設定者端末２と、視聴者端末３と、外部サーバ４とを含むように構成されている。
管理サーバ１、設定者端末２、視聴者端末３、及び外部サーバ４の夫々は、インターネット等の所定のネットワークＮを介して相互に接続されている。
【００５９】
管理サーバ１は、サービス提供者（図示せず）により管理される情報処理装置である。管理サーバ１は、設定者端末２及び視聴者端末３と適宜通信をしながら、本サービスを実現するための各種処理を実行する。
【００６０】
設定者端末２は、設定者Ｃにより操作される情報処理装置であって、例えばパーソナルコンピュータ、スマートフォン、タブレット等で構成される。
【００６１】
視聴者端末３は、視聴者Ｗにより操作される情報処理装置であって、例えばパーソナルコンピュータ、スマートフォン、タブレット等で構成される。
【００６２】
外部サーバ４は、紐付情報により視聴者に提供可能となるオブジェクト情報、例えば紐付情報がＵＲＬの場合には当該ＵＲＬに存在している各種ＷＥＢサイト（オブジェクト情報が掲載されたＷＥＢサイト）を管理する。
【００６３】
図１０は、図９の情報処理システムのうち管理サーバのハードウェア構成の一例を示すブロック図である。
【００６４】
管理サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、入力部１６と、出力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。
【００６５】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００６６】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、入力部１６、出力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。
【００６７】
入力部１６は、例えばキーボード等により構成され、各種情報を出力する。
出力部１７は、液晶等のディスプレイやスピーカ等により構成され、各種情報を画像や音声として出力する。
記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１９は、インターネットを含むネットワークＮを介して他の装置（例えば図２の設定者端末２、視聴者端末３、外部サーバ４等）との間で通信を行う。
【００６８】
ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３０が適宜装着される。ドライブ２０によってリムーバブルメディア３０から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。
また、リムーバブルメディア３０は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
【００６９】
なお、図示はしないが、図９の設定者端末２、視聴者端末３、及び外部サーバ４も、図１０に示すハードウェア構成と基本的に同様の構成を有することができる。従って、設定者端末２、視聴者端末３、及び外部サーバ４のハードウェア構成の説明については省略する。
【００７０】
このような図１０の管理サーバ１の各種ハードウェアと各種ソフトウェアとの協働により、管理サーバ１におけるヒートマップ処理、分岐処理、リンク処理、音声処理、ジェスチャー処理、サジェスト処理を含む各種処理の実行が可能になる。その結果、サービス提供者（図示せず）は、上述のベースとなるサービスの他、後述する各種サービスを提供することができる。
【００７１】
「ヒートマップ処理」とは、上述のヒートマップサービスを実現させる処理のことをいう。
「分岐処理」とは、上述のストーリー分岐サービスを実現させる処理のことをいう。
「リンク処理」とは、上述のマルチリンクサービスを実現させる処理のことをいう。
「音声処理」とは、上述の音声ＴＩＧサービスを実現させる処理のことをいう。
「ジェスチャー処理」とは、上述のジェスチャーＴＩＧサービスを実現させる処理のことをいう。
「サジェスト処理」とは、上述のリアルタイムサジェストサービスを実現させる処理のことをいう。
以下、管理サーバ１において処理の実行が制御される、ヒートマップ処理、分岐処理、リンク処理、音声処理、ジェスチャー処理、及びサジェスト処理を実行するための機能構成について説明する。
【００７２】
図１１は、図１０の管理サーバの機能的構成のうち、ヒートマップ処理、分岐処理、リンク処理、音声処理、ジェスチャー処理、及びサジェスト処理を実行するための機能的構成の一例を示す機能ブロック図である。
【００７３】
図４に示すように、管理サーバ１のＣＰＵ１１においては、ヒートマップ処理の実行が制御される場合、紐付情報管理部１０１と、動画像提示制御部１０２と、指定受付部１０３と、取得部１０４と、提供部１０５と、ヒートマップ部１０６とが機能する。
また、ＣＰＵ１１においては、分岐処理の実行が制御される場合、紐付情報管理部１０１と、動画像提示制御部１０２と、指定受付部１０３と、取得部１０４と、提供部１０５と、分岐生成部１０７とが機能する。
また、ＣＰＵ１１においては、リンク処理の実行が制御される場合、紐付情報管理部１０１と、動画像提示制御部１０２と、指定受付部１０３と、取得部１０４と、提供部１０５とが機能する。
また、ＣＰＵ１１においては、音声処理の実行が制御される場合、紐付情報管理部１０１と、動画像提示制御部１０２と、指定受付部１０３と、取得部１０４と、提供部１０５と、音声認識部１０８とが機能する。
また、ＣＰＵ１１においては、ジェスチャー処理の実行が制御される場合、紐付情報管理部１０１と、動画像提示制御部１０２と、指定受付部１０３と、取得部１０４と、提供部１０５と、ジェスチャー認識部１０９とが機能する。
また、ＣＰＵ１１においては、サジェスト処理の実行が制御される場合、紐付情報管理部１０１と、動画像提示制御部１０２と、指定受付部１０３と、取得部１０４と、提供部１０５と、サジェスト制御部１１０とが機能する。
【００７４】
紐付情報管理部１０１は、表示されている動画像Ｌの中で第１ユーザとしての視聴者Ｗにより指定がなされる、ＴＩＧエリアＡに存在するオブジェクトＪに対し、視聴者Ｗにオブジェクト情報を提供するための１以上の紐付情報を、視聴者Ｗによる指定がなされる前に紐付けて管理する。
具体的には、紐付情報管理部１０１は、動画像Ｌに表示されているオブジェクトＪを指定するための操作（例えばタップ操作）が行われる前に、以下の処理を行う。即ち、紐付情報管理部１０１は、動画像Ｌに表示され得るオブジェクトＪとして、オブジェクトＤＢ１８１に記憶されて管理されている１以上のオブジェクトＪの夫々に対し、１以上の紐付情報を紐付けて管理する。
【００７５】
動画像提示制御部１０２は、視聴者Ｗに対し、動画像Ｌを提示する制御を実行する。
具体的には、動画像提示制御部１０２は、視聴者Ｗの視聴者端末３に対して、動画像Ｌを表示させる制御を実行する。
【００７６】
指定受付部１０３は、動画像が提示されている視聴者によるＴＩＧエリアに対する所定操作（例えばタップ操作）がなされた場合、ＴＩＧエリアに存在するオブジェクトＪの指定がなされたと認識して、当該指定を受付ける。
【００７７】
取得部１０４は、指定が受付けられたオブジェクトＪに紐付けられて管理されている紐付情報を取得する。
具体的には例えば、取得部１０４は、視聴者Ｗによる指定が受付けられたオブジェクトＪに紐付けられて管理されている紐付情報を取得する。
【００７８】
提供部１０５は、取得部１０４により取得された紐付情報に基づいて、オブジェクト情報を視聴者端末３に提供する制御を実行する。
【００７９】
ヒートマップ部１０６は、１以上のオブジェクトＪが表示され得る動画像Ｌを視聴者端末３に提示する制御を実行する。
具体的には例えば、図１の動画像Ｌを視聴者端末３に提示する制御を実行する。
【００８０】
分岐生成部１０７は、前記動画像を複数のストーリーに分岐させる分岐点を示す情報を生成する。
具体的には例えば、分岐生成部１０７は、図３及び図４に示すように、動画像Ｌを複数のストーリーに分岐させる分岐点を示す情報を生成する。
【００８１】
音声認識部１０８は、視聴者Ｗの音声の認識を行う。
具体的には例えば、音声認識部１０８は、図６に示すように、マイクＩを用いて入力された視聴者Ｗの音声の認識を行う。
【００８２】
ジェスチャー認識部１０９は、視聴者Ｗのジェスチャーを認識する制御を実行する。
具体的には例えば、ジェスチャー認識部１０９は、視聴者端末３に搭載された近接センサ等を用いて、視聴者Ｗのジェスチャーを認識する制御を実行する。
【００８３】
サジェスト制御部１１０は、視聴者Ｗの操作の実績に基づいて、動画像Ｌに所定の広告を表示する制御を実行する。
具体的には例えば、サジェスト制御部１１０は、図８に示すように、視聴者Ｗの操作の実績に基づいて、動画像Ｌに広告Ｋを表示する制御を実行する。
【００８４】
次に、図１２乃至図１４を参照して、視聴者端末３のＧＵＩの機能の具体例について説明する。
【００８５】
図１２の上段には、一括ＴＩＧ機能の具体例が２つ示されている。
「一括ＴＩＧ機能」とは、動画像Ｌの再生中の「所定のタイミング」で「所定の操作」が行われると、そのタイミングに表示されているフレーム（静止画像）内の全てのオブジェクトＪを「ＴＩＧストック」に一括保存（以下、「一括ＴＩＧ」と呼ぶ）される機能のことをいう。
ここで、「所定の操作」の内容は特に限定されないが、例えば図１２の上段左側に示す例では、動画像の再生中の「所定のタイミング」における「所定の操作」として、一括ＴＩＧを実行させるためのボタンＢ１をタップする操作が行われる。すると、「所定のタイミング」に表示されていたフレーム（静止画像）の中に存在する全てのオブジェクトＪ１乃至Ｊ３が、「ＴＩＧストック」を示す画面右端の領域Ｄに一括ＴＩＧされる。
また、図１２の上段右側に示す例では、動画像の再生中の「所定のタイミング」における「所定の操作」として、視聴者Ｗの指２本を用いて画面右端の領域Ｄまでスワイプする操作が行われる。すると、「所定のタイミング」に表示されていたフレーム（静止画像）の中に存在する全てのオブジェクトＪ１乃至Ｊ３が、「ＴＩＧストック」を示す画面右端の領域Ｄに一括ＴＩＧされる。
【００８６】
図１２の下段には、類似情報提示機能の具体例が示されている。
「類似情報提示機能」とは、動画像に表示されているオブジェクトＪに類似する事物に関する情報（以下、「類似物情報」と呼ぶ）を視聴者Ｗに提供する機能のことをいう。
具体的には例えば、図１２の下段に示すように、動画像に登場したオブジェクトＪ１が「丸首の長袖シャツ」である場合には、オブジェクトＪ１を画面左端の領域Ｅの方向にフリックする操作が行われる。すると、オブジェクトＪ１が、画面左端の領域Ｅに保存される。
その後、図１２の下段に示すように、領域Ｅに保存されているオブジェクトＪ１に対し、タップする操作が行われると、オブジェクトＪ１の類似物情報が表示される。具体的には例えば、オブジェクトＪ１とブランドが相違する「丸首の長袖シャツ」に関する情報が類似物情報として表示される。これにより、例えば動画像に登場しているオブジェクトＪ１が希少価値を有する物や高価な物など、視聴者が簡単に入手できないような物である場合であっても、これに「似たような物」を入手するための情報を得ることができる。
【００８７】
これに対して、類似物情報ではなく、動画像Ｌに登場したオブジェクトＪのオブジェクト情報を取得したい場合には、オブジェクトＪ２を画面右端の領域Ｄの方向にフリックする操作が行われる。すると、オブジェクトＪ２が、画面右端の領域Ｄに保存される。
その後、図１２の下段に示すように、領域Ｄに保存されているオブジェクトＪ２に対し、タップする操作が行われると、オブジェクトＪ２のオブジェクト情報が表示される。
このように、オブジェクトＪに類似する事物に関する情報を取得する手法と、オブジェクトＪそのもののオブジェクト情報を取得する手法とを区別することにより、視聴者Ｗの利便性を向上させることができる。
ここで、図１２の下段に示す類似情報提示機能は、オブジェクトＪを領域Ｅと領域Ｄとに区別して保存する機能の一例に過ぎない。
即ち、本サービスは、基本的にオブジェクトＪをタップする操作を行うことで容易に「ＴＩＧストック」に保存することができるとするものである。しかしながら、例えば図１２の下段に示すように、「ＴＩＧストック」への保存を示す領域を複数設けて、いずれかに保存するかを視聴者Ｗが決定できるようにすることもできる。
これにより、視聴者ＷがオブジェクトＪを選択する操作を行う段階で、「ＴＩＧストック」内で行われるカテゴライズの一部を行うことができるようになる。
その結果、図１２の下段に示す例（類似情報提示機能）の他に、例えば即時購入の対象となるオブジェクトＪについては領域Ｄに保存し、とりあえずカートに入れるオブジェクトＪについては領域Ｅに保存する、といったように区分することもできる。
【００８８】
図１３の上段には、スクリーンショット機能の具体例が示されている。
図１２の上段を参照して説明したように、視聴者Ｗは、動画像の再生中にボタンＢ１をタップする操作を行うと、そのフレーム（静止画像）に含まれる全てのオブジェクトＪ１乃至Ｊ３が「ＴＩＧストック」に保存される。また、それとともに、保存されたフレーム（静止画像）は、例えば図１３の上段に示すように、「スクリーンショット一覧」として一覧表示される。
ここで、保存されたフレーム（静止画像）に含まれる１以上のオブジェクトＪの中に、紐付情報が紐付けられているものがある場合、視聴者Ｗは以下の操作を行うことでそのオブジェクト情報を取得することができる。
即ち、視聴者Ｗは、そのフレーム（静止画像）に含まれている１以上のオブジェクトＪの夫々のＴＩＧエリアＡのいずれかの位置をタップする操作を行うことで、そのオブジェクトＪのオブジェクト情報を取得することができる。
具体的には例えば、図１３の上段の例では、オブジェクトＪ１乃至Ｊ３の夫々のＴＩＧエリアＡ１乃至Ａ３の夫々のいずれかの位置をタップする操作が行われると、オブジェクトＪ１乃至Ｊ３の夫々のオブジェクト情報を取得することができる。
これにより、視聴者Ｗは、例えば動画像の再生中、気になるシーンを見つけたら、スクリーンショット機能を用いてとりあえずフレーム（静止画像）を保存して、後でゆっくりオブジェクト情報を取得することもできる。
【００８９】
図１３の下段には、ピンチイン機能の具体例が示されている。
図１３の下段に示すように、視聴者Ｗは、画面Ｍに対するピンチイン操作を行うことで、人物、音楽、ロケーション、コントローラ等を画面Ｍの外に表示させることができる。
また、図示はしないが、例えば視聴者端末３がパーソナルコンピュータ等であるためにピンチイン操作を行うことができない場合には、別途ボタンを設けて、ピンチイン機能に相当する機能が実行できるようにすることもできる。
【００９０】
図１４の上段には、簡易翻訳機能の具体例が示されている。
「簡易翻訳機能」とは、動画像の再生中に表示されるテロップやキャプションに表記された文章に含まれる１以上の単語のうち、１の単語をタップする操作を行うことで、その単語の簡単な翻訳文を表示させることができる機能である。
また、動画像の再生中に表示されるテロップやキャプションに表記された文字や文書に含まれる１以上の単語は、オブジェクトＪとして捉えることができる。このため、例えば上述の図１２の上段に示すＧＵＩと同様に、オブジェクトＪとしての単語をタップする操作を行うことで、領域Ｄにより示される「ＴＩＧストック」に保存することができる。
またさらに、図１４の上段に示すように、「ＴＩＧストック」（領域Ｄ）に保存されたオブジェクトＪとしての単語は、視聴者Ｗの夫々が利用可能な単語帳に記録される。そして、視聴者Ｗが単語帳や「ＴＩＧストック」（領域Ｄ）に記録された単語を示すアイコンをタップすると、その単語の正確な発音が音声再生される。そして、その単語を視聴者Ｗが発音すると、視聴者Ｗの発音の正確性の分析が行われ、発音の正確性の度合いを示す正解率が表示されるようにすることもできる。
【００９１】
図１４の下段には、ＴＩＧストックの具体例が示されている。
上述の「ＴＩＧストック」は、単にオブジェクトＪの羅列として一覧表示させることもできるが、例えば図１４の下段に示すように、カテゴライズされることで１以上のブックに区分された形で一覧表示させることもできる。「ＴＩＧストック」に保存されているオブジェクトＪをカテゴライズする作業は、設定者Ｃが手動で行うこともできるし、ＡＩ（人工知能）等の技術を用いて自動的に行われるようにすることもできる。
これにより、視聴者Ｗは、動画像の視聴後にオブジェクトＪのオブジェクト情報を取得しようとする場合に、自身が所望するオブジェクトＪのオブジェクト情報を素早く見つけ出すことができる。
【００９２】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００９３】
例えば、上述の実施形態において、オブジェクトＪとして特定されているものは例示に過ぎない。
即ち、動画像ＬにはオブジェクトＪに該当し得る候補は無数に含まれている。このため、上述したように、可能な限り多くのオブジェクトＪに紐付情報を予め紐付けておくことで、視聴者Ｗの利便性をより向上させることができる。
【００９４】
また、上述の実施形態では、視聴者Ｗによる指定がなされると、オブジェクトＪの紐付情報がストック情報として「ＴＩＧストック」に保存される構成となっているが、これは例示に過ぎない。視聴者Ｗによる指定がなされたオブジェクトＪの紐付情報は、ストック情報として保存されない構成とすることもできる。
【００９５】
また例えば、図２には設定者Ｃが１人のみ描画されているが、これは例示に過ぎず、設定者Ｃは複数人存在してもよい。
【００９６】
また例えば、ＴＩＧエリアの形状は、四角形に限定されず、自由矩形とすることもできる。
【００９７】
また例えば、図１乃至図８に示す動画像Ｌは例示に過ぎず、他の構成としてもよい。
【００９８】
また、本発明によれば、上述のサービスや効果に加え、以下のようなサービスや効果を実現させることもできる。
即ち、視聴者Ｗは、動画像Ｌに出演している人物（例えば図１の女性タレント）が身に着けている衣服や装飾品について、視聴者端末３を操作しながらその場で情報を得たり購入したりすることができる。
また、視聴者ＷによるＴＩＧエリアＡに対するタップ操作がどの程度行われたのかについて、設定者Ｃや動画像Ｌを提供する者にフィードバックすることもできる。
また、設定者Ｃの能力に応じて、動画像ＬにＴＩＧエリアＡを設定する度合いも変わることが予想されるので、高度なスキルを有する専門職としての設定者Ｃが増加することが期待できる。
また、従来のスポンサーは、ＣＭ（コマーシャル）を広告媒体としていたが、動画像Ｌを広告媒体とするスポンサーが増加することが期待できる。
また、視聴者Ｗが、設定者Ｃとして動画像にＴＩＧエリアＡを設定できるようにすることもできる。即ち、視聴者Ｗが上述の設定アプリを利用できるようにすることもできる。
さらに、視聴者Ｗが、ＴＩＧエリアＡが設定された画像Ｌを、自ら配信できるようにすることもできる。
また、１つのオブジェクトＪに対応するＴＩＧエリアＡがタップされた場合、複数のリンク先（ジャンプ先）を選択できるようにすることができる。
また、「ＴＩＧストック」は、カスタマイズすることもできる。また、オブジェクトＪの指定のための操作の具体的態様に応じて、その効果に変化を持たせることができる。具体的には例えば、操作角度、タップする時間、ダブルタップ等により、効果に変化を持たせることができる。より具体的には例えばオブジェクトＪに第１紐付情報と第２紐付情報とが対応付けられている場合、深く押下操作がなされると第１紐付情報が保存される一方、２回触る（ダブルタップ）と第２紐付情報が保存されるようにすることができる。
また、視聴者Ｗの目の動きによって、オブジェクトＪをストックできるようにすることもできる。
【００９９】
また、図９に示すシステム構成や、図１０に示す管理サーバ１のハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【０１００】
また、図１１に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図１１の例に限定されない。
【０１０１】
また、機能ブロックの存在場所も、図１１に限定されず、任意でよい。
例えば、図１１の例で、紐付情報提供処理や紐付情報設定支援処理の実行に必要となる機能ブロックは、管理サーバ１側が備える構成となっているが、これは例示に過ぎない。例えば専用のアプリを設定者端末２や視聴者端末３にインストールさせることにより、これらの機能ブロックの少なくとも一部を、設定者端末２や視聴者端末３側が備える構成としてもよい。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【０１０２】
各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【０１０３】
このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成される。
【０１０４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【０１０５】
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものである。
【０１０６】
以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理システムは、
表示されている動画像（例えば図１の動画像Ｌ）の中で第１ユーザ（例えば図９の視聴者Ｗ）により指定がなされる、所定領域（例えば図１のＴＩＧエリアＡ１）に存在するオブジェクト（例えば図１の女性タレントを示すオブジェクトＪ１）に対し、当該第１ユーザに所定情報（例えばオブジェクト情報）を提供するための情報を、当該指定がなされる前（例えば動画像が視聴者端末３に表示される以前のタイミング）で紐付けて、当該情報を紐付情報として管理する管理手段（例えば図１１の紐付情報管理部１０１）と、
前記動画像を前記第１ユーザに提示する制御を実行する提示制御手段（例えば図１１の動画像提示制御部１０２）と、
前記動画像が提示されている（例えば図２等の視聴者端末３に表示されている）前記第１ユーザによる前記所定領域に対する所定操作（例えばタップ操作）がなされた場合、当該所定領域に存在する前記オブジェクトの前記指定がなされたと認識して、当該指定を受付ける第１受付手段（例えば図１１の指定受付部１０３）と、
前記指定が受付けられた前記オブジェクトに紐付けられて管理されている前記紐付情報を取得する取得手段（例えば図１１の取得部１０４）と、
前記取得手段により取得された前記紐付情報に基づいて、前記所定情報を前記第１ユーザに提供する（例えば図２等の視聴者端末３に表示させる）制御を実行する提供制御手段（例えば図１１の提供部１０５）と、
を備える。
【０１０７】
これにより、管理手段がオブジェクトに紐付情報を紐付けて管理し、提示制御手段が動画像を視聴者に提示する。そして、第１受付手段が視聴者によるオブジェクトの指定を受付けて、取得手段がそのオブジェクトに紐付けられている紐付情報を取得し、提示制御手段がその紐付情報に基づく所定情報を視聴者に提供する。
その結果、視聴者は、動画像の視聴中、又は動画像を視聴した後のタイミングで、当該動画像に含まれるオブジェクトに関する所定情報を容易に取得することができる。
具体的には例えば、上述の実施形態における視聴者Ｗは、動画像Ｌの視聴中、又は動画像Ｌを視聴した後のタイミングで、動画像Ｌに含まれるオブジェクトＪに関するオブジェクト情報を容易に取得することができる。
【０１０８】
また、１以上の前記ユーザ（例えば視聴者Ｗ）による前記所定操作（例えばタップ操作）が行われた前記動画像上の位置を示す情報を生成して、所定様式（例えばヒートマップ）で提示する制御を実行する第２提示制御手段（例えばヒートマップ部１０６）をさらに備えることができる。
【０１０９】
これにより、第２提示制御手段が、１以上のユーザによる所定操作が行われた動画像上の位置を示す情報を生成して、所定様式で提示する制御を実行するので、例えば以下のような効果を奏する
即ち、オブジェクトが存在する所定領域のうち、具体的にどの位置が多く所定操作が行われたのか、あるいはどの位置に所定操作がされないのかを一見して把握することができる。また、所定領域以外のどの位置に対して所定操作が行われたのかを一見して把握することもできる。
その結果、例えば動画像に設定され所定領域の位置を好適な位置に修正することができる。また例えば、当初設定された所定領域の広狭に関する修正を行うことができる。また例えば、これまでオブジェクト情報が紐付けられていなかったオブジェクトのうち、ユーザによる所定操作が多く行われたオブジェクトに対し、新たな紐付作業を行うこともできる。
【０１１０】
また、前記第２提示制御手段は、前記１以上の前記ユーザによる前記所定操作が行われた前記動画像上の位置を示す情報として、前記所定操作が行われた数に基づいて生成されたヒートマップの様式で提示する制御を実行することができる。
【０１１１】
これにより、第２提示制御手段が、１以上のユーザによる所定操作が行われた動画像上の位置を示す情報を生成して、ヒートマップの様式で提示する制御を実行するので、例えば以下のような効果を奏する
即ち、オブジェクトが存在する所定領域のうち、具体的にどの位置が多く所定操作が行われたのか、あるいはどの位置に所定操作がされないのかをヒートマップによって一見して把握することができる。また、所定領域以外のどの位置に対して所定操作が行われたのかをヒートマップによって一見して把握することもできる。
その結果、例えば動画像に設定され所定領域の位置を好適な位置に修正することができる。また例えば、当初設定された所定領域の広狭に関する修正を行うことができる。また例えば、これまでオブジェクト情報が紐付けられていなかったオブジェクトのうち、ユーザによる所定操作が多く行われたオブジェクトに対し、新たな紐付作業を行うこともできる。
【０１１２】
また、前記動画像を複数のストーリーに分岐させる分岐点を示す情報を生成する分岐生成手段をさらに備える、
【０１１３】
これにより、分岐生成手段が動画像を複数のストーリーに分岐させる分岐点を示す情報を生成するので、上述のストーリー分岐サービスを提供することができる。
【０１１４】
また、前記ユーザの音声の認識を行う音声認識手段をさらに備えることができる
【０１１５】
これにより、音声認識手段が、ユーザの音声の認識を行うので、上述の音声ＴＩＧサービスを提供することができる。
【０１１６】
また、前記ユーザのジェスチャーの認識を行うジェスチャー認識部手段をさらに備えることができる
【０１１７】
これにより、ジェスチャー認識部手段が、ユーザのジェスチャーの認識を行うので、上述のジェスチャーＴＩＧサービスを提供することができる。
【０１１８】
また、前記ユーザの操作の実績に基づいて、前記動画像に所定の広告（サイネージ）を表示する制御を実行するサジェスト制御手段をさらに備えることができる。
【０１１９】
これにより、サジェスト制御手段が、ユーザの操作の実績に基づいて、動画像に所定の広告（サイネージ）を表示する制御を実行するので、上述のリアルタイムサジェストサービスを提供することができる。
【０１２０】
また、前記管理手段は、前記オブジェクトに複数の前記紐付情報を紐付けて管理し、
前記取得手段は、前記指定が受付けられた前記オブジェクトに紐付けられて管理されている前記複数の前記紐付情報を取得し、
前記提供制御手段は、前記取得手段により取得された前記複数の前記紐付情報に基づいて、前記所定情報を前記ユーザに提供する制御を実行することができる。
【０１２１】
これにより、管理手段が、オブジェクトに複数の紐付情報を紐付けて管理し、取得手段が、ユーザによる指定が受付けられたオブジェクトに紐付けられて管理されている複数の紐付情報を取得し、提供制御手段が、取得手段により取得された複数の紐付情報に基づいて、所定情報をユーザに提供する制御を実行する。その結果、上述のマルチリンクサービスを提供することができる。
【符号の説明】
【０１２２】
１：管理サーバ、２：設定者端末、３：視聴者端末、４：外部サーバ、１１：ＣＰＵ、１２：ＲＯＭ、１３：ＲＡＭ、１４：バス、１５：入出力インターフェース、１６：入力部、１７：出力部、１８：記憶部、１９：通信部、２０：ドライブ、３０：リムーバブルメディア、１０１：紐付情報管理部、１０２：動画像提示制御部、１０３：指定受付部、１０４：取得部、１０５：提供部、１０６：ヒートマップ部、１０７：分岐生成部、１０８：音声認識部、１０９：ジェスチャー認識部、１１０：サジェスト制御部、１８１：オブジェクトＤＢ、Ｃ：設定者、Ｗ：視聴者、Ｌ：動画像、Ｊ：オブジェクト、Ａ：ＴＩＧエリア、Ｆ：吹き出し、Ｈ：紐付情報、Ｉ：マイク、Ｇ：ＯＮ／ＯＦＦスイッチボタン、Ｖ：テレビジョン、Ｓ：店頭サイネージ、Ｋ：広告、Ｂ：ボタン、Ｄ：領域、Ｅ：領域、Ｍ：画面、Ｎ：ネットワーク
【図１】
2020071545.tif 000003
【図２】
2020071545.tif 000004
【図３】
2020071545.tif 000005
【図４】
2020071545.tif 000006
【図５】
2020071545.tif 000007
【図６】
2020071545.tif 000008
【図７】
2020071545.tif 000009
【図８】
2020071545.tif 000010
【図９】
2020071545.tif 000011
【図１０】
2020071545.tif 000012
【図１１】
2020071545.tif 000013
【図１２】
2020071545.tif 000014
【図１３】
2020071545.tif 000015
【図１４】
2020071545.tif 000016
【手続補正書】
【提出日】令和3年2月4日(2021.2.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像の中のオブジェクトに少なくとも一部を重ねて設定された所定領域内の任意の位置に対してユーザによる指定操作がなされた場合に、前記オブジェクトに対する所定情報を当該ユーザに提供する情報処理システムにおいて、
前記画像のうち、１以上の前記ユーザの夫々により前記指定操作がなされた各位置の分布状態を示すヒートマップを生成するヒートマップ生成手段と、
前記ヒートマップを、前記オブジェクトに対する前記所定領域の相対位置と相対範囲のうち少なくとも一方を変化させる指標として、前記画像に重ねて表示させる制御を実行する表示制御手段と、
を備える情報処理システム。
【請求項２】
前記ユーザにより指定がなされた前記所定領域の内外の前記画像のエリアの位置の情報を取得する位置情報取得手段、
をさらに備える、
請求項１に記載の情報処理システム。
【請求項３】
前記位置情報取得手段は、
前記位置の情報として、前記画像上の座標情報を取得する、
をさらに備える、
請求項２に記載の情報処理システム。
【請求項４】
前記画像の指定操作数に応じて前記ヒートマップの強調度を設定する設定手段、
をさらに備える、
請求項１乃至３のうちいずれか１項に記載の情報処理システム。
【国際調査報告】
2020071545.tif 000017
2020071545.tif 000018
2020071545.tif 000019
2020071545.tif 000020