(57)【要約】【課題】画像に対するユーザのクリック操作ログを視覚的に認識できるようにする。【解決手段】ユーザ操作ログデータを蓄積する手段２０１、該蓄積されたログデータから必要なログデータを選択する手段２０２、該ログデータを時間位置をキーとした検索を行いやすいように整形する手段２０３、映像を再生する手段２０７、該映像の再生時間位置を取得する手段２０６、その再生時間位置におけるログデータを取得する手段２０４、該ログデータを可視化して映像画面に重畳表示する手段２０５を備える。【選択図】　　　　図２
2004110096.tif 000002
【特許請求の範囲】
【請求項１】
映像に対するユーザ操作のログ情報を可視化するユーザ操作ログ可視化方法であって、
映像を再生するステップと、前記再生した映像の再生時間位置を取得するステップと、蓄積されたユーザ操作ログデータから、前記再生時間位置に関するログデータを取得するステップと、映像画面上に前記ログデータを可視化して表示するステップとを有することを特徴とするユーザ操作ログ可視化方法。
【請求項２】
蓄積されたユーザ操作ログデータから必要なログデータのみを選択するステップをさらに有することを特徴とする請求項１記載のユーザ操作ログ可視化方法。
【請求項３】
蓄積されたユーザ操作ログデータを扱いやすく整形するステップをさらに有することを特徴とする請求項１もしくは２記載のユーザ操作ログ可視化方法。
【請求項４】
再生映像の再生方法を任意に変更するステップをさらに有することを特徴とする請求項１、２もしくは３記載のユーザ操作ログ可視化方法。
【請求項５】
映像に対するユーザ操作のログ情報を可視化するユーザ操作ログ可視化装置であって、
ユーザ操作ログデータを蓄積する手段と、映像を再生する手段と、前記再生した映像の再生時間位置を取得する手段と、前記蓄積されたユーザ操作ログデータから、前記再生時間位置に関するログデータを取得する手段と、映像画面にログデータを可視化して表示する手段とを有することを特徴とするユーザ操作ログ可視化装置。
【請求項６】
蓄積されたユーザ操作ログデータから必要なログデータのみを選択する手段をさらに有することを特徴とする請求項５記載のユーザ操作ログ可視化装置。
【請求項７】
蓄積されたユーザ操作ログデータを扱いやすく整形する手段をさらに有することを特徴とする請求項５もしくは６記載のユーザ操作ログ可視化装置。
【請求項８】
再生映像の再生方法を任意に変更する手段をさらに有することを特徴とする請求項５、６もしくは７記載のユーザ操作ログ可視化装置。
【請求項９】
請求項１、２、３もしくは４記載のユーザ操作ログ可視化方法の各ステップあるいは請求項５、６、７もしくは８記載のユーザ操作ログ可視化装置の各機能をコンピュータで実行させるためのプログラム。
【請求項１０】
請求項１、２、３もしくは４記載のユーザ操作ログ可視化方法の各ステップあるいは請求項５、６、７もしくは８記載のユーザ操作ログ可視化装置の各機能をコンピュータで実行させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、メインコンテンツとして提供される映像内の各被写体に対するユーザ操作を利用したインタラクティブ映像コンテンツ提供技術に関し、特に、ユーザ操作ログ情報をメインコンテンツである映像に重畳して可視化表示する方法および装置、プログラム並びにその記録媒体に関する。
【０００２】
【従来の技術】
映像内の被写体を指示（マウスクリックなど）するというユーザ操作を利用したアプリケーションの例として、ユーザが指示した被写体に関連した情報を提示するというものが存在する（例えば、非特許文献１、非特許文献２参照）。
【０００３】
図５は、このようなアプリケーションの一例であり、電子水族館アプリケーションの例を示したものである。図５において、画面５００内に水族館の水槽の映像５０１が表示されており、この水槽の映像５０１内に被写体として魚５０２が登場しているとする。このとき、ユーザが魚５０２を指示するというイベントが発生すると、その魚の詳しい説明文であるテキスト５０３を提示するというものである。
【０００４】
このようなアプリケーションでは、映像内の被写体を内包する時間および空間的部分領域をアンカーとして定義し、そのアンカーと別の素材の関連を定義しておく。図６に映像内の被写体を内包するアンカー領域を定義した例を示す。図６では、映像６００の時間位置ｔ１において被写体（魚）６０２を内包するように矩形６０１を定義している。同様に、時間位置ｔ２、ｔ３においてもそれぞれ被写体を内包するように矩形を定義している。時間位置ｔ１およびｔ２において定義した矩形を２面とする６面体６０３が時間位置ｔ１、ｔ２間におけるアンカー領域である。同様にｔ２、ｔ３における矩形を２面とする６面体６０４のアンカー領域も定義されている。
【０００５】
アプリケーションは、ユーザがクリックした際の、映像内の時間位置および空間座標を取得し、その座標がアンカー領域に含まれるか否かを判断し、含まれる場合には予めそのアンカー領域に関連付けられた素材を表示する。このようなアプリケーションにおいては、ユーザがクリックした際の映像内時間位置および空間座標データを保存することでユーザの映像に対するクリック操作ログを取得することが可能である。
【０００６】
さらに、ユーザの操作ログに、アンカー領域の識別子を含めておくことで、ユーザが映像内のどの被写体をクリックしたのかを識別することが可能である。図７にこのようなユーザ操作のログ出力例を示す。図７のログには、ユーザの映像をクリックする操作に対して、その映像時間位置および、映像内空間座標、アンカー領域の識別子、ユーザＩＤが出力されている。ログ７０２の例は、映像の先頭から１０００ｍｓのフレームにおいて、（５０、５０）の座標をユーザ「ｔｉｍ」がクリックしたことを示している。また、この１０００ｍｓのフレームにおける（５０、５０）の座標はアンカー領域「ｆｉｓｈ−Ａ」に含まれていることを示している。
【０００７】
インタラクテイブ映像コンテンツ提供サービスにおいては、このようなユーザの映像に対するクリック操作ログは、ユーザ興味の分析や、ユーザにクリックされやすいシーン、ユーザがあまりクリックしないシーン等の抽出等を行う上で重要なデータとなる。
【０００８】
【非特許文献１】
池田哲夫、平野泰宏、湯口徹、星隆司著「マルチメディアアプリケーションのデータモデルの開発環境の考察」、情報処理学会論文誌、Ｖｏｌ．４０，Ｎｏ．１，ｐｐ．２〜１２，１９９９
【非特許文献２】
湯口徹、池田哲夫、星隆司著「ＰＣ版ビデオハイパーメディアを開発」、ＮＴＴ技術ジャーナル、１９９９年３月
【０００９】
【発明が解決しようとする課題】
しかしながら、上記のようなアプリケーションにおいて、１つのユーザ操作ログデータに注目したときに、ユーザがどの被写体をクリックしたのかは、ログデータ内のアンカー識別子により識別可能であるが、具体的にどのようなシーンにおいてクリックしたのか、被写体のどの部分をクリックしたのかを知ることは、従来は困難であった。
【００１０】
図７のログ７０２の例で言えば、ユーザ「ｔｉｍ」がクリックした映像内の空間座標（５０、５０）は、「ｆｉｓｈ−Ａ」のどの部位なのかはログ７０２からだけでは知ることができない。また、「ｆｉｓｈ−Ａ」がアップで映っているシーンなのか、他に何匹の魚が同時に映っているシーンなのかなど、ユーザが具体的にどのようなシーンでクリックしたのかを知ることもできない。
【００１１】
ユーザがクリックした具体的なシーンを知るためには、実際に映像を再生し、再生時間位置をログデータに記された時間情報のシーンにあわせる必要がある。また、そのシーンにおいてどの部分がクリックされたのかを映像内の空間座標との対応から求める必要がある。
【００１２】
また、クリック可能な領域として予め定義されていない箇所をユーザがクリックすることも十分考えられる。この場合、クリックされた座標がアンカー領域として定義されていないため、識別子は存在せず、取得できない。そのため、取得できる情報は、ユーザがクリックした時の時間座標および映像内空間座標の数値データのみであり、ユーザが何をクリックしたのかを特定することは一層困難である。
【００１３】
図７のログ７０３がこの例にあたる。ユーザ「ｊｏｅ」が時間位置１０００ｍｓにおいて、座標（１５０、２４０）をクリックしているが、アンカー領域が定義されていない座標のため、ログ情報からのみでは、何をクリックしたのかを知ることはできない。
【００１４】
このように、従来は、ユーザがどのシーンの何をクリックしたのかを特定するには煩わしい作業が必要であるという問題があった。
【００１５】
一方、ユーザ操作の複数のログの時間軸および空間軸上における分布を求めることは従来も可能であった。図７のログデータを時間軸をもとに整形したものを図８に示す。図８のログデータから、時間位置１０００ｍｓから１１００ｍｓにかけてクリックが集中していることや、１１００ｍｓ以降は１５３０ｍｓまでクリックされていないことがわかる。
【００１６】
また、ｘ・ｙの二次元空間上にログデータをマッピングすることで、よくクリックされた映像内空間座標やクリックが少なかった映像内空間座標を知ることができる。しかし、分布だけで分かる情報は、どの時間のどの空間座標にクリックが集中しているとか、分散しているということだけであり、どんなシーンの何が映っているシーンに分布が集中しているのかというようなことを知るためには、やはり、実際に映像を再生させて目的の時間座標および空間座標を確認する必要があり、これは大変煩わしい作業であった。
【００１７】
特に、映像全体を通して、ユーザが多くクリックした空間、時間的部分領域、あまりクリックされなかった空間、時間的部分領域がどのようなシーンで何が映っているのかを把握するためには、再生シーンを少しずつ変化させながら、その映像の再生シーンにおける空間座標上の分布を作成し、映像画面と分布とを見比べて確認するという作業を行う必要があり、とても現実的な作業ではなかった。
【００１８】
本発明の目的は、ユーザの映像に対するクリック操作ログに対して、それはどのようなシーンであったのか、何をクリックしたのかを容易に識別可能とすることにある。
また、本発明の目的は、複数のクリック操作ログの分布を実際に映像に対応付けて見ることを可能とし、クリック操作の傾向を容易に把握できるようにすることにある。
【００１９】
【課題を解決するための手段】
本発明の一実施例では、蓄積されたユーザ操作ログデータから必要なログデータのみを選択するとともに、時間位置をキーとしたデータ検索を行いやすいように整形しておき、映像を再生しながら、該映像の再生時間位置を取得し、その再生時間位置におけるログデータを取得し、ログデータを可視化して映像画面に重畳表示する。これにより、ユーザがどのシーンの何をクリックしたのかを容易に識別することが可能になる。また、ユーザのクリック操作ログの分布を実際の映像に対応付けて見ることが可能になり、クリック操作の傾向を容易に把握できる。
【００２０】
【発明の実施の形態】
図１に、本発明のユーザ操作ログ可視化方法の一実施例のフローチャートを示す。
ここでは、ユーザ操作ログデータは、すでに所定のログデータ蓄積手段に蓄積されているとする。まず、ログデータ蓄積手段に蓄積されたログデータから、所望ユーザ等、必要なログデータのみを選択抽出し（ステップ１０１）、この抽出したログデータを時間位置をキーとした検索が容易となるように整形しておく（ステップ１０２）。そして、目的の映像を再生する（ステップ１０３）。この映像再生中、映像の再生時間位置を取得し（ステップ１０４）、その再生時間位置におけるユーザのクリックログを取得し（ステップ１０５）、そのユーザクリック座標に応じた映像内空間座標にユーザクリックを示すマークを、再生映像画面に重畳して描画する（ステップ１０６）。
【００２１】
上記ステップ１０４〜１０６の処理を映像を再生している間繰り返し（ステップ１０７）、再生する映像画面に重畳してユーザのクリックを示すマークを表示する。勿論、映像内の被写体をクリックすると、従来と同様に、該被写体に関連した情報が表示される。また、ユーザの指示により、再生映像の再生方法（再生速度、再生映像の大きさ等）を任意に変更することも可能である。
【００２２】
図２に、本発明のユーザ操作ログ可視化装置の一実施例の機能ブロック図を示す。本ユーザ操作ログ可視化装置はログデータ蓄積手段２０１、フィタリング手段２０２、データ整形手段２０３、再生時間位置ログデータ取得手段２０４、ログデータ描画手段２０５、映像再生時間位置取得手段２０６、映像再生手段２０７、ユーザインタフェース２０８、映像蓄積手段２０９からなる。
【００２３】
ログデータ蓄積手段２０１は、ユーザ操作ログを蓄積するデータベースであり、図７のようなユーザ操作ログデータを蓄積しておく。勿論、図７に示す情報は一例に過ぎず、これ以外にも必要な情報がある場合には、取得し蓄積しておく。本実施例では、１つの映像に関するログデータは１つのデータベースに格納されているとし、映像との対応もログデータ蓄積手段２０１に格納されているとする。勿論、複数の映像に関するログデータを１つのデータベースに格納することも可能であるが、その場合は、映像を識別するための識別子が必要となる。
【００２４】
フィルタリング手段２０２は、ログデータ蓄積手段２０１に蓄積されたユーザ操作ログデータをフィルタリングし、目的とするログデータのみを選択し、データ整形手段２０３に渡す。例えば、図７のようにログデータにユーザＩＤが付与されている場合には、ユーザＩＤでフィルタリングすることで、ユーザ単位のクリック操作ログデータを取得することが可能である。勿論、フィルタリングを一切せずに、全ログデータをデータ整形手段２０３に渡してもよい。
【００２５】
データ整形手段２０３は、フィルタリング手段２０２で選択抽出されたログデータを時間（ｔ）をキーとして検索できるように、ｔ、ｘ、ｙの３次元を軸に整理する。図７のログデータについて、データ整形手段２０３で整形された例が図８である。図８の例では、映像の時間位置１０００ｍｓでは、映像内空間座標（５０、５０）をユーザ「ｔｉｍ」に、また、（１５０、２４０）をユーザ「ｊｏｅ」にクリックされたことを示している。このように、ログデータは、ある時間位置ｔにおけるクリック座標（ｘ、ｙ）を取得しやすいように整形されている。映像蓄積手段２０９は映像（コンテンツ）を蓄積している。勿論、映像蓄積手段２０９はネットワーク上にあってもよい。
【００２６】
ユーザインタフェース２０８では、ユーザのキー入力やマウス操作にもとづき、ログデータおよびユーザクリックの対象となった映像を指定し、また、映像再生手段２０７の制御を行う。映像再生手段２０７は、映像蓄積手段２０９よりユーザクリックの対象となった映像を取得し再生する。
【００２７】
映像再生時間位置取得手段２０６は、映像再生手段２０７で再生中の映像の再生時間位置を取得し、再生時間位置ログデータ取得手段２０４に渡す。再生時間位置ログデータ取得手段２０４は、データ整形手段２０３で整形されたログデータから、映像再生時間位置取得手段２０６で取得された時間位置におけるログデータ（クリックログデータ）を検索し、そのユーザクリック座標を取得する。例えば、図８の例では、映像再生時間位置取得手段２０６で取得された時間位置が１０００ｍｓであれば、ユーザクリック座標として映像内空間座標（５０、５０）および（１５０、２４０）が取得される。
【００２８】
ログデータ描画手段２０５は、再生時間位置ログデータ取得手段２０４で取得されたクリックログデータの空間座標に応じた映像画面位置にクリックログを示すマークをある定められた時間描画する。例えば、再生時間位置が１０００ｍｓの場合は、映像内空間座標（５０、５０）および（１５０、２４０）の位置に所定マークを描画する。
【００２９】
図３に、この場合の画面例を示す。図３において、画面３００内に、再生時間位置が１０００ｍｓの映像３０１が表示され、被写体として魚（ｆｉｓｈ−Ａ）３０２が登場している。この映像３０１内の空間座標（５０、５０）の位置（左上）にユーザ「ｔｉｍ」のクリックログを示すマーク３０３が、また、空間座標（１５０、２４０）の位置（中央下）にユーザ「ｊｏｅ」のクリックログを示すマーク３０４が、それぞれ映像３０１に重複して表示される。ユーザクリックログを示すマークは、例えば、ユーザ毎に異なるようにしてもよい。また、図３では、映像３０４の下には、映像再生を制御するユーザインタフェース例として、再生位置を示すスライダバー３０５、および、再生、一時留停止、停止の各ボタン３０６、３０７、３０８を示している。
【００３０】
これにより、ログの分析者は、例えば、図７のログ７０２が、どのような映像シーンでクリックされたのか、アンカー領域「ｆｉｓｈ−Ａ」のどの部位をクリックしたのか、を容易に認識することが可能である。また、アンカー領域が定義されていない箇所のクリックログ７０２が、何をクリックしたのかも容易に認識可能である。
【００３１】
また、この動作を繰り返すことで、ユーザのクリックが集中していた１０００ｍｓから１１００ｍｓのシーンがどのようなシーンであるのかや、どのような被写体がよくクリックされているのかを容易に認識できる。また、クリックがない１１００ｍｓから１５３０ｍｓがどのようなシーンであったのかも容易に認識することができる。
【００３２】
また、ユーザインタフェース２０８に、再生映像の任意の時間位置を指定したり、再生速度や再生映像の大きさを変更する機能を持たせることで、認識をさらに容易にすることができる。
【００３３】
図４は、図１や図２のユーザ操作ログ可視化方法および装置が適用されるハードウエア構成図を示したものである。図４において、情報処理装置（ＣＰＵ）４０１が、図１の各ステップ１０１〜１０６の処理実行する装置、あるいは、図２の各手段２０２〜２０７の処理機能を実現する装置である。ディスプレイ４０２、キーボード４０３、マウス４０４はユーザインタフェースを構成する機器である。ハードディスク４０５には、映像やユーザ操作ログデータが蓄積されるが、映像は、ＣＤ−ＲＯＭ等の他の記録媒体に蓄積されてもよく、さらには、インターネットなどのネットワーク４０６上に蓄積されてもよい。また、ユーザ操作ログ情報もネットワーク４０６上に蓄積され、これからダウンロードすることでもよい。
【００３４】
本ユーザ操作ログ可視化方法および装置は、被写体に対する指示により関連情報を提供するシステムや、被写体に対する指示により得点が加算されるゲームシステムなど、被写体に対するユーザ操作を利用した様々なインタラクティブ映像コンテンツ提供システムに対して適用することができる。
【００３５】
なお、図２で示した装置における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図１で示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤやＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【００３６】
【発明の効果】
本発明によれば、ユーザの映像クリックに対するユーザ操作を利用したインタラクティプ映像コンテンツ提供サービスについて、ユーザのクリック操作ログを映像に重畳させて表示することで、ユーザのクリック操作ログを視覚的に認識することが可能となり、ユーザがどのようなシーンでクリックしたのか、何をクリックしたのかを容易に識別可能となる。また、複数のクリック操作ログの分布を実際に映像に対応付けて見ることが可能となり、クリック操作の傾向を容易に把握できるようになる。
【図面の簡単な説明】
【図１】本発明のユーザ操作ログ可視化方法の一実施例のフローチャートである。
【図２】本発明のユーザ操作ログ可視化装置の一実施例の機能ブロック図である。
【図３】本発明による画面表示例を示す図である。
【図４】本発明が適用されるハードウエア構成例を示す図である。
【図５】ユーザの映像内被写体クリックで関連情報を提示するアプリケーションの一例である。
【図６】映像内の被写体を内包する時間および空間的部分領域をアンカー定義する一例である。
【図７】ユーザの操作ログ情報の一例である。
【図８】ユーザの操作ログ情報を整形した一例である。
【符号の説明】
２０１　ログデータ蓄積手段
２０２　フィルタリング手段
２０３　データ整形手段
２０４　再生時間位置ログデータ取得手段
２０５　ログデータ描画手段
２０６　映像再生時間位置取得手段
２０７　映像再生手段
２０８　ユーザインタフェース
２０９　映像蓄積手段
３００　画面
３０１　映像
３０２　被写体
３０３、３０４　ユーザクリックログマーク
【図１】
2004110096.tif 000003
【図２】
2004110096.tif 000004
【図３】
2004110096.tif 000005
【図４】
2004110096.tif 000006
【図５】
2004110096.tif 000007
【図６】
2004110096.tif 000008
【図７】
2004110096.tif 000009
【図８】
2004110096.tif 000010