(57)【要約】ユーザーのためにコンテンツのパーソナル化されたサマリーを生成する、提供される方法およびシステムは、前記ユーザーの性格属性を決定し、前記コンテンツの特徴を抽出し、前記特徴から前記性格属性へのマップに基づいて前記パーソナル化されたサマリーを生成することを含む。前記特徴は前記マップおよび前記性格属性に基づいてランク付けされうる。前記パーソナル化されたサマリーは、他の特徴よりも高くランク付けされた特徴を有する前記コンテンツの部分を含むものである。前記性格属性はマイヤーズ・ブリッグズ・タイプ指標試験、メリル・リード試験および／または脳使用試験などを使って決定されうる。
2008502983.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーのためにコンテンツのパーソナル化されたサマリーを生成する方法であって：
前記ユーザーの性格属性を決定し、
前記コンテンツの特徴を抽出し、
前記特徴から前記性格属性へのマップに基づいて前記パーソナル化されたサマリーを生成する、
ことを含むことを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記マップおよび前記性格属性に基づいて前記特徴をランク付けすることをさらに有しており、
前記パーソナル化されたサマリーは、前記特徴のうち他よりも高くランク付けされた前記特徴を有する前記コンテンツの部分を含むものであることを特徴とする方法。
【請求項３】
前記パーソナル化されたサマリーの生成が、前記マップから決定される、前記性格属性を有する人によって好まれる前記特徴に基づいて、前記コンテンツの諸セグメントの重要度を変えることを含むことを特徴とする、請求項１記載の方法。
【請求項４】
前記マップが前記特徴と前記性格属性との関連付けを含むことを特徴とする、請求項１記載の方法。
【請求項５】
前記マップが前記性格属性を有する人によって好まれる前記特徴の分類を含むことを特徴とする、請求項１記載の方法。
【請求項６】
請求項１記載の方法であって、前記マップの生成が：
複数の被験者が少なくとも一つの性格試験を受けることにより、被験者の性格特徴を決定し、
前記被験者が複数の番組を観察し、
前記被験者が前記複数の番組についての好ましいサマリーを選択し、
前記好ましいサマリーの試験特徴を決定し、
前記性格特徴を前記試験特徴と関連付ける、
ことを含むことを特徴とする方法。
【請求項７】
請求項１記載の方法であって、前記マップの生成が：
複数の被験者の性格特徴を決定し、
前記被験者が番組を観察し、
前記被験者が試験サマリーを選択し、
前記試験サマリーから試験特徴を抽出し、
前記試験特徴を前記性格特徴と関連付けるコンテンツ行列を形成する、
ことを含むことを特徴とする方法。
【請求項８】
因子解析を使って前記コンテンツ行列を解析することをさらに含むことを特徴とする、請求項７記載の方法。
【請求項９】
前記性格属性の決定が、マイヤーズ・ブリッグズ・タイプ指標試験、メリル・リード試験および脳使用試験のうちの少なくとも一つを使って行われることを特徴とする、請求項１記載の方法。
【請求項１０】
請求項１記載の方法を使って作成された、コンピュータ可読媒体内に具現されたコンピュータプログラム。
【請求項１１】
ユーザーにコンテンツを推薦する方法であって：
前記ユーザーの性格属性を決定し、
前記コンテンツのコンテンツ特徴を抽出し、
前記性格属性および前記コンテンツ特徴を前記性格属性と前記コンテンツ特徴との間の関連付けを含むマップに適用して当該ユーザーにとっての好ましい特徴を決定し、
前記コンテンツのうち前記好ましい特徴を含む少なくとも一つを推薦する、
ことを含むことを特徴とする方法。
【請求項１２】
前記適用することが前記ユーザーにとっての重要度に従って前記コンテンツ特徴をランク付けし、前記好ましい特徴が前記コンテンツ特徴のうち他よりも高いランクを有するコンテンツ特徴を含むものであることを特徴とする、請求項１１記載の方法。
【請求項１３】
前記重要度が前記マップを使って決定されることを特徴とする、請求項１２記載の方法。
【請求項１４】
請求項１１記載の方法を使って作成された、コンピュータ可読媒体内に具現されたコンピュータプログラム。
【請求項１５】
コンテンツのユーザーの性格属性を決定し、前記コンテンツの特徴を抽出し、前記特徴から前記性格属性へのマップに基づいてパーソナル化されたサマリーを生成するよう構成されたプロセッサを有することを特徴とする電子装置。
【請求項１６】
ユーザーにコンテンツを推薦する電子装置であって、前記のユーザーの性格属性を決定し、前記コンテンツのコンテンツ特徴を抽出し、前記性格属性および前記コンテンツ特徴を前記性格属性と前記コンテンツ特徴との間の関連付けを含むマップに適用して当該ユーザーにとっての好ましい特徴を決定し、前記コンテンツのうち前記好ましい特徴を含む少なくとも一つを推薦するよう構成されたプロセッサを有することを特徴とする電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に性格属性に基づいてサマリーをパーソナル化するための方法およびシステムに関する。
【背景技術】
【０００２】
ユーザーのプロファイルに基づいてユーザーにコンテンツを推薦するなどのために推薦器が使われる。ユーザーが好きまたは嫌いなコンテンツについて暗黙的および／または明示的な入力の形でユーザーから入力を受け取るシステムが知られている。例としては、同時係属の、本願の被譲渡人に譲渡された、Method  and  Apparatus  for  Recommending  Television  Programming  using  Decision  Treesと題するGutta  et  al.による、1999年12月17日に出願された米国特許第6,727,914号が暗黙的な推薦器システムの例を開示している。この文献は、参照により、あたかもここに完全に書かれているかのように組み込まれる。暗黙的な推薦器システムは、コンテンツ（たとえばテレビコンテンツ、オーディオコンテンツなど）を、ユーザーの視聴履歴を表す保存されている信号に応じてユーザーに推薦する。たとえば、テレビ推薦器は、視聴者がそれまでに見ることを選択した、あるいは選択しなかった他のテレビコンテンツに基づいて、その視聴者にテレビコンテンツを推薦しうる。ユーザーの視聴習慣を解析することによって、テレビ推薦器は見たおよび／または見なかったコンテンツの特性を決定しうる。そしてこれらの決定された特性を使って他の利用可能なコンテンツを推薦する。多くの異なる種類の数学的モデルを利用して、たとえば電子番組表（EPG）からの利用可能なコンテンツの一覧とともに受信された暗黙的データが解析され、ユーザーが何を見たいと思いそうかを決定する。
【０００３】
別の種類の既知のテレビ推薦器システムは、明示的なプロファイルを利用してユーザーが見たいと思いそうなものを決定する。明示的なプロファイルのはたらきはアンケートと同様で、ユーザーは典型的にはディスプレイ上のユーザーインターフェースによってユーザーが好きおよび／または嫌いなコンテンツの種類についての明示的な質問に答えるよう促される。質問に含まれるものとしては、その視聴者がどのようなコンテンツのジャンルが好きか、その視聴者がどの俳優またはプロデューサーが好きか、その視聴者が映画または続き物が好きかどうか、などがある。これらの質問はもちろん、当技術分野において知られているようにもっと洗練されていてもよい。このようにして、明示的なテレビ推薦器は、視聴者が明示的に好きまたは嫌いだと言うもののプロファイルを構築する。
【０００４】
この明示的プロファイルに基づいて、明示的推薦器はその視聴者が同じように好みそうなさらなるコンテンツを提案する。たとえば、明示的推薦器が、視聴者がジョン・ウェインのアクション映画を楽しむという情報を受け取るなどする。電子番組表情報とともにこの明示的な入力から、推薦器は視聴のために利用可能なジョン・ウェインの映画を推薦しうる。もちろんこれは非常に単純な例で、当業者はすぐ理解するであろうように、明示的推薦器／プロファイル作成システムはずっと洗練された解析および推薦を提供しうる。
【０００５】
その他の推薦器システムも知られており、たとえば、同時係属の、本願の被譲渡人に譲渡された、Method  and  Apparatus  for  Generating  Recommendation  Scores  Using  Implicit  and  Explicit  Viewingと題する、Kurapati  et  al.による、2000年9月20日に出願された米国特許出願第09/666401は暗黙的および明示的推薦器システムの例を開示している。Three-way  Media  Recommendation  Method  and  Systemと題する、Shaffer  et  al.による、2000年7月27日に出願された米国特許出願第09/627139号は、暗黙的、明示的およびフィードバックベースの推薦器システムの例を開示している。Four-Way  Recommendation  Method  and  System  Including  Collaborative  Filteringと題する、Shaffer  et  al.による、2001年9月10日に出願された、米国特許出願第09/953385号は、暗黙的、明示的、フィードバックおよび集団的フィルタリングベースの推薦器システムの例を開示している。上記の特許出願において開示されているシステムのそれぞれは、参照によりあたかも完全に書かれているかのようにここに組み込まれる。
【０００６】
コンテンツの解析および分類については、コーニンクレッカ・フィリップス・エレクトロニクス・エヌ・ヴィに譲渡された、Dimitrova  et  al.へのUS6,754,389B1、SagarへのUS2003/0031455A1、Trajkovic  et  al.へのWO02/096102A1（米国特許出願は2001年5月22に出願の第09/862,278号）に開示されている。これらの文献はここに参照によってその全体において組み込まれる。
【０００７】
従来式の推薦器は、暗黙的または明示的にユーザープロファイルを決定した後でコンテンツを推薦する。ユーザープロファイルの決定とは、ある特定のユーザーにとっては、あるコンテンツのビデオにおける特徴X、オーディオにおける特徴Yおよびテキストにおける特徴Zといったある種の特徴が重要であると決定することなどである。ある特定のコンテンツを解析してそのような特徴を決定または抽出し、検出された特徴およびユーザープロファイルに基づいてその番組を推薦してもよいし、あるいはユーザープロファイルから決定されるそのユーザーにとって重要なXYZ特徴を抽出することによりそのコンテンツのサマリーを生成してもよい。たとえば、この特定のユーザーにとって、ビデオコンテンツにおいて顔（X＝顔）を見、オーディオコンテンツにおいて音声（すなわちたとえば沈黙でない；Y＝音声）を聞き、そのコンテンツのテキストにおいて特定の名前または単語を見る（Z＝テキスト）、あるいは他の任意の分類が重要である。よって、特徴XYZ（すなわち、顔、音およびテキスト）を含む番組または番組サマリーがそのようなユーザーには提供または推薦される。従来式の推薦器またはサマリー生成器では、特徴XYZは固定されている。本発明人らは、人には好みがあるので、固定や一定ではない可変特徴X′Y′Z′を生成する必要があることを認識するに至った。よって、サマリー生成またはコンテンツ推薦のためにコンテンツから抽出されるべき特徴X′Y′Z′は、ユーザーの性格タイプまたは特徴に基づいてパーソナル化される。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
人はしばしば、番組において何が自分にとって重要なのか、あるいは番組の何を見聞きしたいのかわからないことがある。たとえば顔、テキストまたは音の種類が重要かどうかということである。したがって、ユーザーの好みを間接的に決定するためにテストが使われる。明示的推薦器はユーザーの好みを判別するために質問をするが、それはしばしば何時間もかかる。暗黙的推薦器は似たユーザーのプロファイルを使うか、当該ユーザーの履歴に基づいてユーザーの好みを決定する。しかし、シードプロファイル／類似プロファイルまたは当該ユーザーの履歴が必要とされる。
【０００９】
人の性格タイプを解析する方法は豊富にある。ビデオ、オーディオおよびクローズドキャプションからさまざまな特徴を抽出する方法はよく知られている。従来式の推薦器は、批評家によるコンテンツの評、コンテンツのジャンルおよびタイプといった高レベル特徴に基づいており、たとえばビット／バイトレベルの低レベルのコンテンツ特徴を使ったりそれに基づいて推薦したりはしない。人のメディア（テレビ番組、映画など）消費はその性格に基づく。人がどのような種類の番組を好むか、サマリーに何を含めるかを決定するために、本発明人らは、たとえばある個人によって見られたビデオから導出できる低レベルまたは中レベルの特徴に性格特徴をマッピングすることが有利であることに気がついた。各性格群は異なるマップを有し、よって特徴XYZはユーザーの性格特徴に基づいてパーソナル化される。
【００１０】
従来式のシステムはビデオからいくつかの特徴を導出し、種々の特徴が人口一般にとってある（一定の）重要度を有すると想定する。たとえば、顔は重要であり、サマリーに示す必要があるなどである。しかし、種々のユーザーにとってどのセグメントが実際に関心があるものかを決定するための性格特徴に基づく一般的な分類はない。よって、従来式システムは、パーソナル化されたコンテンツサマリー、すなわちユーザーの性格特徴に基づくコンテンツサマリーを提供しはしない。
【課題を解決するための手段】
【００１１】
本発明のある実施形態によれば、ユーザーのためにコンテンツのパーソナル化されたサマリーを生成するための方法であって、前記ユーザーの性格属性を決定し、特徴の前記性格属性へのマップに基づいてパーソナル化されたサマリーを生成することを含む方法が提供される。当該方法はさらに、前記マップおよび前記性格属性に基づいて前記特徴をランク付けすることを含みうる。その場合、パーソナル化されたサマリーは、他の特徴よりランクが高い特徴を有するコンテンツの部分を含む。性格属性は、たとえばマイヤーズ・ブリッグズ・タイプ指標試験（Myers-Briggs  Type  Indicator  test）、メリル・リード試験（Merrill  Reid  test）および／または脳使用試験（brain-use  test）を使って決定されうる。
【００１２】
パーソナル化されたサマリーの生成は、前記マップから決定される性格属性をもつ個人によって好まれる特徴に基づいてコンテンツの諸セグメントの重要度を変えることを含みうる。前記マップは、特徴と性格属性との関連および／または特定の性格属性をもつ個人によって好まれる特徴の分類を含む。
【００１３】
前記マップの生成は、被験者の性格特徴を決定するための少なくとも一つの性格試験を被験者が受け、前記被験者が複数の番組を観察し、前記被験者が前記複数の番組についての好ましいサマリーを選び、前記好ましいサマリーの試験特徴を決定し、前記性格特徴を、因子解析などを使って解析されるコンテンツ行列の形でありうる前記試験特徴と関連付けることによってなされうる。
【００１４】
追加的な実施形態は、前記の諸方法を使って生成された、コンピュータ可読媒体内で具現されているコンピュータプログラムを含む。該諸方法にはユーザーにコンテンツを推薦する方法であって、ユーザーの性格属性を決定し、コンテンツのコンテンツ特徴を抽出し、前記性格属性および前記コンテンツ特徴を前記性格属性および前記コンテンツ特徴の間の関連付けを含んでいるマップに適用して当該ユーザーの好ましい特徴を決定し、前記コンテンツのうちその好ましい特徴を含む少なくとも一つを推薦することを含む方法も含まれる。
【００１５】
あるさらなる実施形態は、コンテンツのユーザーの性格属性を決定し、コンテンツの特徴を抽出し、前記特徴の前記性格属性へのマップに基づいてパーソナル化されたサマリーを生成するよう構成されたプロセッサを有する電子装置を含む。
【００１６】
以下は本発明の例示的な実施形態の記述である。これは付属の図面とともに参照することで、上記したものおよびさらなる特徴および利点を例解することであろう。以下の記述では、限定というより説明の目的上、特定の構造、インターフェース、技術などといった個別的な詳細を述べつつ本発明の解説が提供される。だが、本発明がこうした個別的な詳細から外れた他の実施形態において実施されうることは当業者には明らかであろう。さらに、明快のため、よく知られた装置、回路および方法の詳細な説明は、本発明の記述を埋没させないよう省略される。
【００１７】
図面を収録しているのが解説の目的のためであって本発明の範囲を表すものではないことをはっきりと理解しておくべきである。本発明の範囲は付属の請求項によって定義される。図面において、システムの同様の部分は同様の番号で表される。
【００１８】
本発明は、例示的な実施形態の付属の図面と併せることで最もよく理解される。
【発明を実施するための最良の形態】
【００１９】
以下の議論では、議論を容易にするために特定の実施形態またはシステムに関連してある種の用語が例示的に論じられる。当業者には容易に明らかとなるであろうように、これらの用語は本発明が容易に適用されうるその他の同様な既知の用語をも包含するものであると理解されるべきである。
【００２０】
簡潔のため、本発明に直接関係しない種々のコンテンツ検出技術などのさまざまな詳細はここに含められていないが、当技術分野においてさまざまな推薦器システムなどでよく知られている。さらに、それぞれの型のコンテンツには、ユーザーによって観察される仕方がある。たとえば、音楽およびオーディオ／ビジュアル・コンテンツはユーザーに聴覚および／または視覚信号の形で提供されうる。データコンテンツは視覚信号として提供されうる。ユーザーは異なる型のコンテンツを異なる仕方で観察する。簡潔のため、コンテンツという用語は、既知のコンテンツおよびユーザーがコンテンツを好適に見、聞き、アクセスするなどする仕方のすべてのうちのいかなるものをも包含することが意図される。
【００２１】
ある実施形態は、性格の世界から抽象的な用語を取り出して、それをビデオ特徴の具象世界にマッピングするシステムを含む。これにより、種々の性格タイプによって好まれるコンテンツセグメントの分類が可能となる。したがって、種々の人々は、その好み／性格特徴に基づいて異なるコンテンツセグメントを見せられる。
【００２２】
もう一つの実施形態は、性格特徴を使って自動的にビデオコンテンツのパーソナル化されたサマリーを生成する方法を含む。この方法はユーザーの性格属性を取り、該性格属性を、抽出されたビデオ特徴をビデオサマリー生成のために自動的にランク付けする選択アルゴリズムにおいて使用する。ひとたび性格特徴がユーザーから抽出されれば、前記アルゴリズムはユーザーが家庭で、あるいは家から出かけているときにアクセスできる任意のビデオコンテンツについて適用できる。
【００２３】
性格特徴はビデオ特徴と組み合わせまたは関連付けされる。これにより、ユーザーのためのパーソナル化されたマルチメディアサマリーの生成が可能となる。それはまた、ユーザーが持っているセグメントの種類に基づいて映画および番組を分類し、ユーザーが好きな種類の番組をユーザーに推薦するために使われることもできる。
【００２４】
性格試験にはよく知られたものが数多くある。典型的には、性格試験はユーザーにいくつかの質問を出して性格をN次元空間にマッピングする。マイヤーズ・ブリッグズ・タイプ指標（MBTI）は性格を、外向型と内向型（E/I:  Extraverts  vs.  Introverts）、理性型と直感型（S/N:  Sensors  vs.  Intuitives）、思考型と情緒型（T/F:  Thinkers  vs.  Feelers）、規範型と柔軟型（J/P:  Judgers  vs.  Perceivers）の４次元にマッピングする。メリル・リード試験として知られるもう一つの性格試験はユーザーを、質問型と弁舌型（A/T:  Ask  vs.  Tell）および感情型と統制型（E/C:  Emote  vs.  Control）の２次元空間にマッピングする。これは図１の１０に示されており、そこでは例として第三象限にある性格Zは、質問をして感情的になる（統制を保ち、質問するより語ることを好むのに対し）傾向のある特徴を含むことになる。異なる人々はこのたとえば４Ｄまたは２Ｄ空間における異なる点に集まる。
【００２５】
第三の性格試験は、ウェブ上（たとえばhttp://www.rcw.bc.ca/test/personality.htmlから）などで簡単に入手できるbrain.exeというプログラムを実行することによって実行されるものを含む。それはここでは脳使用試験と称する。このプログラムは一連の２０個の質問をする。最後に、脳の左側または右側のどちらがより多く使用されているか、およびユーザーが、物事を視覚または聴覚を通じて知覚するなどどのような性格特徴を有していそうかが判定される。
【００２６】
〈コンテンツへのマッピング〉
性格空間の異なる次元の特性に基づいてコンテンツへのマッピングが生成される。たとえば、外向型の「高いエネルギーをもつ」という特性は可能性としてはビデオ解析において「速いペース」にマッピングされうる。コンテンツへのマッピングを行うため、オーディオ、ビデオおよびテキスト解析などを使って検出できる可能なコンテンツ特徴（bFa）のリストが生成される。ここでaは特徴番号、bはその特徴が取ることのできる可能な値である。これらのコンテンツ特徴は、以下の特徴a＝1〜8のような分類を含む。ここで、たとえば特徴1（つまりa＝1）は２つの可能な値bがあるということである。
aの値
1    インドアvs.アウトドア  （2F1）
2    アンカーvs.ルポルタージュ  （2F2）
3    高速vs.低速  （2F3）
4    事実vs.抽象  （2F4）
5    プラス感情vs.マイナス感情vs.中立感情  （3F5）
6    問題陳述vs.結論vs.詳述  （3F6）
7    暴力vs.非暴力  （2F7）
8    発話、音楽、ノイズ、無音などへのオーディオの分類  （9F8）
全部で、m個の特徴（feature）が使われ、表１に示すようなコンテンツ行列Ck×mが形成される。各時間区間（たとえば秒、１秒より短い期間、分またはその他任意の粒度）t1からtkについて、m次元のベクトルFがある。k個の時間区間（tk）をもつコンテンツについては、コンテンツ行列はk×mの大きさをもつ。たとえば、t1が０秒から１秒、t2が１秒から２秒などでありうる。
【００２７】
【表１】
2008502983.tif 000003
コンテンツ行列Ck×m（表１）の項目（0および1）はコンテンツ解析から導出される。表１の0および1の項目はそれぞれ、特徴bFaがその時間区間tkについて存在か不在かを示す。たとえば、ある人はサマリーとして、当該コンテンツのt3秒からt5秒までの時間区間のそのコンテンツのセグメントを選びうる。当該コンテンツはたとえばトークショー番組でありうる。例として、時間t3秒の間、インドアvs.アウトドア（2F1）は1になっていてこの特徴が時間区間t3においてコンテンツセグメント中に存在していることを示しており、アンカーvs.ルポルタージュ（2F2）は0になっていてこの特徴が時間区間t3に存在しないことを示している。コンテンツ特徴（bFa）のクラスターパターンを見出すため、t3からt5までの間の選ばれたサマリーセグメントについてのコンテンツ行列Ck×m（表１）の項目（すなわちbFaの存在または不在）が解析される。
【００２８】
次に、上記のコンテンツ行列Ck×mを性格空間（P_space:  Personality  space）における部分空間または領域の和集合にマッピングする仕方を述べる。たとえば、ひとたびある種の性格タイプ、たとえば外向型が「アンカー」（および／または「アウトドア」および／または他の任意の特徴）のようなある種のコンテンツ特徴（bFa）を好むことがわかれば、典型的に「アンカー」を含むビデオコンテンツの冒頭に対してより重みが与えられ、こうしてコンテンツ特徴（たとえば「アンカー」）の重要度が変更され、たとえば外向型であるような特定のユーザーによって好まれるコンテンツおよび／またはサマリーをよりよくパーソナル化して推薦するようになる。
〈性格マッピングの発見〉
コンテンツ‐性格マッピングを形成するため、性格試験が何人かの人に対して行われ、その性格マッピングが収集される。次いで、以下のステップが実行される。
I.  各ストーリーが、明瞭なラベルの付いたセグメントにセグメント分割される。
II.  被験者が自分にとってそのストーリーを最もよく要約しているセグメントを選ぶ。
III.  上記に基づき、以下の４つの帰結のうちの一つが可能になる：
１．コンテンツセグメントの選択と性格タイプとの間に一対一のマッピングがある。
２．一部の性格タイプはコンテンツセグメントの選択との間に一対一のマッピングがあり、それ以外については一対多のマッピングがある。
３．コンテンツセグメントの選択とすべての性格タイプとの間に多対多のマッピングがある。
４．各人について、当該コンテンツについてc＋およびc−クラスタリングがあり、試験を受ける各個人についてコンテンツ要素およびメディア要素嗜好を推定できる。
〈詳細なユーザー嗜好の適用〉
上記の可能な帰結１から４のいずれからも、性格レベル（帰結１および２）または人物（個人）レベル（帰結３および４）のいずれでも、c＋およびc−クラスタリングが存在する。クラスタリングから推定されるこれらの嗜好は、はいってくるコンテンツに対するフィルタとして表現される。同じ次元と特徴ベクトルFをもつ問い合わせが形成される。問い合わせQ(f1,f2,f3,...,fm)はここではいってくる新しいコンテンツに適用される。コンテンツ行列Ck×mがQmと畳み込みされる。さらに、一様なセグメントを有するために期待値最大化が実行される。上記の出力は、当該コンテンツ内の種々のセグメントに重要度の重みを与える、重みを与えられた一次元（１Ｄ）行列である。最高の値をもつセグメントがパーソナル化されたサマリーに存在するよう抽出される。
〈方法論〉
性格属性とビデオ特徴との間のマッピングを確立するために、一連のユーザー試験が実行される。以下はこのユーザー試験の方法論および結果について述べる。
１．性格および嗜好を集めるためのユーザー試験
ユーザー試験は、性格‐コンテンツ解析特徴マッピングのパターンを見出すために実行される。性格特徴はユーザーから、試験の質問を通じて得られた。次に、ユーザーは一連のビデオセグメントを見せられ、次いで、自分にとってそのコンテンツを最もよく要約している最も代表的なビデオ、オーディオおよび画像を選ばなければならない。ユーザーは全部で８つのニュースストーリー、４つの音楽ビデオおよび２つのトークショーを見せられる。
【００２９】
ユーザー試験は、性格‐コンテンツ解析特徴のマッピングのパターンを見出すために実行された。「お客様は嘘つきです！（Buyers  are  Liars!）」  これは買いたいと思う家に望む事項の希望リストをもって購入者に打診される不動産業者にはよく知られた文句である。この概念はサマリーの観点からも真実である。選択肢を与えられれば、ユーザーはサマリーにおいて全世界を見たがるものだ。よって、この問題に対処すべく、ユーザーは何を見たいかを直接的に尋ねられはしなかった。その代わり、ユーザーは進むためにはいくつかの質問に答えることを強いられた。その答えがユーザーの性格特徴および好ましいサマリーを与えた。
１．１  試験パラダイム
ユーザーに、ビデオ中にテキストよりも顔を見たいかどうかを尋ねるのは信頼できる情報を与えてくれないので、その代わりにユーザーには特定のコンテンツについての種々のサマリーが呈示され、ユーザーは適当なサマリーを選ぶよう求められた。次に、ユーザー嗜好を決定するために、選択されたコンテンツセグメント（つまり選択されたサマリー）におけるビデオ特徴が解析された。ユーザーは一連のビデオを見せられ、次いで自分にとってそのコンテンツを最もよく要約する、最も代表的なビデオ、オーディオおよび画像を選ぶよう求められた。各ビデオについて、ビデオおよびオーディオの２つないし３つの可能なサマリーがユーザーに選択のために呈示された。ユーザーに選択のために呈示されたテキスト部分はオーディオ部分と同じであり、テキスト部分およびオーディオ部分は選択のために呈示において一緒に見せられた。ユーザーが提供されたサマリーのどれも気に入らなかった場合には、ユーザーは自分で選んだセグメントの開始および終了のタイムスタンプを入力することもできた。ユーザーはまた、３つないし４つの事前選択された静止画像のうちから一つの静止画像を選択することも求められた。上記したように、ユーザーは８つのニュースストーリー、４つの音楽ビデオおよび２つのトークショーを見せられた。
【００３０】
性格選択のため、ユーザーは、反対の特徴の各対についての特徴リストを見せられ、自分の性格の自己評価に基づいて一方または他方の特徴を選択した。こうして、ユーザーは、ユーザーに一連の質問をしてそれからユーザーの性格が評価される性格試験は与えられなかった。２つ（またはそれ以上）で一組の性格特徴のリストを使うこの方法は、マイヤーズ・ブリッグズ・タイプ指標の４つの特徴（すなわちE/I,  S/N,  T/F,  J/P）について、およびメリル・リードの２つの特徴（すなわちA/T,  E/C）について実行された。brain.exeの２つの特徴（すなわち、視覚または聴覚の好み）については、ユーザーが一連の質問に答え、またユーザーが右脳型か左脳型か、およびユーザーが視覚と聴覚のどちらを好むかを推定するという伝統的な試験にかけられた。
【００３１】
性格およびコンテンツ視聴試験が開始される前に、ユーザーは、求められているタスクについての簡単な説明（たとえば５分以内）を与えられたが、セッションが終わるまで性格をサマリー選択に関係づけることは言及されなかった。
１．２  ユーザー調査
サマリーにおいてユーザーが何を見ることを好むかに関する質問が、ユーザーが進んでいくウェブサイトを通じて尋ねられた。最初のページでは、ユーザーは個人的な情報を入力することを求められた。名前、年齢、性別および電子メールアドレスなどである。次に、ユーザーは性格情報ページに進んだ。最初の２ページでは、ユーザーは自分の性格特徴をマイヤーズ・ブリッグズ・タイプ指標およびメリル・リードについて選択した。ユーザーは選択をするためにリストを読み進んだ。MBTIについては、ユーザーは外向型か内向型か（E/I）、理性型か直感型か（S/N）、思考型か情緒型か（T/F）そして最後に規範型か柔軟型か（J/P）を選んだ。メリル・リードについては、ユーザーは質問型か弁舌型か（A/T）および感情型か統制型か（E/C）を選んだ。第三の性格試験については、ユーザーはbrain.exeとして知られる実行可能プログラムをダウンロードし、その試験において２０の質問に答えるよう求められた。試験の終わりに、ユーザーは前記プログラムによって計算された自分のスコアを書き留めた。このスコアは第三の性格試験のページに入力された。brain.exeプログラムはさまざまな性格試験を探したあとでウェブからダウンロードされた。上記性格試験のそれぞれについて、当該ページの最初に簡単な説明が与えられた。
１．３  サマリー選択
これらの性格ページを進んだのち、被験者すなわちユーザーは、セッションの残りについて心構えすべきことを告げられた。被験者はまずもとのビデオを全部通して見た。右にはビデオの文字起こし（transcript）が呈示された。ユーザーは次いで、下にスクロールして、２つまたは３つの事前選択されたビデオのみのサマリーを見た。これらのビデオサマリーは全くオーディオを含まず、当該ビデオを要約するビデオの連続部分を呈示した。ユーザーはそれらのビデオサマリーのうちの一つを選ぶか、独自のビデオセグメントすなわちサマリーを指定することができた。このようにして、被験者は８つのニュースストーリー、４つの音楽ビデオおよび２つのトークショーについてのサマリーを選択した。ユーザーが何らかの情報を入力し損なった場合には、ユーザーは前のページに戻って必要な情報を入力することを強いられた。
２．関係を求めるためのユーザー試験データの解析
多くのユーザーがユーザー試験に参加した。データを解析するため、ヒストグラムおよび視覚パターンをプロットするような累積的なデータ解析が使われる。一つのユーザー試験から収集されたデータは次のような構成である。ユーザーの性格データ、次いでニュースストーリー、音楽ビデオおよびトークショーのそれぞれについてユーザーが選択したオーディオ、ビデオおよび画像。
【００３２】
性格データ自身は次のものを含む：性別、年齢、マイヤーズ・ブリッグズ・タイプ指標の４つの行、個人間関係最大化（Maximizing  Interpersonal  Relationships）の２つの行、および最後に聴覚型および左配向を含む{brain.exe}についての２つの行である。
【００３３】
当該コンテンツについて選択されたサマリー（すなわち選択されたサマリーまたはコンテンツセグメント）は各ビデオセグメントについて次のような構成となっている。
１．ビデオ選択番号（1,2,3,4または5）。ここで、1〜4は選択のためにユーザーに提供される4つのサマリーであり、5は前記４つの呈示されたサマリー1〜4以外のユーザー独自のビデオセグメント／サマリーが選ばれたことを示す。
２．ビデオ選択番号のあとには、選択されたセグメント／サマリーの、秒単位での開始および終了時刻が含められる。
３．オーディオサマリー選択番号（1〜5、ビデオサマリーと同様）にも開始および終了時刻が続く。
４．最後に、画像サマリーとして選択された画像についての番号（1,2または3）。これはたとえば単一の静止画像である。
【００３４】
我々の解析のおける第一のステップは、パターンをみつけるために、データの累積的な解析および視覚検査を実行することである。
２．１  ヒストグラム解析
オーディオ、ビデオおよび画像セグメントの選択においてどのくらいのばらつきが存在するかを決定するため、ビデオ選択についての応答のヒストグラムがプロットされる。たとえば、ヒストグラムから、所与のビデオセグメントについて誰もが一貫して第二のビデオ部分と第一のビデオ部分を選択したことを示していたら、パーソナル化した要約の必要は全くない。そのような（ビデオおよびオーディオについてそれぞれ第二と第一の部分を含む）ただ一つのサマリーがすべてのユーザーにあてはまるからである。また、ビデオが選択された実際の時間のヒストグラムもプロットされた。
【００３５】
図２はビデオ時間分布のヒストグラム２０を示している。ここで、ｘ軸が、ユーザーに呈示された３０秒のニュースストーリーにおける、ビデオ選択の対象となる時間（単位：秒）である。ヒストグラム２０のｙ軸は、たとえばこの場合にはニュースストーリーであるビデオの対応する時間セグメントを選択した回数またはユーザー数である。ヒストグラム２０について見られるように、ニュースストーリーのほぼ１から１０秒の間は当該ビデオ部分を６人のユーザーが選択した。ニュースストーリーの１０秒から２秒の間に見せられたビデオ部分は３０人から３５人まで増えるユーザーが選択した。この３０秒のニュースストーリーのほぼ２３秒以降の間に見せられたビデオ部分は３０人から２５人まで減るユーザーが選択した。
２．２  主成分解析および因子解析
主成分解析（PCA:  principal  component  analysis）は、いくつかの（可能性としては）相関した変数を主成分と呼ばれる（より少ない）ある数の相関のない変数に変換する数学的手続きに関わるものである。最初の主成分がデータ中のばらつきのできるだけ多くを説明し、以後の成分のそれぞれは残りのばらつきのできるだけ多くを説明する。
【００３６】
もう一つの非常によく似た解析は因子解析である。これは変数の集合をより少ない数の変数または因子に帰着させるのに使われる統計学上の技法である。因子解析は変数間の相互相関のパターンを調べ、互いの間では高い相関をもつが他のサブセット（または因子）との間では低い相関を示すような変数のサブセット（または因子）があるかどうかを決定する。
【００３７】
MATLABのprincompコマンドが実行され、結果として得られる固有ベクトルは、どの固有ベクトルが有意かを見るためにプロットされる。次に、これらの固有ベクトルに対応する主成分（principal  components）がプロットされる。
【００３８】
さらに、MATLABにおいてfactoran関数が使用された。これは、因子解析（factor  analysis）モデルにおける因子負荷量行列ラムダの最尤推定値（MLE:  maximum  likelihood  estimate）を計算するものである。
【００３９】
Xd×1＝μd×1＋λd×tft×1＋ed×1
ここで、Xは長さdの観測されたベクトル（この場合、d＝q＋wである；ここで、性格特徴は1からqで、ビデオ特徴は1からw）、μは平均を表す定数ベクトル、λは因子負荷量行列、fは独立な標準化された共通因子のベクトル、eは独立な固有因子のベクトルである。
【００４０】
性格とコンテンツ解析特徴との間のマッピングにおける有意なパターンを見出すため、大規模な主成分および因子解析がデータに対して実行された。
２．２．１  コンテンツ解析特徴
解説上の例として、ニュース、トークショーおよび音楽ビデオのような３つの異なるジャンルからのコンテンツがコンテンツ解析のために使われる。もちろん、リアリティ番組、料理番組、ハウツー番組、スポーツ関連番組など、これ以外の、あるいは追加的なジャンルを使ってもよい。
【００４１】
この節では、入力ビデオのために生成されたさまざまなビデオ、オーディオ（テキスト）および画像特徴に関係してさらなる詳細が与えられる。以下のビデオ特徴がニュースビデオについて生成された。ここで、いくつかのビデオ特徴は自動的に生成されたが、他のビデオ特徴は、アナリストが見て、その特定のビデオセグメントに関連付けられるものとして次のビデオ特徴のうちから少なくとも一つを選ぶことによって手動で生成された。
【００４２】
１．感情
２．顔の数
３．テキスト行数
４．グラフィックあり／なし
５．対話／独話
６．アンカー／ルポルタージュ（Anc/Rep）
７．インドア／アウトドア（In/Out）
８．ムード
９．パーソナリティ
１０．パーソナリティの名前
１１．暗い／明るい
上記の特徴は、ユーザーに呈示された画像（すなわち、１秒などある時間的な長さをもつビデオセグメントに対して単一のスチール画像）についても生成された。
【００４３】
見せられたコンテンツ（たとえば３０秒の長さのニュースビデオ）の間に話されたテキストについては、ニュースビデオについては次の特徴を含む基礎事実が生成された。
【００４４】
１．カテゴリー
２．話者
３．陳述型
４．過去／未来
５．事実／フィクション／その他
６．個人的／職業的
７．名前
８．場所
９．数
トークショーについては、テキスト特徴は上記と同じものが使われたが、ビデオ特徴の組は次のようにやや異なるものが使われた。
【００４５】
１．顔の数
２．テキスト行数
３．グラフィックあり／なし
４．対話／独話／風景
５．ホスト／ゲスト
６．インドア／アウトドア
７．パーソナリティ
８．パーソナリティの名前
９．暗い／明るい
音楽ビデオについては、次に列挙するオーディオおよびビデオ特徴の異なる組が使われた。活用されたビデオ特徴は次の事項を含んでいた。
【００４６】
１．顔の数
２．テキスト行数
３．グラフィックあり／なし
４．歌手／バンド
５．インドア／アウトドア
６．パーソナリティ
７．パーソナリティの名前
８．暗い／明るい
９．踊りあり／踊りなし
活用されたオーディオ／テキスト特徴は次の事項を含んでいた。
【００４７】
１．コーラス／その他
２．主たる歌手／その他
見て取れるように、３つのジャンルのそれぞれについて（すなわち、ニュースストーリーとトークショーと音楽ビデオについて）異なる特徴の組が使われた。よって、それらのジャンルのそれぞれについて独立してパターンが解析された。
２．２．２  概念値行列
主成分解析を使って解析されたジャンルのそれぞれについて、概念値行列が生成された。この行列においては、ユーザー試験に参加したユーザー「u」のそれぞれについて１行があった。最初の諸列は、そのユーザーが完了した性格試験Pから導かれた。
【００４８】
例として、１０の性格特徴が使われうる（g＝10としてPu1からP1g）。たとえば、MBTI性格試験から得られた４つの性格特徴、AATEC性格試験から得られた２つの性格特徴、brain.exe性格試験から得られた２つの性格特徴などである。さらに、年齢と性別も使用され、合計１０個（g＝10）の性格特徴が得られた。次の諸列（Vu1からVuw）は、そのユーザーによって選ばれた特徴のそれぞれについての累積数を含む。たとえば音楽ビデオについて上記した９つのビデオ特徴についてはw＝9としてVu1からVuwの９つのビデオ特徴である。たとえば、各ユーザー（たとえばu＝52すなわち５２人のユーザーのうち）が８つのニュースストーリーからサマリーを選んだ場合、８つの選択されたサマリーのうち５つがV13（これはグラフィックあり／なし特徴である）を含んでいたら、下記の概念値行列（表２）におけるV13の値（表２）は５になる。
【００４９】
（ユーザー数）×（総性格特徴＋コンテンツ解析特徴）の行列が各ジャンルについて得られた。
【００５０】
表２は、パターンを見出すのに用いられる例示的な概念値行列である。
【００５１】
【表２】
2008502983.tif 000004
上の行列で、Pは性格特徴を表している。性格特徴はq個ある。Vはビデオ解析特徴を表している。ビデオ解析特徴はw個ある。試験に参加したユーザーの総数はuである。よって、概念行列はu×(q＋w)の次元をもつ。
【００５２】
例示的に、あらゆる性格列は−1から1の値域をもつ。ほとんどの部分については名辞（nominal）が使われ、−1は1の否定を表す。性別の性格値を含む列については、1は女性を、−1は男性を表す。４つのMBTI性格属性については、1は外向型、理性型、思考型、規範型を表すのに対し、−1は内向型、直感型、情緒型、柔軟型を表す。２つのメリル・リード性格属性については、1は質問型および感情型を表し、−1は弁舌型および統制型を表す。元来0〜100の値域であったbrain.exeデータは、生の数字から50を引いて50で割ることによって規格化された。これは、完全に聴覚型の人はスコア1をもち、完全に視覚型の人はスコア−1をもつことを保証する。同様に、左脳型の人はスコア1をもち、右脳型の人はスコア−1をもつ。年齢データはまず、マーケティングデータ収集に使われる区分に基づいて１０のグループに量子化される。使われた年齢グループ層は：0〜14、15〜19、20〜24、25〜29、30〜34、35〜39、40〜44、45〜49、50〜54、55〜60および60超。次いで、これらを−1から1に規格化するため、これらの層が−1.0（0〜14）、−0.8（15〜19）などと1（60歳超の年齢グループ）に至るまで割り当てられた。パターンが生じたときに若いユーザーか年配のユーザーかを言うことができるというアイデアである。
【００５３】
ビデオ、オーディオおよび画像特徴については、エンコードは次のように生成された。サマリーセグメントのそれぞれについて、そのセグメントにおける特徴を見出すために基礎事実データが解析される。たとえば、１０秒のセグメントの８秒においてテキストが存在している場合、テキストが存在という特徴に0.8の票が加えられる。同様に、ユーザーが５つのアンカーセグメントと３つのルポルタージュセグメントを選んだとすると、表２の「アンカー／ルポルタージュ」の列Vuwに値５が入れられた。
【００５４】
以下の節では、性格とコンテンツ解析特徴との間の相互作用のパターンを見出すために実行された、概念値行列の因子解析に関してさらに説明する。
２．２．３  ニュースパターン
ニュースについては、１０の性格特徴および３３のビデオ特徴が使われた。表２に示された概念値行列の列は次のとおりであった。
【００５５】
（性格特徴［Personality  Features］）女性、年齢、E/I、S/N、T/F、J/P、A/T、E/C、聴覚型、左脳型；
（視覚特徴［Visual  Features］）顔、テキスト、グラフィック、アウト／イン、幸福／中立、暗い／明るい；
（オーディオ／テキスト特徴［Audio/Text  Features］）説明、陳述、イントロ、サインイン、サインオフ、質問、答え、過去、現在、未来、事実／推定、職業的／個人的；
（画像特徴［Image  Features］）顔なし、顔１つ、顔多数、テキストなし、テキスト１つ、テキスト多数、グラフィックあり／なし、対話、風景、リポーティング（Reporting）、Rep/Anc、Out/In、暗い／明るい
ほとんどまたは全く変動を示さないようなある種の特徴（表２に示されている概念値行列の列）は消去された。線形従属の列もやはり消去された。次に、この行列の因子解析の実行の結果、MATLABのfactoran関数が返す統計を評価する３つの因子が得られた。この３つの因子はさらに２つの因子に帰着された。次に、前記因子のビデオ特徴にのみ、あるいは性格特徴にのみ現れた特徴が一つずつ消去された。たとえば、ある因子において、２つのみが有意であり、その両者とも性格特徴であれば、一方が他方を予言するということを意味しており、特徴の一つは消去できる。
【００５６】
たとえば０に近い一意的な分散を生じたため、以下の特徴は消去された：年齢（P）、思考型／情緒型（P）、アウトドア／インドア（V）、暗い／明るい（V）、イントロ（introduction）（T）、ルポルタージュ／アンカー（I）、テキストなし（I）、テキスト１つ（I）、グラフィック（I）、風景（I）、アウトドア／インドア（I）および暗い／明るい（I）。そのような特徴を消去したのち、図３に示すように一つの有意な因子が残された。図３は、限られた特徴をもつニュースビデオについて最終的な有意な因子（図３の参照数字３０で示される）を示すものである。
【００５７】
図３を参照すると、＋0.2および−0.2の閾値が使われた。最初の３つのデータ点、すなわち女性／男性、外向型／内向型、感情型／統制型はみな閾値−0.2より下であり、よって−1の値が与えられる。これについてはのちに性格と特徴空間との間のマッピングに使われるアルゴリズムの記述との関連でより詳細に説明する。よって、最初の３つのデータ点は男性、内向型および統制型を示す。次の３つのデータ点は、３０秒のニュースビデオの１０秒のサマリーにおけるビデオ特徴、すなわち顔、テキストおよびルポルタージュで、それぞれ−1、＋1、＋1の値を有しており、ユーザーによって選択されたサマリーが顔を含まないが、テキストおよびルポルタージュは含んでいることを示している。図３の最後のデータ点は、サマリーとして選ばれたスチール画像の特徴、すなわちリポーティングで、値は−1であり（閾値−0.2より低いので）、男性であり、内向型および統制型の性格をもつユーザーによってサマリー中に選ばれたスチール画像がリポーティングを含んでいないことを示している。
２．２．４  トークショーパターン
トークショーについてのパターンの解析を実行するために、ここでもまた概念値行列が使われた。表２に示された概念値行列の列は次のとおりであった。
【００５８】
（性格特徴［Personality  Features］）女性、年齢、E/I、S/N、T/F、J/P、A/T、E/C、聴覚型、左脳型；
（視覚特徴［Visual  Features］）顔（存在／不在）、イントロ、埋め込み、対話、ホスト、ゲスト、ホストゲスト、その他；
（オーディオ／テキスト特徴［Audio/Text  Features］）説明、陳述、イントロ、質問、答え、過去、現在、未来、話者（ゲスト／ホスト）、事実／推定、職業的／個人的；
（画像特徴［Image  Features］）顔の数（複数／一つ）、埋め込み、対話、ホスト、ゲスト、ホストゲスト
ニュースパターン解析と同様に、分散が小さいか他の特徴に線形従属であるかするある種の特徴は消去された。消去された低分散の特徴には以下の特徴が含まれる：脳特徴（聴覚型（P）および左脳型（P））、埋め込みビデオ（V）、説明（T）、質問（T）、答え（T）、未来（T）。消去された、他の特徴に線形従属な特徴には、ゲスト（V）、対話（I）、ホストゲスト（I）、ホスト（I）が含まれる。
【００５９】
これ以外の特徴も、因子解析が個別の因子として特徴を引き出したため、あるいは一意的な分散が０になったために消去された。質問型／弁舌型（P）、顔（V）、イントロ（V）、ホストゲスト（V）、イントロ（T）、陳述（T）、現在（T）、事実／推定（T）、埋め込み（I）である。トークショーデータの因子解析ののち、消去の終わりの時点では、トークショーについての３つの最終的な因子解析ベクトル４０、５０、６０が残った。それを図４〜６に示してある。
【００６０】
たとえば図４を参照すると、最初の因子解析ベクトル４０（トークショーからのデータについてのもの）の最初の５つのデータ点はユーザーに関係している。このユーザーはすなわち「理性型か直感型か、すなわちS/N」＝＋1（理性型）である。ここで、閾値処理ののち、＋0.2より上の値には＋1が割り当てられ、−0.2より下の値には−1が割り当てられる。−0.2から＋0.2までの間の値については、特徴は有意ではない。たとえば、どちらでもいいである。ここで、たとえば、女性＝どちらでもいい、とは、ユーザーは女性かもしれないし男性かもしれないということを示す。図４に示されるように、他のどちらでもいい特徴には「外向型か内向型か、すなわちE/I」、「思考型か情緒型か、すなわちT/F」、「感情型か統制型か、すなわちE/C」が含まれる。次の２つのデータ点はトークショーのサマリーとして選ばれたビデオ部分に関係しており、「ホスト」＝どちらでもいい、「その他」＝どちらでもいいを含んでいる。次の３つのデータ点はトークショーのサマリーとして選ばれたテキストに関係しており、「過去」＝−1および「話者（ゲスト／ホスト）」＝＋1および「職業的／個人的」＝＋1を含んでいる。次の３つのデータ点はトークショーのサマリーとして選ばれた画像に関係しており、「顔の数（複数／一つ）」＝＋1および「イントロ」＝−1および「ゲスト」＝＋1を含んでいる。
【００６１】
こうして、図４に示された例示的な場合には、「理性型」である男性または女性の視聴者が、複数の顔およびゲストを含むサマリーを選んでおり、よってやはり複数の顔およびゲストを含むコンテンツを好んでいる。
２．２．５  音楽ビデオのパターン
音楽ビデオについてパターンを決定するために、次の列をもつ概念値行列（表２）を使って同様の解析が実行された。
【００６２】
｛女性、年齢、E/I、S/N、T/F、J/P、A/T、E/C、顔、テキスト、グラフィック、アウト／イン、幸福／中立、暗い／明るい、歌手存在、コーラス／その他、踊りあり／踊りなし、主たる歌手／その他｝
因子解析について同様の手続きが実行された。
【００６３】
因子解析については、小さな分散をもつか、別個の因子として引き出されていた特徴を消去する同様の手続きを行い、次の有意な因子を得た。我々は概念ベクトルを拡張し、我々の特徴は次のようなものだった。
【００６４】
｛女性、年齢、E/I、S/N、T/F、J/P、A/T、E/C、聴覚型、左脳型、顔、テキスト、グラフィック、アウト／イン、幸福／中立、暗い／明るい、歌手存在、コーラス／その他、踊りあり／踊りなし、主たる歌手／その他、顔なし、顔１つ、顔多数、テキスト、歌手／バンド、イン／アウト、明るい／暗い｝
分散が小さな特徴から始めて、我々は脳のビット（聴覚型（P）および左脳型（P））を消去した。片側相関および内部相関および低分散、あるいは独立であることに基づくなど、さまざまな因子に基づいて特徴を消去したのち、図７に示される最終的な因子７０が得られた。ここでは有意な関係はうかがえなくなっている。
【００６５】
これで概念値行列（表２）に基づいてパターン、たとえば図３〜７に示すパターンが得られたので、性格とコンテンツ特徴との間のマッピングが生成される。
３．アルゴリズム
因子解析から得られた結果に基づき、ユーザーの性格タイプおよび入力ビデオ番組が与えられたときにパーソナル化されたサマリーを生成するアルゴリズムが設計された。
【００６６】
これまでの節から、いくつかの有意な因子が性格特徴をコンテンツ解析特徴に関係づけることがわかる。次は、そうしたパターンに基づく要約アルゴリズムの定式化が記述される。
３．１  性格と特徴空間の間のマッピング
性格と特徴との間のマッピングを生成して、ある人の性格が与えられたときにどのような特徴が好まれるかを決定でき、その逆（特徴が与えられたときにどのような性格の人がその特徴を好むか）もできるようにすることが望まれる。各特徴について、その特徴が性格特徴によって好かれるか嫌われるかする確率を与えるベクトルが必要とされる。
【００６７】
まず、因子解析が実行され、「f」個の有意な因子が得られる。それは下記の行列Fの行である。λは有意と考えられる因子（または主成分）である。λkは各ジャンルについて我々が有している全部でf個の有意な因子のうちのk番目の因子を指す。因子のそれぞれはP（性格）部分とV（ビデオ特徴）部分を有する。P部分は1…qまでで、V部分はq＋1…q＋wである。λijは上記の因子解析の実行から得られる実数値の属性である。
【００６８】
【数１】
2008502983.tif 000005
第二に、因子が閾値処理されて次のように＋1または−1の値を与える。ここで、θはたとえば0.2である。
【００６９】
【数２】
2008502983.tif 000006
この結果、1、−1、0のみをもつ行列が得られる。
【００７０】
たとえば、音楽ビデオデータについての最終的な因子（図７で符号７０で示されている）は上記の行列Fの１行によって表される。図７に示される音楽ビデオデータについての最終的な因子は、表３の１行目に記したように、５つの性格特徴（女性／男性（F/M）、E/I、S/N、T/F、E/C）および６つのビデオ特徴（テキスト、暗い／明るい（Dark/Bright）（D/B）、コーラス／その他（Chorus/Other）（C/O）、主たる歌手／その他（Main  singer/Other）（S/O）、テキスト（スチール画像の場合）、インドア／アウトドア（I/O）を含む。表３の２行目はそれぞれ閾値処理の前および後の行列の１行である。
【００７１】
【表３】
2008502983.tif 000007
これより、たとえば、統制タイプの性格（E/C＝−1）は音楽ビデオにおいてコーラス（コーラス／その他＝＋1）を好む。
【００７２】
第三に、一般的な性格Pベクトル（p1,...,pq）が一般的なビデオ特徴Vベクトル（v1,...,vw）に下記の行列Aを介して関連付けられ、それによりビデオ特徴がどのように性格に関係するかが示される。
【００７３】
V＝AP
ここで、行列Aは次のようなものである。
【００７４】
【数３】
2008502983.tif 000008
行列Aにおける行は性格ビット1ないしqであり、列はビデオまたはコンテンツビット1ないしwである。すなわち、上記の式でaijとして表されている、行列Aにおける重みは、w個のコンテンツ特徴のそれぞれをq個の性格特徴に関係させる。たとえば、視覚特徴5（i＝5）が性格特徴2（j＝2）によって好かれる場合、a52が1になる（−1なら「好きでない」ことを示し、0なら「どちらでもいい」すなわちたとえば好きでも嫌いでもどちらでもありうることを示す）。これらの重みは次のように導出される。
【００７５】
【数４】
2008502983.tif 000009
上記でモデル化されているのは、有意な因子については、ある性格特徴（添え字j）とビデオ解析特徴（添え字i）がいずれも正に有意であれば、ai,jが1インクリメントされるということである。これは、所与の性格特徴が所与のビデオ特徴を好むということを意味している。しかし、その因子において両符号が逆であれば、ai,jは−1デクリメントされる。これはその性格特徴がその所与のビデオ特徴を好まないということを意味する。
【００７６】
たとえば、表３からわかるように、統制タイプの性格（E/C＝−1）は音楽ビデオにおいてコーラス（コーラス／その他＝＋1）を好む。よって、この性格特徴およびコンテンツ特徴については、次のようになる。
【００７７】
ai,j＝(＋1)(−1)＝−1
行列Aは、種々の特徴から性格へのマッピングを与える。この行列の転置A′が性格から種々の特徴へのマッピングを与えることを注意しておくべきであろう。
３．２  性格に基づくビデオセグメントの分類
次に、個々のビデオセグメントを好むような性格に基づいてビデオセグメントが分類される。たとえば、上述したように、表３から、統制型の性格（E/C＝−1）は音楽ビデオにおいてコーラス（コーラス／その他＝＋1）を好む。この情報は性格分類（personality  classification）ベクトルCPとして計算される。
【００７８】
よって、ひとたび特徴と性格の間のマッピングが計算されたら、ビデオセグメントについての性格分類ベクトルCPが計算される。ビデオセグメントについての性格分類を有しておくことは、パーソナル化されたマルチメディアサマリーを生成するため、ユーザーの性格に基づいて推薦を生成するため、ならびにユーザーの性格タイプに従ってメディアを検索およびインデックス付けするために有用である。
【００７９】
特に、図８に示されるように、コンテンツを推薦するフローチャート８０はユーザーの性格属性を決定し（１１０）、コンテンツのコンテンツ特徴を抽出し（１２０）、性格属性およびコンテンツ特徴を性格属性とコンテンツ特徴との間の関連付けを含むマップに適用して当該ユーザーにとっての好ましい特徴を決定し（１３０）、前記好ましい特徴を含む少なくとも一つのプログラムコンテンツを推薦することを含む。前記適用する動作（１３０）はたとえばユーザーにとっての重要度に従ってコンテンツ特徴をランク付けすることによってサマリーをパーソナル化する。前記好ましい特徴は、当該コンテンツの他の特徴よりも高いランクを有するコンテンツ特徴を含むものである。重要度は前記マップを使って決定されうる。
【００８０】
図９は、たとえば以下の諸動作を含む、マップを生成するための方法２００を示している：被験者が少なくとも一つの性格試験を受けることにより被験者の性格特徴を決定し（２１０）、被験者が複数の番組を観察し（２２０）、被験者が前記複数の番組についての好ましいサマリーを選択し（２３０）、前記好ましいサマリーの試験特徴を決定し（２４０）、前記性格特徴を前記試験特徴と関連付ける（２５０）。
【００８１】
あるビデオセグメントの「性格タイプ」を生成するため、そのセグメントについて種々のビデオ／オーディオ／テキスト解析特徴（Vw×1）が生成される。このベクトルは、あるビデオセグメント中の各特徴について特徴が存在するか否かの情報を含む。性格マッピング行列Aw×qが与えられれば、各セグメントについての性格分類（CP）は下記のように導出される。
【００８２】
CPq×1＝(cp1,cp1,...,cpq)′＝A′q×wVw×1
上の式は、種々の性格をビデオセグメントにマッピングする。
３．３  パーソナル化されたサマリー生成アルゴリズム
ひとたび特徴から性格へのマッピングが得られたら、パーソナル化されたサマリーが生成できる。パーソナル化されたサマリー生成は２つの方法のうちの一つにおいて実装できる。
【００８３】
１．ビデオセグメント中の諸特徴を前記のAに基づいて性格にマッピングし、これに性格プロファイルを適用してビデオセグメントにフィルタする。
【００８４】
２．性格を前記のA′に基づいて特徴にマッピングし、これをフィルタとしてビデオセグメントに適用する。
【００８５】
第一の場合については、以下にパーソナル化されたサマリー生成を列挙する。
【００８６】
１．マッピング行列Aw×qが与えられる。
【００８７】
２．あるビデオセグメント中の各特徴について特徴が存在するか否かを述べる特徴ベクトルVw×1が与えられる。
【００８８】
３．ユーザープロファイルUq×1が与えられる。これが性格マッピングを与える。
【００８９】
４．ビデオセグメントについての性格分類ベクトルCPの計算を上記のようにして、すなわち：
CPq×1＝(cp1,cp1,...,cpq)′＝A′q×wVw×1
として行う。
【００９０】
５．ユーザープロファイルにとっての上記の分類ベクトルの重要度（importance）IをCとUのドット積
I＝U・CP
として計算する。各セグメントは各特徴からスコアを受け取り、該スコアが合計されるのである。
【００９１】
６．ビデオの全セグメントS1,...,Stについて重要度I1,...,Itを計算する。
【００９２】
７．最後に、最高の重要度から始めて選択されたセグメントの継続時間が所定の閾値に満たないまでセグメントを選択していく。
【００９３】
第二の場合、すなわち性格を前記のA′に基づいて特徴にマッピングし、これをフィルタとしてビデオセグメントに適用する場合。
【００９４】
１．マッピング行列Aw×qが与えられる。
【００９５】
２．あるビデオセグメント中の各特徴について特徴が存在するか否かを述べる特徴ベクトルVw×1が与えられる。
【００９６】
３．ユーザープロファイルUq×1が与えられる。これが性格マッピングを与える。
【００９７】
４．プロファイルベクトルにとってのビデオ分類ベクトルCVの計算を
CVw×1＝(cv1,cv2,...,cvw)′＝Aw×qWq×1
として行う。
【００９８】
５．上の式が種々のビデオ特徴を当該ユーザーの性格プロファイルにマッピングする。
【００９９】
６．マッピングされたユーザープロファイルについての上記の分類ベクトルの重要度（importance）IをCとVのドット積
I＝V・CV
として計算する。
【０１００】
７．ビデオの全セグメントS1,...,Stについて重要度I1,...,Itを計算する。
【０１０１】
８．最後に、最高の重要度から始めて選択されたセグメントの継続時間が所定の閾値に満たないまでセグメントを選択していく。
【０１０２】
上記の２つのアプローチは多少なりとも等価である。しかし、第二のアプローチでは、マッピングはユーザープロファイルに対して一度しか行われない。これは計算の複雑さを軽減する。新しいビデオを解析するたびに特徴を性格空間にマッピングする必要はないのである。
３．４  コンテンツ推薦
３．２節で述べたように各ビデオについて性格分類を生成することによって、本質的にはビデオ全体が分類される。あるビデオがたまたまある種の性格タイプ、たとえば外向型の気に入るより多くのセグメントを有していたとすると、そのビデオ（映画、シットコムなど）は外向型のユーザーに推薦できる。これは、今日の最新技術がユーザーが視聴した番組の詳細な履歴を必要とし、番組表データから導出されたキーワードに基づいてプロファイルを構築してそれを新たなコンテンツに一致させているのを大いに単純化する。
３．５  利用シナリオ
パーソナル化されたサマリーの自動生成はいかなる電子装置でも使用できる。図１０に示す電子装置３００は、上記のように、サマリーおよびまたはコンテンツのパーソナル化されたサマリーおよび推薦を生成するよう構成されたプロセッサ３１０を有している。たとえば、プロセッサ３１０は、コンテンツのユーザーの性格属性を決定し、コンテンツの特徴を抽出し、前記特徴から前記性格属性へのマップに基づいてパーソナル化されたサマリーを生成するよう構成されうる。たとえば、電子装置３００はテレビ、リモコン、セットトップボックス、コンピュータもしくはパソコン、電話のような任意の移動型装置または携帯情報端末（PDA）のような電子手帳でありうる。
【０１０３】
例示的に、パーソナル化されたサマリーの自動生成は次の諸シナリオにおいて使用されうる。
【０１０４】
１．当該アプリケーションのユーザーがテレビ（リモコン）またはパソコンと対話して、性格タイプについての若干の基本的な質問に答える（使うのはマイヤーズ・ブリッグズ・タイプ試験、メリル・リード試験および／またはbrain.exe試験などのようないかなる性格試験でもよい）。次いで、３．３節で述べたサマリー生成アルゴリズムがローカルで、あるいは中央サーバーで適用されて、生成されたテレビ番組のサマリーがローカルに保存されるか、より広範囲のネットワーク上のどこかで利用可能となるかする。個人プロファイルがさらにローカルに、あるいはリモート位置に保存されうる。
【０１０５】
２．当該アプリケーションのユーザーが移動型装置（電話やPDA）と対話して、自分の性格についての入力を与える。システムがネットワークのどこかで（中央サーバーで、あるいは分散ノードの集合で）パーソナル化されたサマリー生成を実行し、ユーザーに対してパーソナル化されたサマリー（たとえばマルチメディアのニュースサマリー）をユーザーの移動型装置上で届ける。ユーザーはこれらの項目を管理および削除できる。あるいはまた、システムはこれらの項目を毎日リフレッシュでき、古い項目を抹消できる。
【０１０６】
３．パーソナル化アルゴリズムはケーブルまたは衛星を通じて提供されるビデオオンデマンドシステムの一部としてのサービスとして使うことができる。
【０１０７】
４．パーソナル化アルゴリズムは物理的な、あるいはウェブ上の任意のビデオレンタルまたはビデオ販売サービスの一部であってもよい。当該システムは、パーソナル化されたサマリーを提供することによってユーザーが好みそうなビデオコンテンツを推薦することにおいてユーザーを支援しうる。
【０１０８】
本発明について特定の諸実施形態を参照しつつ述べてきたが、付属の請求項において述べられる本発明の精神および範囲から外れることなく数多くの変形に訴えることができることは理解されるであろう。したがって、明細書および図面は解説的な仕方で見なされるべきものであって、付属の特許請求の範囲を限定することを意図したものではない。
【０１０９】
請求項を解釈する際には、以下のことを理解しておくべきである：
ａ）「有する」の語は所与の請求項に挙げられている以外の要素または動作の存在を排除しない。
ｂ）要素の単数形の表現はそのような要素の複数の存在を排除しない。
ｃ）請求項に参照符号があったとしてもそれは特許請求の範囲を限定するものではない。
ｄ）いくつかの「手段」は同一の項目、すなわちハードウェアまたはソフトウェアで実装される構造または機能によって表現されていてもよい。
ｅ）開示される要素のそれぞれは、ハードウェア部分（たとえば別個の電子回路および集積電子回路を含む）、ソフトウェア部分（たとえばコンピュータプログラミング）およびその任意の組み合わせから構成されうる。
ｆ）ハードウェア部分はアナログ部分およびデジタル部分の一方または両方から構成されうる。
ｇ）特別に断りのない限り、開示される装置またはその部分のいずれも、一緒に組み合わせたり、あるいはさらなる部分に分割したりされてもよい。
ｈ）特に示さない限り、動作のいかなる特定の序列も必要であるとは意図されていない。
【図面の簡単な説明】
【０１１０】
【図１】メリル・リード試験に基づく二次元の性格マップを示す図である。
【図２】ビデオの時間分布のヒストグラムを示す図である。
【図３】限られた特徴をもつ新しいビデオのための最終的に有意な因子を示す図である。
【図４】トークショーのための最終的な因子解析ベクトルを示す図である。
【図５】トークショーのための最終的な因子解析ベクトルを示す図である。
【図６】トークショーのための最終的な因子解析ベクトルを示す図である。
【図７】音楽ビデオデータのための最終的な因子解析ベクトルを示す図である。
【図８】コンテンツを推薦するためのフローチャートである。
【図９】マップを生成するための方法を示す図である。
【図１０】コンテンツを生成するかサマリーを生成するシステムを示す図である。
【図１】
2008502983.tif 000010
【図２】
2008502983.tif 000011
【図３】
2008502983.tif 000012
【図４】
2008502983.tif 000013
【図５】
2008502983.tif 000014
【図６】
2008502983.tif 000015
【図７】
2008502983.tif 000016
【図８】
2008502983.tif 000017
【図９】
2008502983.tif 000018
【図１０】
2008502983.tif 000019
【国際調査報告】
2008502983.tif 000020
2008502983.tif 000021
2008502983.tif 000022