(57)【要約】人工知能アプリケーションは正例及び負例を含む訓練セットの利用を必要とする。負例は、特徴空間における優位な特徴に関して正例の分布を利用して選択される。負例は、特徴空間における優位な特徴の値を前記正例と共有する又は略共有する。このタイプの訓練セットが、コンテンツリコメンダ、特にテレビジョン番組についてのリコメンダに関して説明される。
2004527841.tif 000002
【特許請求の範囲】
【請求項１】
正例及び負例を持つ訓練セットの利用を必要とする人工知能アプリケーションを実行するように構成された処理装置であって、
データ及び／又は命令を保存するように構成された少なくとも１つのメモリと、
前記少なくとも１つのメモリを利用して、訓練のための正例のセットを認識し保持する操作、及び前記正例のセットに応じて訓練のための負例のセットを選択する操作を実行するように構成された少なくとも１つのプロセッサと、
を有する処理装置。
【請求項２】
前記負例のセットは正例のセットと同じ数のメンバを持つ、請求項１に記載の装置。
【請求項３】
前記人工知能アプリケーションはコンテンツリコメンダである、請求項１に記載の装置。
【請求項４】
前記コンテンツはテレビ番組である、請求項３に記載の装置。
【請求項５】
前記正例及び負例は少なくとも１つの特徴によって記述されることができ、前記特徴は特徴空間内に複数のとり得る値を持ち、
前記正例のセットは少なくとも１つのサブセットを含み、各前記サブセットは前記特徴空間中の所定の特徴の同一の値をそれぞれ共有する複数のメンバを含み、前記所定の特徴は前記特徴空間において優位な特徴となるように予め決定されたものであり、
前記負例のセットは、前記正例のセットの前記少なくとも１つのサブセットにそれぞれ対応する、少なくとも１つのサブセットを含み、各該負例のサブセットのメンバは、それぞれの該負例のサブセットに対応する前記正例のセットのサブセットのメンバと、前記所定の特徴の同一の値をそれぞれ共有するように選択される、請求項１に記載の装置。
【請求項６】
前記負例のセットは少なくとも１つのそれぞれの負例の第２のサブセットを含み、前記それぞれの負例の第２のサブセットのメンバは、それぞれの前記同一の値を除く前記同一の値の所定の範囲内にある所定の特徴の値を持つように選択される、請求項５に記載の装置。
【請求項７】
前記負例のセット中に２回出現する負例は無い、請求項６に記載の装置。
【請求項８】
前記所定の特徴は時刻である、請求項５に記載の装置。
【請求項９】
正例及び負例を持つ訓練セットの利用を必要とする、コンテンツを推薦する方法であって、
訓練のための正例のセットを認識し保持するステップと、
前記正例のセットに応じて訓練のための負例のセットを選択するステップと、
を有する方法。
【請求項１０】
前記負例のセットは前記正例のセットと同じ数のメンバを持つ、請求項９に記載の方法。
【請求項１１】
コンピュータプログラムであって、前記コンピュータプログラムを実行したときに、プログラム可能な機器が請求項１乃至８のいずれか一項に記載の装置として機能することを可能にするコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、正例（ｐｏｓｉｔｉｖｅ ｅｘａｍｐｌｅ）及び負例（ｎｅｇａｔｉｖｅ ｅｘａｍｐｌｅ）を持つ訓練セット（ｔｒａｉｎｉｎｇ ｓｅｔ）を必要とする人工知能アプリケーション、特にとりわけテレビジョンを伴う利用のための推薦システムに関する。本発明は、更により詳細には、訓練セットのために負例を選択する統計的に有効な手法を利用するかようなアプリケーションに関する。
【０００２】
【従来の技術】
米国特許出願シリアル番号０９／４９８，２７１（ＵＳ００００１８、２０００年２月４日出願、参照により本明細書に組み込まれたものとする）は、テレビジョン推薦システムを開示している。該システムにおいて推薦は、観られた又は観られていない番組（ｓｈｏｗｓ）のパターンに基づいて推論される。勿論、観られていない番組の数は必然的に観られた番組の数を小さく見せてしまう。従って、観られていない番組を選択するため発見的方法（ｈｅｕｒｉｓｔｉｃ）が開発された。前記発見的方法は、各観られた番組について観られていない番組を選択するためのものであり、ここで前記観られていない番組は、対応する観られた番組が出現するスロットの他の時間スロットからランダム的に抽出される。
【０００３】
【発明が解決しようとする課題】
一般に、多くの人工知能アプリケーションは正例及び負例を持つ訓練セットを持つ。負例を選択するための前記発見的手法は、それぞれの個々の正例について１つずつランダム的に負例を選択するという発想に対する改善を必要とする。
【０００４】
本発明の目的は、人工知能アプリケーションのための訓練セットのための負例を選択する発見的手法を改善することにある。
【０００５】
【課題を解決するための手段】
本目的は、１つずつではなく、負例の群が正例の群に対応して選択されることにおいて達成される。
【０００６】
本目的は更に、前記負例の群が、優位だと推定される特徴に従って分析されることにおいて達成される。次いで前記負例の第１の断片が、前記正例の特徴を共有する正でないとり得る例から抽出される。
【０００７】
本目的はなお更に、前記番組の第２の断片が、前記特徴に対して特徴空間の所定の範囲内のスロットから抽出されることにおいて達成される。本目的はなおまた更に、１回より多く抽出される負例は無いということにおいて達成される。
【０００８】
有利にも、ここでのアプリケーションはテレビジョンのようなコンテンツについてのリコメンダ（ｒｅｃｏｍｍｅｎｄｅｒ）であり、ここで正例は選択されたコンテンツであり、負例は選択されなかったコンテンツである。また有利にも、前記特徴は放送の時刻である。
【０００９】
更なる目的及び利点は以下において明らかとなるであろう。
【００１０】
本発明は、以下の図を参照しながら限定的でない例として以下に説明されるであろう。
【００１１】
【発明の実施の形態】
本発明はここではテレビジョンのためのリコメンダに関して説明されるが、本発明は他のタイプのコンテンツのためのリコメンダを含む、いずれの人工知能アプリケーションのための訓練セットにも同様に適用できるものである。「番組（ｓｈｏｗｓ）」という語は、オーディオ、ソフトウェア及びテキスト情報を含む、リコメンダによって推薦され得るコンテンツの他のいずれのタイプのコンテンツを包含するものとして意図される。「観る（ｗａｔｃｈ）」又は「観られた（ｗａｔｃｈｅｄ）」という語は、例えば聴く又は読むといった、いずれのタイプのコンテンツの体験を含む、いずれのタイプの正例の選択をも包含するものとして意図される。本発明は、時間が観られなかったコンテンツから観られたコンテンツを区別する優位な特徴であるという仮定とともに説明される。しかしながら、他の優位な特徴が訓練セットのための負例を選択するためのパラメータとして利用されても良い。
【００１２】
図１３は、本発明を実装するハードウェアを示す。前記ハードウェアは典型的にディスプレイ１、何らかのタイプのプロセッサ２、何らかのタイプの接続３を介して前記プロセッサに接続された少なくとも１つユーザの入力装置４、及びテレビジョン番組又は電子番組ガイド（ＥＰＧ）データのようなデータを受信する何らかのタイプのリンク５を持つ。ディスプレイ１は一般にテレビジョンスクリーンであるが、いずれの他のタイプの表示装置であっても良い。プロセッサ２は、十分な処理能力がある限りはセットトップボックス、ＰＣ、又は他のいずれのタイプのデータ処理装置であっても良い。ユーザ入力装置４はリモートであっても良く、接続３は赤外線接続のような無線接続であっても良い。前記プロセッサがＰＣである場合、前記ユーザ入力装置は例えばキーボード及びマウスのようなポインタ装置といったように、一般に少なくとも複数である。前記ユーザ入力装置はタッチ感応（ｔｏｕｃｈ ｓｅｎｓｉｔｉｖｅ）ディスプレイであっても良い。外界への接続５はアンテナ、ケーブル、インターネットへの電話線、ネットワーク接続、又は他のいずれのデータリンクであっても良い。更にリンク５は、リモートプロセッサ、周辺装置、及び／又はメモリ装置のような、多くの異なるタイプの装置との通信を可能にしても良い。
【００１３】
一般に、ＣＤ−ＲＯＭドライブ、フロッピー（登録商標）ディスクドライブ、ハードドライブ、又は他のいずれのタイプのメモリ装置のような、少なくとも１つのメモリ装置６がある。メモリ装置６はデータ、ソフトウェア又はこれら両方を保存することができる。
【００１４】
音声認識システム、ＰＣカメラ、スピーカ及び／又はプリンタのような、図示されていない他の周辺機器があっても良い。
【００１５】
図１は、ユーザＨとして知られる特定の視聴者に関して、均一なランダム的サンプリングを利用して負例がどのように選択されるかを示す。縦軸は番組の時刻を示す。横軸は前記サンプルの序数を示す。丸印は観られた番組であり、十字印は対応する観られなかったサンプルである。観られた番組は主に夜のプライムタイム部分に密集し、一方で少量の観られた番組が他の時刻、特に恐らく視聴者が仕事又は学校に出かける前の朝のとても早い時刻にあることがわかる。
【００１６】
図２は、図１に示された丸印のデータに対応する、時刻に対してプロットされた正例のヒストグラム、即ちユーザＨによって観られた番組の数を示す。図２、３，５、６、９及び１０に関して、水平方向のスケールはおおよそのものであることは留意されるべきである。バーはその下に列記された時刻に正確に対応しているものとみなされるべきではない。
【００１７】
図３は、均一なランダム的サンプリングを利用した負例、即ち観られなかった番組のヒストグラムを示す。ここでも、番組の数が時刻に対してプロットされている。このデータは図１の十字印に対応する。
【００１８】
図４は、ユーザＣと呼ばれる第２のユーザに関するものとして得られることを除いて、図１におけるようなものと同一のタイプのデータを示す。ユーザＨについてよりも少ないサンプルが該ユーザについて得られる。ユーザＣは１７５個のサンプルを持ち、一方でユーザＨは２７５より多いサンプルを持つ。
【００１９】
図５は、ユーザＣに関するものであることを除き、図２と同様である。
【００２０】
図６は、ユーザＣに関するものであることを除き、図３と同様である。
【００２１】
図１４は、本発明による訓練セットを構築する処理のフローチャートを示す。該フローチャートの操作は、プロセッサ２又はリンク５を介してプロセッサ２に接続された若しくはプロセッサ２からデータを受信するいずれのプロセッサ上において実行されても良い。同様に、例えばコンテンツリコメンダのような人工知能アプリケーション自体が、プロセッサ２又はリンク５を介してプロセッサ２に接続された若しくはプロセッサ２からデータを受信するいずれのプロセッサ上において訓練され実行されても良い。
【００２２】
１４０１において、統計的に有意なサイズの観られた番組の母集団が蓄積される。ユーザＨ及びＣの例においては、前記母集団のサイズはそれぞれ２７５及び１７５より多いが、統計的に有意である限りは他のサイズも利用可能である。
【００２３】
１４０２において、観られた番組の時間に対する分布が決定され、好適な時間スロットが決定される。前記分布は、ヒストグラムの形で得られる。ここで図２又は図５を参照のこと。好適な実施例においては、最も多くの番組を持つ５つの時間スロットが選択される。しかしながら、より多い又はより少ない好適な時間スロットが選択されても良い。任意に、前記ユーザによって視聴された全ての時間スロットが利用されても良い。本例においては、ユーザＨについて５つの最も好適な時間スロットは順番に２１：００、２０：００、１９：００、２３：００及び２２：００であり、ユーザＣについて５つの最も好適な時間スロットは順番に８：００、２３：００、２０：００、２４：００及び１０：００である。
【００２４】
次いで１４０３において、該ユーザの前記好適な時間スロットにおいて負例の第１の断片が選択される。好適な実施例においては前記断片は５０％である。
【００２５】
１４０４において、任意に、前記好適な時間スロットの周囲の所定の時間間隔から、負例の第２の断片が取得される。好適な実施例においては前記第２の断片は、単一の最も好適な時間スロットの直前及び直後の時間から取得される。任意のステップ１４０４が省略される場合、全ての負例は、好適な時間スロットからか又は該ユーザによって視聴された全ての時間スロットから取得されるべきである。従って、１４０２において前記ユーザによって利用された全ての時間スロットを利用するという選択肢は、ステップ１４０４が省略される場合は恐らく選択されるべきである。
【００２６】
次いで１４０５において前記第１の断片および全ての前記第２の断片を含むように負例のセットが選択される。好適な実施例においては前記負例のセットは実際は丁度前記第１及び第２の断片である。
【００２７】
１４０６において、正例及び負例のセットを利用してリコメンダが訓練される。図７は、ユーザＨについての、今回は負例が図１４の手法に従って選択された点を除いて図１と同一のタイプのグラフを示す。時間に関して、正例がある場所においては本質的に負例があることは留意されるべきである。負例における明らかな単調な曲線は、単に負例が選択された順序のアーティファクト（ａｒｔｉｆａｃｔ）である。これらはいずれの特定の順序で選択される必要はない。
【００２８】
図８は、ユーザＣについての、今回は負例が図１４の手法に従って選択された点を除いて図４と同一のタイプのグラフを示す。ここでもまた、負例の明らかな単調な曲線は、単に負例が選択された順序のアーティファクトであるため、意味を持たない。図９は、ユーザＨに関する、負例が図１４の手法に従って選択された点を除き、図３と同様のものである。ユーザＨに関する正例のヒストグラムは、上述のものと同一であるため、ここでは繰り返されない。
【００２９】
図１０は、ユーザＣに関する、負例が図１４の手法に従って選択された点を除き、図６と同様のものである。
【００３０】
図１４の手法は、実験的に２０％より大きな平均の性能の増加を達成することを示す。性能は、ユーザの調査評価情報が集められた、ＴＶ番組のセットについての推薦の精度として測定される。図１５は、どのように性能が評価されたかを理解するのに有用な表を示す。この表は以下の４つの用語を定義する：
前記システムが肯定の回答を予測し、実際には肯定の回答であった場合（ＴＰ）、
前記システムが否定の回答を予測し、実際には肯定の回答であった場合（ＦＮ）、
前記システムが肯定の回答を予測し、実際には否定の回答であった場合（ＦＰ）、
前記システムが否定の回答を予測し、実際には否定の回答であった場合（ＴＮ）。
【００３１】
このとき「ヒット率」は以下の式によって定義される：
ヒット率＝ＴＰ／（ＴＰ＋ＦＰ）
また、誤った正の率は以下の式によって算出される：
誤った正の率＝ＦＰ／（ＦＰ＋ＴＮ）
【００３２】
図１１は、ユーザＨについてのヒット率を誤った正の率の関数として示す。星印は適応型サンプリングに従ったサンプリングについての曲線を示し、丸印は負例が均一なランダム的な分布において抽出された場合のサンプリングについての曲線を示す。
【００３３】
通常コンテンツリコメンダは最初に、ユーザに関してコンテンツの各部分についての成功率を割り当てる。次いで、前記コンテンツは、該成功率が何らかの閾値を超えた場合に推薦される。図１１の曲線上の点は、異なる閾値に対応する。図１６の表２は、図１１に導く算出のタイプの更なる説明を示す。この表において、ヒットの数の値、誤った負の数、真の却下（ｒｅｊｅｃｔｉｏｎ）の数、誤った負の数、ヒット率及び誤った負の率が、種々の閾値の値、即ち０．０５のステップで０から１までの値に対して示される。表２の値は実際には、本発明に従って選択された負例を利用したユーザＣについてのものである。
【００３４】
図１２はユーザＣについての幾つかの曲線を示す。正例の母集団がユーザＣよりユーザＨについてのほうが大きいため、双方の手法はユーザＣよりもユーザＨについてのほうが良く働く。しかしながら、どちらの場合においても、適応型サンプリングによる負例のセットは少なくとも２０％の改善を与える。
【００３５】
上述の例において、負例のセットは一般に、正例の数と同じ数のメンバを持つように選択される。しかしながら当業者は、負例の数が正例の数よりも多い又は少ないような本発明による訓練セットを設計することができる。
【００３６】
本開示を読むことにより、他の変更が当業者には明らかであろう。かような変更は、人工知能のための訓練セットの設計、製造及び利用において既に知られた、ここで既に説明された特徴の代わりに又は該特徴に加えて利用され得る、他の特徴を含んでも良い。本願において請求項は特徴の特定の組み合わせに明確化されているが、本願の開示の範囲は、本発明が軽減するものと同一のいずれの又は全ての技術的な問題を軽減するか否かにかかわらず、ここで明白に又は暗黙に開示されたいずれの新規な特徴又は特徴の新規な組み合わせ、又はその一般化をも含むことは理解されるべきである。本出願人はこれによって、方法、記憶媒体において実施化されるソフトウェア、及び手段の請求項を含む新たな請求項が、本出願又は本出願から得られる更なる出願の手続きの間、かような特徴に明確化されても良いという注意を与えた。
【００３７】
ここで利用されるような「有する（ｃｏｍｐｒｉｓｅ）」という語は、付加的な構成要素を除外するものとしてみなされるべきではない。ここで利用される単数形の冠詞「１つの（「ａ」又は「ａｎ」）」は、複数の構成要素を除外するものとしてみなされるべきではない。
【図面の簡単な説明】
【図１】ユーザＨとして知られる特定の視聴者に関して、均一のランダム的サンプリングを利用して負例がどのように選択されるかをグラフで表す。
【図２】図１に対応する正例のヒストグラムを示す。
【図３】図１に対応する負例のヒストグラムを示す。
【図４】ユーザＣに関するということを除き、図１と同様である。
【図５】ユーザＣに関するということを除き、図２と同様である。
【図６】ユーザＣに関するということを除き、図３と同様である。
【図７】負例を選択するために本発明を利用しているということを除き、図１と同様である。
【図８】負例を選択するために本発明を利用しているということを除き、図４と同様である。
【図９】負例を選択するために本発明を利用しているということを除き、図３と同様である。
【図１０】負例を選択するために本発明を利用しているということを除き、図６と同様である。
【図１１】ユーザＨについてのヒット率を誤った正の率の関数として示す。
【図１２】ユーザＣに関するということを除き、図１１と同様である。
【図１３】本発明を実装するハードウェアを示す。
【図１４】本発明による訓練セットを構築する処理のフローチャートを示す。
【図１５】表を示す。
【図１６】表を示す。
【図１】
2004527841.tif 000003
【図２】
2004527841.tif 000004
【図３】
2004527841.tif 000005
【図４】
2004527841.tif 000006
【図５】
2004527841.tif 000007
【図６】
2004527841.tif 000008
【図７】
2004527841.tif 000009
【図８】
2004527841.tif 000010
【図９】
2004527841.tif 000011
【図１０】
2004527841.tif 000012
【図１１】
2004527841.tif 000013
【図１２】
2004527841.tif 000014
【図１３】
2004527841.tif 000015
【図１４】
2004527841.tif 000016
【図１５】
2004527841.tif 000017
【図１６】
2004527841.tif 000018
【国際公開パンフレット】
2004527841.tif 000019
2004527841.tif 000020
2004527841.tif 000021
2004527841.tif 000022
2004527841.tif 000023
2004527841.tif 000024
2004527841.tif 000025
2004527841.tif 000026
2004527841.tif 000027
2004527841.tif 000028
2004527841.tif 000029
2004527841.tif 000030
2004527841.tif 000031
2004527841.tif 000032
2004527841.tif 000033
2004527841.tif 000034
2004527841.tif 000035
2004527841.tif 000036
【国際調査報告】
2004527841.tif 000037
2004527841.tif 000038
2004527841.tif 000039