【誤訳訂正書】
【提出日】平成20年7月22日(2008.7.22)
【誤訳訂正１】
【訂正対象書類名】明細書
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【書類名】明細書
【発明の名称】人工知能アプリケーションのための負例を選択する適応型サンプリング手法
【特許請求の範囲】
【請求項１】
推論の結果選択されるべき事象である正例を複数有する正例の集合と、選択されるべきでない事象である負例を複数有する負例の集合と、からなるデータであって、該正例及び負例の各々は大小関係を評価することが可能な共通のパラメタを有するデータである訓練セットの利用を必要とする、所定の事象が推薦されるか否かを推論する人工知能アプリケーションを実行するように構成された処理装置であって、
前記データ及び／又は前記処理装置を動作させる命令を保存するように構成された少なくとも１つのメモリと、
前記少なくとも１つのメモリに保存されたデータの中から、訓練のための正例のセットと、前記正例のセットに応じて訓練のための負例のセットと、を抽出する操作を実行するように構成された少なくとも１つのプロセッサと、
を備えた処理装置において、
前記プロセッサは、
前記抽出した正例の集合を第一の規則に従って前記パラメタの内容に基づいて複数の正例の群に分類し、
前記抽出した負例の集合を前記第一の規則に従って前記パラメタの内容に基づいて複数の負例の群に分類し、
前記複数の正例の群の各々に、当該正例の群に適用された条件と同一の条件によって分類された負例の群の各々を一対として対応させて、該一対の正例の群及び負例の群を１つの訓練セットとして、所定の事象が推薦されるか否かを推論する人工知能アプリケーションの訓練を行うプロセッサである、
人工知能アプリケーションを実行するように構成された処理装置。
【請求項２】
前記プロセッサは、
前記１つの訓練セットに、当該訓練セットを構成する正例の群が有するパラメタ範囲から所定の上下範囲にあるパラメタを有する前記負例を更に追加したものを当該訓練セットとして前記訓練を行うプロセッサである、請求項１に記載の処理装置。
【請求項３】
前記パラメタは時刻である、請求項２に記載の装置。
【請求項４】
演算の結果選択されるべき事象である正例を複数有する正例の集合と、選択されるべきでない事象である負例を複数有する負例の集合と、からなるデータであって、該正例及び負例の各々は大小関係を評価することが可能な共通のパラメタを有するデータ及び／又は前記処理装置を動作させる命令を保存するように構成された少なくとも１つのメモリと、
前記少なくとも１つのメモリに保存されたデータの中から、訓練のための正例のセットと、前記正例のセットに応じて訓練のための負例のセットと、を抽出する操作を実行するように構成された少なくとも１つのプロセッサと、
を備えた処理装置に対して、
前記プロセッサに、
前記抽出した正例の集合を第一の規則に従って前記パラメタの内容に基づいて複数の正例の群に分類させ、
前記抽出した負例の集合を前記第一の規則に従って前記パラメタの内容に基づいて複数の負例の第一の群に分類させ、
前記複数の正例の群の各々に、当該正例の群に適用された条件と同一の条件によって分類された負例の群の各々を一対として対応させて、該一対の正例の群及び負例の群を１つの訓練セットとして、所定の事象が推薦されるか否かを推論する人工知能アプリケーションの訓練を行わせるためのコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、正例（positive example）及び負例（negative example）を持つ訓練セット（training set）を必要とする人工知能アプリケーション、特にとりわけテレビジョンを伴う利用のための推薦システムに関する。本発明は、更により詳細には、訓練セットのために負例を選択する統計的に有効な手法を利用するかようなアプリケーションに関する。
【０００２】
【従来の技術】
米国特許出願シリアル番号０９／４９８,２７１（ＵＳ００００１８、２０００年２月４日出願、参照により本明細書に組み込まれたものとする）は、テレビジョン推薦システムを開示している。該システムにおいて推薦は、観られた又は観られていない番組（shows）のパターンに基づいて推論される。勿論、観られていない番組の数は必然的に観られた番組の数を小さく見せてしまう。従って、観られていない番組を選択するため発見的方法（heuristic）が開発された。前記発見的方法は、各観られた番組について観られていない番組を選択するためのものであり、ここで前記観られていない番組は、対応する観られた番組が出現するスロットの他の時間スロットからランダム的に抽出される。
【０００３】
【発明が解決しようとする課題】
一般に、多くの人工知能アプリケーションは正例及び負例を持つ訓練セットを持つ。負例を選択するための前記発見的手法は、それぞれの個々の正例について１つずつランダム的に負例を選択するという発想に対する改善を必要とする。
【０００４】
本発明の目的は、人工知能アプリケーションのための訓練セットのための負例を選択する発見的手法を改善することにある。
【０００５】
【課題を解決するための手段】
本目的は、１つずつではなく、負例の群が正例の群に対応して選択されることにおいて達成される。
【０００６】
本目的は更に、前記負例の群が、優位だと推定される特徴に従って分析されることにおいて達成される。次いで前記負例の第１の群が、前記正例の特徴を共有する正でないとり得る例から抽出される。
【０００７】
本目的はなお更に、前記番組の第２の群が、前記特徴に対して特徴空間の所定の範囲内のスロットから抽出されることにおいて達成される。本目的はなおまた更に、１回より多く抽出される負例は無いということにおいて達成される。
【０００８】
有利にも、ここでのアプリケーションはテレビジョンのようなコンテンツについてのリコメンダ（recommender）であり、ここで正例は選択されたコンテンツであり、負例は選択されなかったコンテンツである。また有利にも、前記特徴は放送の時刻である。
【０００９】
更なる目的及び利点は以下において明らかとなるであろう。
【００１０】
本発明は、以下の図を参照しながら限定的でない例として以下に説明されるであろう。
【００１１】
【発明の実施の形態】
本発明はここではテレビジョンのためのリコメンダに関して説明されるが、本発明は他のタイプのコンテンツのためのリコメンダを含む、いずれの人工知能アプリケーションのための訓練セットにも同様に適用できるものである。「番組（shows）」という語は、オーディオ、ソフトウェア及びテキスト情報を含む、リコメンダによって推薦され得るコンテンツの他のいずれのタイプのコンテンツを包含するものとして意図される。「観る（watch）」又は「観られた（watched）」という語は、例えば聴く又は読むといった、いずれのタイプのコンテンツの体験を含む、いずれのタイプの正例の選択をも包含するものとして意図される。本発明は、時間が観られなかったコンテンツから観られたコンテンツを区別する優位な特徴であるという仮定とともに説明される。しかしながら、他の優位な特徴が訓練セットのための負例を選択するためのパラメタとして利用されても良い。
【００１２】
図１３は、本発明を実装するハードウェアを示す。前記ハードウェアは典型的にディスプレイ１、何らかのタイプのプロセッサ２、何らかのタイプの接続３を介して前記プロセッサに接続された少なくとも１つユーザの入力装置４、及びテレビジョン番組又は電子番組ガイド（ＥＰＧ）データのようなデータを受信する何らかのタイプのリンク５を持つ。ディスプレイ１は一般にテレビジョンスクリーンであるが、いずれの他のタイプの表示装置であっても良い。プロセッサ２は、十分な処理能力がある限りはセットトップボックス、ＰＣ、又は他のいずれのタイプのデータ処理装置であっても良い。ユーザ入力装置４はリモートであっても良く、接続３は赤外線接続のような無線接続であっても良い。前記プロセッサがＰＣである場合、前記ユーザ入力装置は例えばキーボード及びマウスのようなポインタ装置といったように、一般に少なくとも複数である。前記ユーザ入力装置はタッチ感応（touch sensitive）ディスプレイであっても良い。外界への接続５はアンテナ、ケーブル、インターネットへの電話線、ネットワーク接続、又は他のいずれのデータリンクであっても良い。更にリンク５は、リモートプロセッサ、周辺装置、及び／又はメモリ装置のような、多くの異なるタイプの装置との通信を可能にしても良い。
【００１３】
一般に、ＣＤ−ＲＯＭドライブ、フロッピー（登録商標）ディスクドライブ、ハードドライブ、又は他のいずれのタイプのメモリ装置のような、少なくとも１つのメモリ装置６がある。メモリ装置６はデータ、ソフトウェア又はこれら両方を保存することができる。
【００１４】
音声認識システム、ＰＣカメラ、スピーカ及び／又はプリンタのような、図示されていない他の周辺機器があっても良い。
【００１５】
図１は、ユーザＨとして知られる特定の視聴者に関して、均一なランダム的サンプリングを利用して負例がどのように選択されるかを示す。縦軸は番組の時刻を示す。横軸は前記サンプルの序数を示す。丸印は観られた番組であり、十字印は対応する観られなかったサンプルである。観られた番組は主に夜のプライムタイム部分に密集し、一方で少量の観られた番組が他の時刻、特に恐らく視聴者が仕事又は学校に出かける前の朝のとても早い時刻にあることがわかる。
【００１６】
図２は、図１に示された丸印のデータに対応する、時刻に対してプロットされた正例のヒストグラム、即ちユーザＨによって観られた番組の数を示す。図２、３，５、６、９及び１０に関して、水平方向のスケールはおおよそのものであることは留意されるべきである。バーはその下に列記された時刻に正確に対応しているものとみなされるべきではない。
【００１７】
図３は、均一なランダム的サンプリングを利用した負例、即ち観られなかった番組のヒストグラムを示す。ここでも、番組の数が時刻に対してプロットされている。このデータは図１の十字印に対応する。
【００１８】
図４は、ユーザＣと呼ばれる第２のユーザに関するものとして得られることを除いて、図１におけるようなものと同一のタイプのデータを示す。ユーザＨについてよりも少ないサンプルが該ユーザについて得られる。ユーザＣは１７５個のサンプルを持ち、一方でユーザＨは２７５より多いサンプルを持つ。
【００１９】
図５は、ユーザＣに関するものであることを除き、図２と同様である。
【００２０】
図６は、ユーザＣに関するものであることを除き、図３と同様である。
【００２１】
図１４は、本発明による訓練セットを構築する処理のフローチャートを示す。該フローチャートの操作は、プロセッサ２又はリンク５を介してプロセッサ２に接続された若しくはプロセッサ２からデータを受信するいずれのプロセッサ上において実行されても良い。同様に、例えばコンテンツリコメンダのような人工知能アプリケーション自体が、プロセッサ２又はリンク５を介してプロセッサ２に接続された若しくはプロセッサ２からデータを受信するいずれのプロセッサ上において訓練され実行されても良い。
【００２２】
１４０１において、統計的に有意なサイズの観られた番組の母集団が蓄積される。ユーザＨ及びＣの例においては、前記母集団のサイズはそれぞれ２７５及び１７５より多いが、統計的に有意である限りは他のサイズも利用可能である。
【００２３】
１４０２において、観られた番組の時間に対する分布が決定され、好適な時間スロットが決定される。前記分布は、ヒストグラムの形で得られる。ここで図２又は図５を参照のこと。好適な実施例においては、最も多くの番組を持つ５つの時間スロットが選択される。しかしながら、より多い又はより少ない好適な時間スロットが選択されても良い。任意に、前記ユーザによって視聴された全ての時間スロットが利用されても良い。本例においては、ユーザＨについて５つの最も好適な時間スロットは順番に２１：００、２０：００、１９：００、２３：００及び２２：００であり、ユーザＣについて５つの最も好適な時間スロットは順番に８：００、２３：００、２０：００、２４：００及び１０：００である。
【００２４】
次いで１４０３において、該ユーザの前記好適な時間スロットにおいて負例の第１の群が選択される。好適な実施例においては前記群は５０％である。
【００２５】
１４０４において、任意に、前記好適な時間スロットの周囲の所定の時間間隔から、負例の第２の群が取得される。好適な実施例においては前記第２の群は、単一の最も好適な時間スロットの直前及び直後の時間から取得される。任意のステップ１４０４が省略される場合、全ての負例は、好適な時間スロットからか又は該ユーザによって視聴された全ての時間スロットから取得されるべきである。従って、１４０２において前記ユーザによって利用された全ての時間スロットを利用するという選択肢は、ステップ１４０４が省略される場合は恐らく選択されるべきである。
【００２６】
次いで１４０５において前記第１の群および全ての前記第２の群を含むように負例のセットが選択される。好適な実施例においては前記負例のセットは実際は丁度前記第１及び第２の群である。
【００２７】
１４０６において、正例及び負例のセットを利用してリコメンダが訓練される。図７は、ユーザＨについての、今回は負例が図１４の手法に従って選択された点を除いて図１と同一のタイプのグラフを示す。時間に関して、正例がある場所においては本質的に負例があることは留意されるべきである。負例における明らかな単調な曲線は、単に負例が選択された順序のアーティファクト（artifact）である。これらはいずれの特定の順序で選択される必要はない。
【００２８】
図８は、ユーザＣについての、今回は負例が図１４の手法に従って選択された点を除いて図４と同一のタイプのグラフを示す。ここでもまた、負例の明らかな単調な曲線は、単に負例が選択された順序のアーティファクトであるため、意味を持たない。図９は、ユーザＨに関する、負例が図１４の手法に従って選択された点を除き、図３と同様のものである。ユーザＨに関する正例のヒストグラムは、上述のものと同一であるため、ここでは繰り返されない。
【００２９】
図１０は、ユーザＣに関する、負例が図１４の手法に従って選択された点を除き、図６と同様のものである。
【００３０】
図１４の手法は、実験的に２０％より大きな平均の性能の増加を達成することを示す。性能は、ユーザの調査評価情報が集められた、ＴＶ番組のセットについての推薦の精度として測定される。図１５は、どのように性能が評価されたかを理解するのに有用な表を示す。この表は以下の４つの用語を定義する：
前記システムが肯定の回答を予測し、実際には肯定の回答であった場合（ＴＰ）、
前記システムが否定の回答を予測し、実際には肯定の回答であった場合（ＦＮ）、
前記システムが肯定の回答を予測し、実際には否定の回答であった場合（ＦＰ）、
前記システムが否定の回答を予測し、実際には否定の回答であった場合（ＴＮ）。
【００３１】
このとき「ヒット率」は以下の式によって定義される：
ヒット率＝ＴＰ／（ＴＰ＋ＦＰ）
また、誤った正の率は以下の式によって算出される：
誤った正の率＝ＦＰ／（ＦＰ＋ＴＮ）
【００３２】
図１１は、ユーザＨについてのヒット率を誤った正の率の関数として示す。星印は適応型サンプリングに従ったサンプリングについての曲線を示し、丸印は負例が均一なランダム的な分布において抽出された場合のサンプリングについての曲線を示す。
【００３３】
通常コンテンツリコメンダは最初に、ユーザに関してコンテンツの各部分についての成功率を割り当てる。次いで、前記コンテンツは、該成功率が何らかの閾値を超えた場合に推薦される。図１１の曲線上の点は、異なる閾値に対応する。図１６の表２は、図１１に導く算出のタイプの更なる説明を示す。この表において、ヒットの数の値、誤った負の数、真の却下（rejection）の数、誤った正の数、ヒット率及び誤った正の率が、種々の閾値の値、即ち０．０５のステップで０から１までの値に対して示される。表２の値は実際には、本発明に従って選択された負例を利用したユーザＣについてのものである。
【００３４】
図１２はユーザＣについての幾つかの曲線を示す。正例の母集団がユーザＣよりユーザＨについてのほうが大きいため、双方の手法はユーザＣよりもユーザＨについてのほうが良く働く。しかしながら、どちらの場合においても、適応型サンプリングによる負例のセットは少なくとも２０％の改善を与える。
【００３５】
上述の例において、負例のセットは一般に、正例の数と同じ数のメンバを持つように選択される。しかしながら当業者は、負例の数が正例の数よりも多い又は少ないような本発明による訓練セットを設計することができる。
【００３６】
本開示を読むことにより、他の変更が当業者には明らかであろう。かような変更は、人工知能のための訓練セットの設計、製造及び利用において既に知られた、ここで既に説明された特徴の代わりに又は該特徴に加えて利用され得る、他の特徴を含んでも良い。本願において請求項は特徴の特定の組み合わせに明確化されているが、本願の開示の範囲は、本発明が軽減するものと同一のいずれの又は全ての技術的な問題を軽減するか否かにかかわらず、ここで明白に又は暗黙に開示されたいずれの新規な特徴又は特徴の新規な組み合わせ、又はその一般化をも含むことは理解されるべきである。本出願人はこれによって、方法、記憶媒体において実施化されるソフトウェア、及び手段の請求項を含む新たな請求項が、本出願又は本出願から得られる更なる出願の手続きの間、かような特徴に明確化されても良いという注意を与えた。
【００３７】
ここで利用されるような「有する（comprise）」という語は、付加的な構成要素を除外するものとしてみなされるべきではない。ここで利用される単数形の冠詞「１つの（「a」又は「an」）」は、複数の構成要素を除外するものとしてみなされるべきではない。
【図面の簡単な説明】
【図１】ユーザＨとして知られる特定の視聴者に関して、均一のランダム的サンプリングを利用して負例がどのように選択されるかをグラフで表す。
【図２】図１に対応する正例のヒストグラムを示す。
【図３】図１に対応する負例のヒストグラムを示す。
【図４】ユーザＣに関するということを除き、図１と同様である。
【図５】ユーザＣに関するということを除き、図２と同様である。
【図６】ユーザＣに関するということを除き、図３と同様である。
【図７】負例を選択するために本発明を利用しているということを除き、図１と同様である。
【図８】負例を選択するために本発明を利用しているということを除き、図４と同様である。
【図９】負例を選択するために本発明を利用しているということを除き、図３と同様である。
【図１０】負例を選択するために本発明を利用しているということを除き、図６と同様である。
【図１１】ユーザＨについてのヒット率を誤った正の率の関数として示す。
【図１２】ユーザＣに関するということを除き、図１１と同様である。
【図１３】本発明を実装するハードウェアを示す。
【図１４】本発明による訓練セットを構築する処理のフローチャートを示す。
【図１５】表を示す。
【図１６】表を示す。
【誤訳訂正２】
【訂正対象書類名】図面
【訂正対象項目名】図４
【訂正方法】変更
【訂正の内容】
【図４】
2004527841.tif 000001
【誤訳訂正３】
【訂正対象書類名】図面
【訂正対象項目名】図１１
【訂正方法】変更
【訂正の内容】
【図１１】
2004527841.tif 000002
【誤訳訂正４】
【訂正対象書類名】図面
【訂正対象項目名】図１２
【訂正方法】変更
【訂正の内容】
【図１２】
2004527841.tif 000003
【誤訳訂正５】
【訂正対象書類名】図面
【訂正対象項目名】図１４
【訂正方法】変更
【訂正の内容】
【図１４】
2004527841.tif 000004
【誤訳訂正６】
【訂正対象書類名】図面
【訂正対象項目名】図１６
【訂正方法】変更
【訂正の内容】
【図１６】
2004527841.tif 000005