(57)【要約】推薦システムを有するデジタルコンテンツサービスにレイティングを提供する新規ユーザのデモグラフィック情報の正確な検出を難読化する方法は、５つのデモグラフィック情報を検出する推論エンジンを訓練するステップを含む。訓練集合は、複数の他のユーザからの映画レイティングとデモグラフィック情報を含む。新規ユーザは、映画レイティング等のレイティングを入力し、推論エンジンは、新規ユーザのデモグラフィック情報を決定する。次に、難読化エンジンは、推薦システムの推論エンジンが新規ユーザのデモグラフィック情報を正確に検出するのに失敗するような映画レイティングを推薦システムに追加する。
2015521769.tif 000002
【特許請求の範囲】
【請求項１】
特定のユーザのデモグラフィック情報を難読化する方法であって、難読化エンジンによって行われる方法において、
他のユーザからのレイティングとデモグラフィック情報とを含む訓練データ集合を用いて、デモグラフィック情報を決定するために前記難読化エンジンと通信可能に接続した推論エンジンを訓練するステップと、
レイティング情報のみを含む前記特定のユーザからのレイティングであって、前記特定のユーザからの当該レイティングを評価する推薦システムに送られるレイティングを受信するステップと、
前記特定のユーザによって提供された前記レイティングから、前記特定のユーザの前記デモグラフィック情報を決定するステップと、
前記特定のユーザの前記決定されたデモグラフィック情報に反するレイティングを前記難読化エンジンによって生成するステップと、
前記生成されたレイティングを前記推薦システムに送信するステップと、
を含み、前記特定のユーザの前記生成されたレイティングは、前記推薦システムによる前記特定のユーザの前記デモグラフィック情報の決定を難読化する、
方法。
【請求項２】
前記特定のユーザからの前記レイティングは、映画のタイトルと映画レイティング値情報を含み、デモグラフィック情報を含まない、映画レイティングである、請求項１に記載の方法。
【請求項３】
前記特定のユーザの前記デモグラフィック情報は、性別情報である、請求項１に記載の方法。
【請求項４】
前記生成されたレイティングを前記推薦システムに送信するステップは、前記特定のユーザの前記決定されたデモグラフィック情報に反する付加的レイティングを送信することを含む、請求項１に記載の方法。
【請求項５】
前記付加的レイティングは、前記特定のユーザによって提供された映画レイティングの約１０％である、請求項４に記載の方法。
【請求項６】
前記決定するステップは、前記特定のユーザの前記デモグラフィック情報を分類器を用いて決定することを含む、請求項１に記載の方法。
【請求項７】
前記分類器は、サポートベクターマシーン、ロジスティック回帰アルゴリズム、および、ナイーブベイズモデル、多項モデル、混合モデルなどのベイズ的アプローチのうちの１つである、請求項６に記載の方法。
【請求項８】
前記生成されたレイティングは、推薦システムの品質を維持している、請求項１に記載の方法。
【請求項９】
難読化装置であって、当該装置を介して映画レイティングを推薦システムに提供する特定のユーザのデモグラフィック情報の正確な決定を難読化する装置において、
複数の他のユーザからの映画レイティングとデモグラフィック情報を含む訓練データ集合を入力するためのネットワークインタフェース内の受信部と、
メモリへのアクセスを有するプロセッサであって、推論エンジンを用いて、プログラムを実行することによって、前記映画レイティングに基づいたデモグラフィック情報を決定するプロセッサと、
前記決定されたデモグラフィック情報に反する付加的レイティングを生成するレイティング生成部と、
前記ユーザが提供した映画レイティングと前記付加的レイティングとの両方を前記推薦システムに送信する前記ネットワークインタフェース内の送信部と、
を備え、前記ユーザが提供したレイティングと前記付加的レイティングとの組み合わせによって、前記推薦システムが前記デモグラフィック情報を決定するのを妨げる、
難読化装置。
【請求項１０】
前記装置は、ユーザ装置の一部である、請求項９に記載の装置。
【請求項１１】
前記映画レイティングは、映画のタイトル情報と、映画レイティング値とを含む、請求項９に記載の装置。
【請求項１２】
前記特定のユーザの前記決定されたデモグラフィック情報は、性別情報である、請求項１に記載の装置。
【請求項１３】
前記特定のユーザの前記デモグラフィック情報の決定に際し、前記プロセッサを補佐する分類器をさらに備える、請求項１に記載の装置。
【請求項１４】
前記分類器は、サポートベクターマシーンおよびロジスティック回帰アルゴリズムのうちの１つである、請求項１に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２０１２年６月２１日に出願された米国仮特許出願第６１／６６２６１８号「Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  Ｆｏｒ  Ｏｂｆｕｓｃａｔｉｎｇ  Ｕｓｅｒ  Ｄｅｍｏｇｒａｐｈｉｃｓ  Ｂａｓｅｄ  ｏｎ  Ｒａｔｉｎｇｓ（レイティングに基づいてユーザのデモグラフィックスを難読化する方法および装置」の優先権を主張し、その全体を援用により本明細書に組み込むものとする。
【０００２】
本発明は、一般的に、推薦システムにおけるユーザプロファイリングおよびユーザのプライバシーに関する。本発明は、より詳細には、デモグラフィック情報の推論に関する。
【背景技術】
【０００３】
ユーザのデモグラフィックスの推論は、異なる文脈で、様々な種類のユーザが生成したデータに関して研究されてきた。相互作用ネットワークという文脈では、グラフ構造が、ブログやフェイスブック由来のソーシャルネットワークデータのリンクベース情報を用いたデモグラフィックスの推論に有用であることが分かった。他の作業は、デモグラフィックスを推論するために、ユーザの書き込みから得たテキスト特性に依存する。
【０００４】
テキストベースの推論の主な短所は、ほとんどのユーザはレビューを書かないので、これらの方法は、適用できないということである。同様に、推薦システムは、詳細を推論したいユーザのソーシャルネットワークを取得できない場合がある。
【０００５】
できるだけ少ない情報に基づいてユーザのデモグラフィックスを推論する方法が望まれていることが分かる。本発明は、このような推論方法に関する。
【発明の概要】
【０００６】
この概要は、発明の詳細な説明においてさらに後述する概念の一部を簡単に紹介するものである。この概要は、請求項に記載された事項の重要な特徴や不可欠な特徴を特定するためではなく、請求項に記載された事項の範囲を制限するものでもない。
【０００７】
本発明は、デジタルコンテンツに対するユーザレイティングから決定できるデモグラフィック情報を難読化する方法と装置を含む。一実施形態においては、性別情報は、ユーザの映画レイティングから決定してよい。プライバシーに関する懸念に対処するために、難読化方法と難読化装置を提示する。難読化方法は、難読化エンジンと通信する推論エンジンを訓練することを含む。推論エンジンは、複数の他のユーザからの映画レイティングとデモグラフィック情報を含む訓練データ集合を用いて、デモグラフィック情報を決定する。その後、新規ユーザからの映画レイティングを受信する。特定のユーザからの映画レイティングは、デモグラフィック情報なしで受信する。新規ユーザのデモグラフィック情報は、訓練された推論エンジンを用いて判断される。次に、付加的映画レイティングが、ユーザが生成したレイティングに追加される。付加的レイティングは、外部の推論エンジンによって行われる場合、ユーザのデモグラフィック情報の結果に反するように生成される。 外部の推論エンジンは、ユーザに視聴を勧める映画を推薦する推薦システムの一部であってよい。
【０００８】
本発明の追加の特徴および長所は、添付の図面を参照した、以下の例示の実施形態の詳細な説明から明らかになろう。
【図面の簡単な説明】
【０００９】
上記発明の概要、および、以下の例示的実施形態の詳細な説明は、添付図面を参照しながら読むと、よりよく理解できる、それらは、例として挙げるものであって、請求項の発明を制限するものではない。
【００１０】
【図１】本発明の態様による、推論エンジンのための例示の環境の実施形態を示す。
【図２ａ】Ｆｌｉｘｓｔｅｒ訓練データ集合に関する異なる分類器の受信者動作特性（ＲＯＣ）プロットを示す。
【図２ｂ】Ｍｏｖｉｅｌｅｎｓ訓練データ集合に関する異なる分類器の受信者動作特性（ＲＯＣ）プロットを示す。
【図２ｃ】Ｆｌｉｘｓｔｅｒ訓練データ集合のサイズによる精度の向上を示す。
【図２ｄ】Ｆｌｉｘｓｔｅｒの信頼値の累積分布関数（ＣＤＦ）を示す。
【図３】本発明の態様による推論エンジンの使用のフロー図の例を示す。
【図４】本発明の態様による推論エンジンの例を示す。
【図５ａ】難読化エンジン環境の第１の実施形態の例を示す。
【図５ｂ】難読化エンジン環境の第２の実施形態の例を示す。
【図５ｃ】本発明の態様による難読化エンジンの例を示す。
【図６】本発明の態様による難読化エンジンのフロー図の例を示す。
【発明を実施するための形態】
【００１１】
以下の様々な例示的実施形態の詳細な説明において、当該説明の一部を構成する添付図面が参照される。当該添付図面には、例として本発明の実施可能な様々な実施形態が示されている。本発明の範囲を逸脱することなく、他の実施形態を利用してもよく、構造および機能の変更を行ってもよいことは理解されたい。
【００１２】
性別、年齢、収入、人種などのデモグラフィック情報を介してユーザをプロファイリングすることは、ターゲット広告や個人に合わせたコンテンツ配信において、とても重要である。推薦システムも、個人に合わせた推薦を行うためにこのような情報の恩恵を受けることができる。しかしながら、推薦システムのユーザは、デモグラフィック情報を自発的に提供しないことが多い。これは、プライバシーを守るため意図的な場合もあり、面倒や無関心など非意図的な場合もある。そのため、多数のユーザからユーザレイティングを集めて、現れるパターンから意味のある情報を抽出するという従来の協調フィルタリング法は、ユーザが提供するレイティングにのみ依存して、このような情報を用いない。
【００１３】
一見すると、レイティングを推薦システムに開示することは、あまり害がないようにみえるかもしれない。ユーザはこの開示によって確かに効用を得る。すなわち、適切なコンテンツ／アイテムを探し出す能力である。にもかかわらず、ユーザのデモグラフィックスを、ソーシャルネットワーク、ブログ、マイクロブログ等でのユーザアクティビティに相関させることによって、ユーザアクティビティからユーザのデモグラフィックスを推論するには、かなりの作業量が必要であった。従って、年齢、性別、人種だけでなく、政治的方向性をも含む、デモグラフィック情報も協調フィルタリングシステムに開示された情報から推論できるか否かを問うことは自然なことである。実際には、レイティング値にかかわりなく、ユーザがアイテムと相互作用した（例えば、特定の映画を見た、特定の歌を聞いた、または、製品を買った）という単なる事実をデモグラフィック情報と相関させてよい。
【００１４】
このような推論が成功する可能性があるということは、幾つかの重要な意味合いを持つ。一方では、推薦者から見ると、デモグラフィック情報に関してユーザをプロファイリングすることは、幾つかの応用につながる。すなわち、このようなプロファイリングは、推薦だけでなく、広告からの追加の収入を生み出すことができる。広告主は特定のデモグラフィックグループをターゲットにすることに本来、関心を持っているからである。本発明は、このような推論技術に関する。ユーザが推論したい情報は、ユーザの性別であると仮定するが、本発明の方法は、別のデモグラフィック特性（年齢、人種、政治的方向性など）を推論するときにも適用される。また、具体的な実施形態は映画レイティングを対象とするが、これは一例に過ぎない。歌、デジタルゲーム、製品、レストラン等のレイティングを含むが、これらに限られない、任意の種類のレイティングを用いてよい。簡単、明快に理解できるように、映画レイティングを用いてデモグラフィック情報を判断する例を主に用いるが、他の種類のレイティングにも適用可能である。
【００１５】
図１は、例示のシステム１００、すなわち、本明細書に記載の推論エンジンのための環境を示す。他の環境でも可能である。図１のシステム１００は、ネットワーク１２０上のユーザにコンテンツを推薦する推薦システム１３０を示す。推薦システムの一般的な例には、Ｎｅｔｆｌｉｘ「登録商標」、Ｈｕｌｕ「登録商標」、Ａｍａｚｏｎ「登録商標」等のコンテンツプロバイダによって運営されるコンテンツ推薦システムが含まれる。通常、推薦システム１００は、加入ユーザに候補デジタルコンテンツを提供する。このようなコンテンツは、ストリーミングビデオ、ＤＶＤメーリング、本、記事、および、商品を含むことができる。一例として、ストリーミングビデオの事例においては、候補映画を、ユーザの過去の映画選択、または、ユーザプロファイル特性の選択に基づいてユーザに推薦することができる。一実施形態例として、ストリーミングビデオの事例を考える。
【００１６】
本発明の文脈においては、推論エンジン１３５は、推薦システム１３０に映画レイティングを送信するユーザ１２５が提供する非デモグラフィック情報からデモグラフィック情報を推論できるデータ処理装置であってよい。推論エンジン１３５は、ユーザ１２５が提供した映画レイティングを処理して、デモグラフィック情報を推論する働きをする。一例としての事例では、検討するデモグラフィック情報は性別である。しかし、本発明の態様に従って他のデモグラフィック情報を推論してよいことを当業者は認識されよう。このようなデモグラフィック情報には、年齢、人種、政治的方向性等が含まれるが、それらに限られない。
【００１７】
本発明の態様によると、下記のように、推論エンジン１３５は、ユーザ１、２〜ｎを介して獲得した訓練データ（それぞれ、１０５、１１０〜１１５）を用いて動作する。このユーザ達は、推薦システム１３０を介して映画レイティングデータとデモグラフィック情報を推論エンジン１３５に提供する。訓練データ集合は、ユーザ１０５〜１１５が推薦システムを使用することによって経時的に獲得されてよい。あるいは、推論エンジンは、入力ポート１３６を介して１つまたは複数のデータロードを直接インポートして訓練データ集合を入力することができる。ポート１３６は、訓練データを含むネットワーク、ディスクドライブ、または、他のデータソースから、訓練データ集合を入力するために用いてよい。
【００１８】
推論エンジン１３５は、アルゴリズムを利用して訓練データ集合を処理する。推論エンジン１３５は、次に、映画レイティングを含むユーザ１２５（ユーザＸ）の入力を利用する。映画レイティングは、映画のタイトル、映画の索引や参照番号等の映画を識別できるものを１つまたは複数と、ユーザ１２５に関するデモグラフィック情報を推論するためのレイティング値とを含む。「映画のタイトル」、または、より総称的に、本説明で用いる「映画識別子」は、ユーザ１２５が視聴する映画、ショー、ドキュメンタリー、シリーズ番組、デジタルゲーム、または、他のデジタルコンテンツの名前すなわちタイトル、またはデータベース索引などの識別子である。レイティング値は、ユーザ１２５が判定した視聴済デジタルコンテンツの主観的測度である。通常、レイティング値は、ユーザ１２５が行った品質アセスメントで、１〜５の基準で格付けされる。１は低い主観的スコアで、５は高い主観的スコアである。１〜１０の数字による評価、アルファベットによる評価、５つ星による評価、星半分の１０段階評価、または、「よくない」から「すばらしい」までの言葉による評価など、他の評価法を同様に用いてよいことを、当業者は認識されよう。本発明の態様によると、ユーザ１２５が提供した情報はデモグラフィック情報を含まず、推論エンジン１３５がユーザ１２５の映画レイティングのみからユーザ１２５のデモグラフィック情報を決定することに注意されたい。
【００１９】
本発明の態様によると、訓練データ集合を用いて、推論エンジン１３５を教育する。訓練データ集合は、推薦システム１３０と推論エンジン１３５の両方で入手可能であってよい。ここで、訓練データ集合の特徴を述べる。訓練データ集合は、Ｎ＝｛１，．．．，Ｎ｝のユーザの集合を含み、各ユーザは、カタログにある映画Ｍの部分集合にレイティングを与えている。Ｓi⊆Ｍは、ユーザｉ∈Ｎのレイティングがデータ集合内にある映画の集合を表し、ｒij，ｊ∈Ｓiは、ユーザｉ∈Ｎが映画ｊ∈Ｍに与えたレイティングを表す。さらに、各ｉ∈Ｎに関して、訓練データ集合は、ユーザの性別を示す２値変数ｙi∈｛０，１｝（ビット０は、男性ユーザにマッピングされる）も含む。訓練データ集合は、純粋であると仮定する、すなわち、レイティングラベルも性別ラベルも手を加えられず、難読化もされていない。
【００２０】
紙面を介した推薦機構は、商業システムで一般的に用いられ、行列の因数分解と仮定される。行列の因数分解を例として利用するが、任意の推薦機構を用いてよい。代替の推薦機構には、近傍法（ユーザのクラスタリング）、アイテムの文脈の類似性、または、当業者に既知の他の機構が含まれる。集合Ｍ＼Ｓ0のレイティングは、提供されたレイティングを訓練集合のレイティング行列に加えて、因数分解することによって生成する。より詳細には、各ユーザｉ∈Ｎ∪｛０｝を潜在特徴ベクトルｕi∈Ｒdに関連付ける。各映画ｊ∈Ｍと関連付けるのは、潜在特徴ベクトルｖj∈Ｒdである。正規化平均二乗誤差は、次式で定義される。
【００２１】
【数１】
2015521769.tif 000003
【００２２】
ここで、μは、データ集合全体の平均レイティングである。ベクトルｕi，ｖjは、傾斜降下によってＭＳＥを最小化することによって構築される。ｄ＝２０とλ＝０．３の値を用いる。このようにユーザと映画の両方をプロファイリングして、映画ｊ∈Ｍ＼Ｓ0´に対するユーザ０のレイティングは、＜ｕ0，ｖj＞＋μを通して予測される。
【００２３】
ＦｌｉｘｓｔｅｒとＭｏｖｉｅｌｅｎｓという２つの訓練データ集合の例を考える。Ｆｌｉｘｓｔｅｒは、映画レイティングおよびレビューのための公的に入手可能なオンラインソーシャルネットワークである。Ｆｌｉｘｓｔｅｒを用いて、ユーザはデモグラフィック情報を自分のプロファイルに入力したり、自分の映画レイティングやレビューを友達や公衆と共有することができる。そのデータ集合は、１００万人のユーザを有し、そのうち、３万４２００人のユーザが、自分の年齢と性別を共有している。この３万４２００人のユーザからなる部分集合は、１万７０００の映画をレイティングし、５８０万のレイティングを提供してきた。１万２８００人の男性が２４０万のレイティングを提供し、２万１４００人の女性が、３４０万のレイティングを提供してきた。Ｆｌｉｘｓｔｅｒを用いて、ユーザは星半分のレイティングを提供することができるが、評価データ集合同士を整合させるために、そのレイティングは、１〜５の整数に切り上げる。別のデータ集合は、Ｍｏｖｉｅｌｅｎｓである。この第２のデータ集合は、Ｇｒｏｕｐｌｅｎｓ（商標）調査チームから公的に入手可能である。このデータ集合は、３７００の映画と、６０００人のユーザによる１００万のレイティングからなる。４３３１人の男性が７５万のレイティングを提供し、１７０９人の女性が２５万のレイティングを提供してきた。
【００２４】
デモグラフィック情報を決定するために、推論エンジンでは分類器を用いる。上記のように、デモグラフィック情報は、多くの特性を含むことができる。デモグラフィックの例として、性別の決定を本発明の一実施形態として記載する。しかし、ユーザの別または複数のデモグラフィック特性の判断も本発明の範囲に含まれる。
【００２５】
分類器を訓練するために、ｊ∈Ｓiの場合、ｘij＝ｒij、そうでない場合、ｘij＝０というように、訓練データ集合内の各ユーザｉ∈Ｎを固有ベクトルｘi∈ＲMに関連付ける。２値変数ｙiがユーザｉの性別を示すことを思い起こすと、性別は分類において従属変数の働きをする。Ｘ∈ＲNXMは、固有ベクトルの行列を表し、Ｙ∈｛０，１｝Nは性別ベクトルを表す。
【００２６】
2015521769.tif 000004
【００２７】
【数２】
2015521769.tif 000005
【００２８】
である。
【００２９】
次に、クラス事前確率分類について記載する。クラス事前確率分類は、他の分類器の性能を評価する基準方法の役割をする。母集団の性別クラスが不均一に分布したデータ集合を考えると、この基本的な分類戦略は、多数派の性別を有するとして、全てのユーザを分類する。これは、
【００３０】
【数３】
2015521769.tif 000006
【００３１】
として設定された訓練集合から推定された、生成モデルＰ（ｙ｜ｘ）＝Ｐ（ｙ）に基づいて、等式（１）を用いることに等しい。
【００３２】
2015521769.tif 000007
【００３３】
【数４】
2015521769.tif 000008
【００３４】
2015521769.tif 000009
【００３５】
次に、本発明の態様による混合ナイーブベイズについて記載する。上記多項ナイーブベイズの代替となるもので、発明者は混合ナイーブベイズと称している。このモデルは、ユーザは、通常、正規分布のレイティングを行うという仮定に基づいている。より詳細には、
【００３６】
【数５】
2015521769.tif 000010
【００３７】
2015521769.tif 000011
【００３８】
次に、本発明におけるロジスティック回帰の使用について記載する。上記全てのベイズ法の重大な欠点は、映画レイティングは独立していると仮定していることである。この欠点に対処するために、発明者は、ロジスティック回帰を使用した。線形回帰は、係数の集合β=｛β0，β1… ，βM｝を生成することを思い起こすと、固有ベクトルｘiを有するユーザｉ∈Ｎの分類は、最初に、確率
【００３９】
【数６】
2015521769.tif 000012
【００４０】
を計算して行う。ユーザは、Ｐi＜０．５の場合、女性に分類され、そうでない場合、男性に分類される。値Ｐiは、また、ユーザｉの分類の信頼値の役割を果たす。ロジスティック回帰を用いる大きな利点の一つは、係数βが各映画とクラスの間の相関の程度を捕捉することである。本事例においては、大きな正のβjは、映画ｊがクラス男性と相関しており、小さい負のβjは、映画ｊがクラス女性と相関していることを示す。係数がゼロでない、各性別と相関した少なくとも１０００の映画を有するように、正規化パラメータを選択する。
【００４１】
機械学習において、サポートベクターマシーン（ＳＶＭ）は、データを分析してパターンを認識する関連する学習アルゴリズムを有する監視学習モデルで、分類および回帰分析に用いられる。当技術分野で周知のように、ＳＶＭは、直観的に、間違えて分類されたユーザの超平面からの距離を最小にする、異なる性別に属するユーザを分ける超平面を見つける。ＳＶＭは、ロジスティック回帰の長所の多くを保持する。すなわち、特徴空間での独立性を前提とせず、係数を生成する。特徴空間（映画の数）は既にかなり多いので、分類器の評価では線形ＳＶＭを用いる。パラメータ空間（Ｃ）にわたって対数探索を行って、発明者はＣ＝１で最高の結果となることを発見した。
【００４２】
【表１】
2015521769.tif 000013
【００４３】
【表２】
2015521769.tif 000014
【００４４】
ＦｌｉｘｓｔｅｒとＭｏｖｉｅｌｅｎｓデータ集合の両方に関して、全てのアルゴリズムを評価した。１０分割交差検証を行い、平均精度と再現率を両データ集合に関して計算し、平均受信者動作特性（ＲＯＣ）曲線を１０分割データを通して計算した。ＲＯＣに関して、データ集合内の男性から正確に分類された男性の比率として真陽性率を計算し、データ集合内の女性から不正確に分類された男性として偽陽性率を計算する。表１は、３つの測定基準であるＡＵＣ、精度、および、再現率に関する分類結果の概要を示す。表２は、同じ結果を性別ごとに分けて示す。ＲＯＣ曲線を図２ａ、図２ｂに示す。表１は、３つの測定基準であるＡＵＣ、適合率、および、再現率に関する分類結果の概要を示す。表２は、同じ結果を性別ごとに分けて示す。
【００４５】
ＲＯＣ曲線から分かるように、ＳＶＭとロジスティック回帰曲線は、両方のデータ集合に関して、他の曲線より優位にあるので、ＳＶＭおよびロジスティック回帰は、どのベイズモデルよりも優れている。詳細には、Ｆｌｉｘｓｔｅｒに関してはロジスティック回帰が最も優れており、Ｍｏｖｉｅｌｅｎｓに関してはＳＶＭが最も優れていた。ベルヌーイモデル、混合モデル、および、多項モデルの性能は、互いに大きくは異ならない。この結果は、表１のＡＵＣ値によってさらに確認される。この表はまた、他の全ての方法により性能の劣る単純なクラス事前確率モデルの弱点を示している。
【００４６】
一般的に、分類タスクにおける精度は、真陽性の数（すなわち、陽性クラスに属するとして正確にラベル付けされたアイテムの数）を、陽性クラスに属するとしてラベル付けされた要素の総数（すなわち、真陽性と、陽性クラスに属するとして間違ってラベル付けされたアイテムである偽陽性との和）で割ったものである。この文脈における再現率とは、真陽性を、実際に陽性クラスに属する要素の総数（すなわち、真陽性と、陽性クラスに属するとしてラベル付けされるべきであったのにされなかったアイテムである偽陰性との和）で割った数として定義される。
【００４７】
精度および再現率という点で、ロジスティック回帰が、Ｆｌｉｘｓｔｅｒのユーザでは、両方の性別に関して他の全てのモデルに勝っていることを表２は示している。Ｍｏｖｉｅｌｅｎｓのユーザに関しては、ＳＶＭが全ての他のアルゴリズムに勝っており、ロジスティック回帰が二番目によい。一般的に、推論は、各データ集合において多数派の性別（Ｆｌｉｘｓｔｅｒでは女性、Ｍｏｖｉｅｌｅｎｓでは男性）に関してよい成績を収める。これは、ＳＶＭに関して特に明らかである。ＳＶＭは、多数派のクラスに関して非常に高い再現率を示し、少数派のクラスに関して低い再現率を示す。混合モデルは、ベルヌーイモデルで有意に向上し、結果は多項モデルに類似する。これは、ガウス分布を使用することが、レイティング分布に関して十分に正確な推定とはいえない可能性があることを示している。
【００４８】
2015521769.tif 000015
【００４９】
訓練集合のサイズの影響を評価した。１０分割交差検証を用いたので、訓練集合は、評価集合に対して大きい。Ｆｌｉｘｓｔｅｒデータを用いて、訓練集合サイズ内のユーザの数が推論の正確さに与える影響を評価する。評価集合が３０００人のユーザを有する１０分割交差検証に加えて、１００分割交差検証を３００人のユーザの評価集合を用いて行った。さらに、１００人のユーザから初めて、繰り返す毎に、ユーザを１００人ずつ追加するという、訓練集合を徐々に増やすことを行った。
【００５０】
図２ｃは、２つの評価集合のサイズに対して、Ｆｌｉｘｓｔｅｒに関するロジスティック回帰推論の精度を表している。同図は、両方のサイズに関して、精度が７０％を超えるアルゴリズムでは、訓練集合内のユーザ数は約３００人で十分であり、訓練集合内のユーザが５０００人だと、７４％を超える精度に達することを示している。これは、訓練には、比較的少ない数のユーザで十分であることを示している。
【００５１】
2015521769.tif 000016
【００５２】
2015521769.tif 000017
【００５３】
【表３】
2015521769.tif 000018
【００５４】
２つの取得可能なデータ集合に関してＳＶＭ分類器と線形回帰分類器の特徴を詳しく記載し、望ましい結果を得たので、推論エンジンを実現するための新規な方法および装置を発明した。図３は、デモグラフィック情報を有さないユーザのレイティングからデモグラフィック情報を生成し、その結果を有用な目的のために利用する、本発明の態様による方法を示す。生成されたこのようなデモグラフィック情報を用いる最終目的には、ユーザ１２５に対するターゲット広告、および／または、推薦システム１３０を介した推薦の強化が含まれる。
【００５５】
図３の方法３００は、ステップ３０５において、複数のユーザを表すレイティングとデモグラフィック情報とを有する訓練データ集合を、推論エンジンに入力することで開始される。図１に、推薦システム１３０の一部である推論エンジン１３５を示した。このステップは、ネットワーク１２０への推薦システムの接続１３７を用いて達成されてもよく、ポート１３６を介して推論エンジン１３５に直接入力することによって達成されてもよい。推薦システムネットワーク接続１３７を介して入力が行われる場合、訓練データ集合は、デモグラフィック情報およびレイティング情報（映画レイティング、または、任意の他のデジタルコンテンツレイティング）を１つずつ蓄積したものであってもよく、少なくとも一人のユーザのデモグラフィック情報およびレイティング情報を有する訓練データ集合を１つまたは複数ロードしたものでもよい。入力ポート１３６を介して推論エンジン１３５に直接、入力を行う場合、そのデータは、少なくとも一人のユーザの訓練データ集合を１つまたは複数ダウンロードしたものであってよい。ステップ２１０において、推薦システム１３５は、訓練データ集合からの情報を用いて推論エンジンを訓練する。推論エンジン１３５が、ポート１３６を介して直接ダウンロードを受信する場合は、ステップ２１０は省くことができる。どちらの場合でも、ステップ２０５および２１０は、ユーザのデモグラフィック情報とユーザのレイティング情報との両方を有する訓練データ集合を用いて、推論エンジン１３５を訓練することを表す。
【００５６】
ステップ３１５において、訓練データ集合に含まれないユーザ１２５等の新規ユーザが、推薦システム１３０と相互作用して、レイティングのみを提供する。上記のように、これらのレイティングは、例えば、映画識別子情報と客観的なレイティング値情報とを有する映画レイティングであってよい。ユーザ１２５が提供したレイティングは、推論エンジンが検索するデモグラフィック情報を持たない。新規ユーザ１２５がレイティングを推薦システムに入力した後、ステップ３２０において、推論エンジン１３５は、分類アルゴリズムを用いて、新規ユーザのレイティングに基づいて新規ユーザのデモグラフィック情報を決定する。分類アルゴリズムは、前述のサポートベクターマシーン（ＳＶＭ）またはロジスティック回帰のうちの１つであることが好ましい。
【００５７】
新規ユーザのデモグラフィック情報を決定すると、性別等の決定したデモグラフィック情報は、多くの有用な目的に用いてよい。２つの例を図３に示す。１つの例においては、ステップ３２０で決定されたデモグラフィック情報は、ステップ３２５で推薦システム１３０によって使用されて、新規ユーザに強化された推薦を行う。例えば、推薦システム１３０がＮｅｔｆｌｉｘ（商標）またはＨｕｌｕ（商標）によって運営されている映画推薦システムである場合、性別等のデモグラフィック情報は、その新規ユーザが視聴するための、そのユーザの性別に特化した映画をより厳密に選択するのに用いてよい。あるいは、推薦システム１３０は、ステップ３２０で決定したデモグラフィック情報を、ステップ３３０で、その新規ユーザへのターゲット広告に用いることができる。例えば、新規ユーザの性別が決定されると、その新規ユーザをターゲットにして、その性別に特化した広告をしてよい。このような広告は、女性に対する香水の購入割引の提案や、男性に対する髭剃り器の購入割引を含んでよい。推薦システムは、内部のデータベース、外部のデータベース、または、ネットワークサーバ（図示せず）からの潜在的な広告へのアクセスを有してよい。
【００５８】
新規ユーザ１２５が提供したレイティングから抽出したデモグラフィック情報を活用するための有用なアクションとして、ステップ３２５および３３０のいずれか、または両方を行ってよい。ステップ３１５〜３３０は、推薦システム１３０のサービスを利用する新規ユーザ毎に繰り返してよい。強化された推薦または広告を推薦システムから受信するユーザは、ユーザ１２５等のユーザに関連付けられた表示装置上で、当該強化された推薦または広告を受信する。このようなユーザ表示装置は、周知であり、家庭用テレビ機器、スタンドアロンテレビ、パーソナルコンピュータや、パーソナルデジタルアシスタント、ラップトップ、タブレット、携帯電話、ウェブノートブック等のハンドヘルド装置、に関連付けられた表示装置を含む。
【００５９】
図４は、推論エンジン１３５のブロック図である。推論エンジン１３５は、図１に示すように推薦システム１３０とインタフェースをとる。推論エンジンインタフェース４１０は、推論エンジン１３５の通信コンポーネントを、推薦システム１３０の通信コンポーネントに接続する働きをする。４０５における推論エンジンインタフェース４１０から推薦システムへのリンクは、当業者には既知のように、シリアルリンクであっても並列リンクであってもよく、組み込まれていても外部にあってもよい。このように、推論エンジンは、推薦システムと結合していてもよく、推薦システムから分かれていてもよい。インタフェースポート４０５によって、推薦システム１３０は、訓練データを推論エンジン１３５に提供することができ、推論結果を推薦システムに提供することができる。代替の訓練データ集合インタフェースは入力ポート１３６で、ネットワーク、または、記憶媒体ソース等の他のデジタルデータソースから訓練データを使いやすい形で入力可能である。
【００６０】
プロセッサ４２０は、推論エンジン１３５に計算機能を提供する。プロセッサは、推論エンジンの要素間の通信を利用して、推論エンジンの通信プロセスおよび計算プロセスを制御する任意の形式のＣＰＵまたはコントローラであってよい。バス４１５は推論エンジン１３５の様々な要素間の通信経路を提供すること、かつ、他のポイントツーポイントの相互接続も実行可能なことを、当業者は認識している。
【００６１】
プログラムメモリ４３０は、図３の方法３００に関連するメモリのリポジトリを提供することができる。データメモリ４４０は、訓練データ集合、ダウンロードしたもの、アップロードしたもの、スクラッチパッド計算等の情報を記憶するためのリポジトリを提供することができる。メモリ４３０および４４０は、結合されていてもよく、別個であってもよく、全てまたは一部をプロセッサ４２０に組み込んでよいことを当業者は認識されよう。プロセッサ４２０は、推薦システム１３０が使用するデモグラフィック情報を生成するために、プログラムメモリの記憶プロパティおよび検索プロパティを利用してコンピュータ命令等の命令を実行し、方法３００のステップを行う。
【００６２】
推定器４５０は、別個であっても、プロセッサ４２０の一部であってもよく、新規ユーザのレイティングからデモグラフィック情報を決定するための計算資源を提供する働きをする。そのため、推定器４５０は、分類器、好ましくは、ＳＶＭまたはロジスティック回帰に計算資源を提供することができる。推定器は、データメモリ４４０またはプロセッサ４２０に、新規ユーザのデモグラフィック情報の決定における暫定的計算を提供することができる。この暫定的計算は、自分のレイティング情報のみを与えた新規ユーザに関連するデモグラフィック情報の確率を含む。推定器４５０は、ハードウェアであってよいが、ハードウェアと、ファームウエアまたはソフトウェアとの組合せであることが好ましい。
【００６３】
比較的小さい訓練集合を所与とすると、推論アルゴリズムは、７０％〜８０％の精度でユーザの性別を正確に予測する。しかし、ユーザのレイティングからデモグラフィック情報を決定するための上記技術は、ユーザのプライバシーに関する懸念を引き起こす場合がある。ユーザによっては、自分のデモグラフィック情報を確実に決定されないように難読化することを望む場合がある。検出可能なデモグラフィック情報を確実な検出から保護する難読化機構については下記に記載する。
【００６４】
図５ａは、推薦システムの推論エンジン１３５に関する難読化機構が存在し得る例示の環境５００を示す。難読化機構は、複数の場所に存在することができる。難読化機構は、ネットワーク１２０に接続されたクラウド、または、ユーザ１２５の装置に存在してよい。クラウド（図示せず）に存在する場合、難読化機構は、多くのユーザに提供されるネットワークサービスである。ユーザ装置に存在する場合、難読化機構は、基本的に、追加の計算要素を有する推論エンジンを含む。例えば、図５に示すように、難読化エンジン１２６は、推薦システム１３０に存在する推論エンジンの精度を減らすために、ユーザ１２５からの推薦を監視し、追加のレイティングをそのユーザのレイティングに追加することができる。
【００６５】
別の実施形態においては、ユーザにコンテンツを配信するコンテンツアグリゲータが、コンテンツアグリゲーションサービスと共に難読化エンジンを提供することによってユーザのデモグラフィック情報を保護するように働くこともできる。図５ｂは、このようなコンテンツアグリゲータのサービスを示す。図５ｂの構成においては、コンテンツアグリゲータ５６０は、リンク５５５を介してネットワーク１２０に接続し、ユーザ１２５が関心を持ち得るデジタルコンテンツへのアクセスを得ることができる。ユーザ１２５は、リンク５８２を介してコンテンツアグリゲータに直接アクセスしてもよく、リンク５８１を介してネットワーク１２０を通してアクセスしてもよい。どちらの場合でも、コンテンツアグリゲータは、ユーザ１２５に対するデジタルコンテンツの提供者として働き、料金を徴収してコンテンツをユーザに提供する。コンテンツプロバイダは、推薦システム１３０であってよい。このように、コンテンツアグリゲータ５６０は、ユーザ１２５がレイティング可能なデジタルコンテンツのための導管の機能を果たす。プライバシーサービスとして、コンテンツアグリゲータは、推論エンジン５７５と共に動作する難読化エンジン５７０を介して、ユーザに難読化サービスを提供することができる。難読化エンジン５７０は、ユーザ１２５が、コンテンツプロバイダである推薦システム１３０から取得したデジタルコンテンツをレイティングすると、推薦システム１３０に送られるレイティングに追加の難読化のためのレイティングが追加されるように、ユーザ１２５のデモグラフィック情報を難読化するように働く。追加されたレイティングは、デモグラフィック情報の正確な決定に反する。従って、推薦システムに関連付けられた推論エンジン１３５は、ユーザ１２５のレイティングを介してユーザ１２５のデモグラフィック情報を正確に決定することはできない。
【００６６】
図５ｃは、難読化エンジン５９９の例示のブロック図５９０を示す。難読化エンジン５９９は、ネットワークインタフェース５９１を介して、図５ｂの１２０等のネットワークとインタフェースをとる。ネットワークインタフェース５９１によって、ユーザレイティング等のユーザデータと、訓練データ集合に、インターネット等のネットワークを介してアクセスすることができる。そのため、ネットワークインタフェースの受信部は、訓練データと、映画レイティング等のユーザが提供したレイティングとを受信することができる。さらに、ネットワークインタフェース５９１内の送信部によって、レイティング生成部５９５が生成した追加のレイティングをネットワークに送信することができる。一実施形態においては、付加的レイティングと、ユーザが提供したレイティングとを、推薦システム１３０に送り、推薦システム１３０で、図５ｂの１３５等の推論エンジンがユーザのデモグラフィック情報を正確に決定するのを妨げる。
【００６７】
プロセッサ５９２は、難読化エンジン５９９に計算機能を提供する。プロセッサは、難読化エンジンの要素間の通信を利用して難読化エンジンの通信プロセスおよび計算プロセスを制御する任意の形態のＣＰＵまたはコントローラであってよい。バス５９７は難読化エンジン５９９の様々な要素間の通信経路を提供すること、かつ、バスアーキテクチャの代わりにポイントツーポイント接続も実行可能であることを、当業者は認識している。
【００６８】
プログラムメモリ５９３は、図６の方法６００に関連するメモリにリポジトリを提供することができる。データメモリ５９４は、訓練データ集合、ダウンロードしたもの、アップロードしたもの、または、スクラッチパッド計算等の情報を記憶するためのリポジトリを提供することができる。メモリ５９３および５９４は、結合されていてもよく、別個であってもよく、全てまたは一部をプロセッサ５９１に組み込まれていてもよいことを、当業者は認識されよう。プロセッサ５９１は、プログラムメモリの命令を用いて方法６００等の方法を実行することによって、ユーザのデモグラフィック情報の正確な決定に反する難読化データを生成する。難読化データは、ネットワークインタフェース５９１を介して、ネットワークベースの推薦システムに送信される。
【００６９】
推論エンジン５９６は、プロセッサ５９２とは別個であっても、その一部であってもよく、新規ユーザのレイティングからデモグラフィック情報を決定するための計算資源を提供する働きをする。そのため、推論エンジンは、図４の推論エンジンに類似していてもよく、図５ｃに示す計算資源を利用してもよい。レイティング生成部５９５は、以下に記載の難読化技術によって使用されるレイティングを生成するように動作する。詳細には、レイティング生成部は、ユーザレイティングを模倣しているが、推薦システムにある推論エンジンによるデモグラフィック情報の正確な決定に反する付加的レイティングを生成する。このように、レイティング生成部は、推薦システム（図１参照）の推論エンジン等の外部の推論エンジンに送信するレイティングを作成する。外部の推論システムに送信される付加的レイティングは、新規ユーザのデモグラフィック情報を正確に決定するのが容易でないように、そのユーザからのレイティングに干渉する働きをする。難読化エンジン５９９は、ハードウェアベースであってよいが、ハードウェアと、ファームウェアまたはソフトウェアとの組合せであることが好ましい。
【００７０】
難読化エンジンの特徴を次に記載する。０のインデックスが付いたユーザ１２５等のユーザが、映画等のデジタルコンテンツアイテムを視聴してレイティングする。ユーザがレイティングすることができる映画のユニバースがＭ個の映画のカタログを含むものとすると、ユーザは、カタログＭ=｛１，２，．．．，Ｍ｝の部分集合Ｓ0のレイティングをする。ｒ0j∈Ｒは、映画ｊ∈Ｓ0のレイティングを表し、ユーザのレイティングプロファイルは、（映画、ランキング）対の集合Η0≡｛（ｊ，ｒ0j）：ｊ∈Ｓ0｝として定義される。図５を参照すると、ユーザは、Η0（すなわち、１３９）を難読化機構に提出し、難読化機構は、Ｓ´0≠Ｓ0の、変更後のレイティングプロファイルΗ´0＝｛（ｊ，ｒ0j´）：ｊ∈Ｓ0´｝（すなわち、１３８）を出力する。簡単に言うと、この難読化は、以下の（ａ）Η´0は、ユーザに適切な推薦を行うために使用できる（ｂ）Η´0から性別等のユーザのデモグラフィック情報を推論するのは難しい、という２つの相反する目的をうまく両立させることを目指している。
【００７１】
より詳細には、難読化されたレイティングプロファイルΗ´0は、性別推論エンジン１３５を実施するモジュールを有する推薦システム１３０に提示されるとみなされる。推薦システム１３５は、Η´0を用いて、Ｍ＼Ｓ´0に関するユーザレイティングを予測し、場合によっては、ユーザが興味を持ちそうな映画を推薦する。性別推論エンジン１３５は、同じΗ´0を用いてユーザをプロファイリングし、男性か女性にラベル付けする分類機構である。
【００７２】
推薦システム１３０の実施は、公知であるかもしれないが、難読化エンジン１２６および性別推論エンジン１３５は公知ではない。この問題の第１の段階として、推薦システム１３０および推論エンジン１３５の両方とも、任意の種類の難読化が行われていることに気付かないという簡単なアプローチをとっている。当該両方の機構は、「表面上の値」でプロファイルΗ´をとり、「真の」プロファイルΗを逆行分析しない。
【００７３】
上記のように、推薦システム１３０および推論エンジン１３５は、訓練データ集合にアクセスを有する。訓練データ集合は純粋である、すなわち、レイティングも、性別ラベル等のデモグラフィック情報も、手を加えられず、難読化もされていない、ということが前提となっている。難読化エンジン１２６は、訓練集合の一部を見てもよい。一実施形態においては、訓練データ集合は公開されており、難読化エンジン１２６は、完全に訓練データ集合にアクセスできる。
【００７４】
一般的に、推論エンジン１３５で用いられる分類器の信頼値は、性別等のデモグラフィック情報を分類器から隠そうとするとき、難読化エンジンが克服する必要がある障害である。難読化エンジンは、推論エンジン１３５の分類器の、この信頼値を低下させようとする。従って、分類器が正確または不正確な分類を出力する時の分類器が異なる信頼値を有するか否かの評価を行う。推論エンジンに用いられる分類器の評価に関して、図２ｄは、正確な分類および不正確な分類に対する信頼値の累積分布関数（ＣＤＦ）を示している。図２ｄから、分類が正確な時の方が信頼値は高く、信頼値の中央値は不正確な分類では０．６５であり、正確な分類では０．８５である。さらに、正確な分類の２０％近くが、信頼値１．０で、信頼値１．０は、不正確な分類では１％未満である。
【００７５】
難読化エンジンは、ユーザｉのレイティングプロファイルΗiと、許可された変更の回数を表すパラメータｋと、訓練集合からの情報とを入力として受け取って、受信する推薦の品質への影響を最小限にしつつ、ユーザの性別の推論が難しいように変更されたレイティングプロファイルΗ´iを出力する機構を有する。一般には、このような機構は、映画レイティングを追加、削除、または、変更することによってΗiを変更することができる。ここでは、難読化エンジンがｋ個の映画レイティングを追加することだけを許可される設定に焦点を置く。なぜなら、映画の削除は大抵のサービスでは非現実的であり、視聴イベントがユーザのデモグラフィック属性の強力な予測材料である時、レイティングの変更はレイティングの追加ほど有効ではないからである。ユーザが、自身のプロファイルでレイティングした映画の数はユーザによって異なる（数が少ないユーザもいる）ので、固定数ｋを使用せずに、ユーザのレイティングプロファイルにある映画の所与の割合に対応する追加の数を用いる。映画をユーザのプロファイルに追加するために、難読化エンジンは、追加すべき映画と、その各映画に割り当てるレイティングという、２つの重要な決定をする必要がある。
【００７６】
これらの追加された映画レイティングは、付加的レイティングと呼ぶ。付加的レイティングは、ユーザのデモグラフィック情報の正確な決定に反する。付加的レイティングのレイティング対（タイトル、レイティング値）のレイティング値は、「ノイズ」として割り当てられるのではなく、何らかの有用な価値を有する。例えば、このレイティングが全てのユーザの平均レイティング、または、特定のユーザの（行列の因数分解を用いた）予測レイティングに相当する場合、レイティング値は、仮にそのユーザが映画を見た場合、どのようにレイティングしたかを合理的に予測するものとなる。
【００７７】
難読化スキームを構築するために、難読化機構は、訓練データ集合に完全なアクセスを有し、かつ、追加すべき映画およびレイティングを選択するために、訓練データ集合を使用して、情報を引き出せることが、まず、前提となっている。難読化エンジンのための映画の選択を考えて、発明者は、映画を選択するための３つの戦略を選択した。各戦略は、ユーザｉがレイティングした映画の集合Ｓiと、追加すべき映画の数ｋと、男性に相関した映画の順序付けリストＬMおよび女性に相関した映画の順序付けリストＬFとを入力として受け取り、変更後の映画の集合Ｓ´iを出力する。ここでＳi⊆Ｓ´iである。リストＬMおよびＬFは、スコアリング関数ｗの値の降順ＬM∪ＬF→Ｒで記憶される。ここで、ｗ（ｊ）は、映画ｊ∈ＬM∪ＬFが関連する性別とどれほど強く相関しているかを示す。スコアリング関数の具体的な例は、ｗ（ｊ）=βjを設定することであり、ここで、βjは、訓練データ集合からロジスティック回帰モデルを学習することによって得られた映画ｊの係数である。スコアリング関数のこのインスタンス化は、評価のために用いられる。さらに、ｋ＜ｍｉｎ（｜ＬM｜,｜ＬF｜）−｜Ｓi｜、かつ、ＬM∩ＬF＝と仮定する。
【００７８】
映画選択プロセスは、以下のようになる。所与の女性（または男性）ユーザｉに関して、Ｓ´i＝Ｓiを初期化する。各戦略は、ＬM（またはＬF）から繰り返し映画ｊを取出し、ｊ∈Ｓ´iの場合、ｋ個の映画が追加されるまで、ｊをＳ´iに追加する。集合Ｓ´iは望ましい出力である。３つの戦略は、映画の順序付けリストからの映画の取りだし方が異なる。
【００７９】
所与の女性（男性）ユーザｉに関してランダム戦略を考えると、映画のスコアに関係なく、反対の性別ＬM（ＬF）に対応するリストから均一に、ランダムに映画ｊを取出す。サンプリング戦略を考えると、反対の性別に対応するリストにある映画に関連付けられたスコアの分布に基づいて、映画をサンプリングすることができる。例えば、それぞれ、スコア０．５、０．３、０．２の３つの映画ｊ1、ｊ2、ｊ3がある場合、ｊ1を確率０．５で取り出すなどである。欲張り戦略を考えると、反対の性別に対応するリストのうち最高スコアの映画を取り出すことができる。
【００８０】
レイティング値の対（タイトル、レイティング値）のレイティング割り当てを考えると、（視聴されたか否かを示す）プロファイルに映画が含まれるか含まれないかのバイナリイベントは、レイティングとほとんど同じくらい強い性別推論のためのシグナルであることに先ほど注目した。これは、ユーザプロファイルに追加する映画の決定と、その映画に与えるレイティング値の決定という２つを行う必要がある難読化機構にとって、重要な影響がある。この発見は、追加すべき映画の選択が性別推論を妨げることに大きな影響を持ち得るということを示唆している。しかし、実際のレイティングが性別推論にあまり影響を与えない場合、推薦の品質を維持する助けになるレイティング値を選択することができる。プロファイルに映画が含まれるか含まれないかのバイナリイベント自体が性別推論のためのシグナルであるとすると、推薦システム１３０を介してユーザに提供される推薦に与える影響が少ない付加的な映画にレイティングを割り当てることができる。平均映画レイティングと予測レイティングの２つのレイティング割り当てが提案される。
【００８１】
平均映画レイティングにおいては、難読化機構は、利用可能な訓練データを用いて全ての映画ｊ∈Ｓ´i−Ｓiの平均レイティングを計算し、計算した平均レイティングをユーザｉの変更後のレイティングプロファイルΗ´iに追加する。予測レイティングにおいては、難読化機構は、訓練データ集合に対して行列の因数分解を行うことによって映画の潜在因子を計算し、その潜在因子を用いてユーザのレイティングを予測する。全ての映画ｊ∈Ｓ´i−Ｓiの予測レイティングが、Η´iに追加される。
【００８２】
上記で、難読化エンジン１２６は訓練集合へのアクセスを制限されていないとした。しかし、上記機構は、以下の量、すなわち、（ａ）映画選択のために、男性に相関した映画および女性に相関した映画の順序付けされたリスト（ｂ）レイティング割当のために、平均映画レイティングと、ユーザの映画レイティングを予測するための映画の潜在因子、にのみアクセスが必要である。この情報は、Ｎｅｔｆｌｉｘ  Ｐｒｉｚｅ（商標）データ集合等の公的に入手可能なデータ集合から見つけることができることに注意されたい。このような公的なデータ集合のユーザが全体として特定の推薦システムのユーザと、統計的に類似しているとすると、推論エンジン１３５で使用されて具体的に設定された訓練データ集合への完全なアクセスを前提とする必要はない。
【００８３】
上記で提案した映画選択およびレイティング割当戦略の全ての順列の評価を行った。各ユーザｉに関する１％、５％および１０％｜Ｓｉ｜に対応するｋの値を評価する。リストＬMおよびＬFの映画のスコアは、対応するロジスティック回帰係数に設定される。
【００８４】
【表４】
2015521769.tif 000019
【００８５】
難読化は、性別推論の性能を減じることで、プライバシーを増大する。表４は、割り当てられたレイティングが平均映画レイティングである時の、３つの映画選択戦略（すなわち、ランダム、サンプリング、欲張り）の全てに関しての推論の正確さを示している。正確さは、１０分割交差検証を用いて計算される。つまり、モデルを純粋なデータに関して訓練し、難読化データに対して検定する。推論の正確さは、ロジスティック回帰分類器に関して最も高いので、ロジスティック回帰分類器は、推薦システムの推論機構として自然な選択であろう。欲張り戦略を用いてほんの１％の付加的レイティングを追加すると、Ｆｌｉｘｓｔｅｒデータ集合に関しては、純粋なデータに関する正確さ７６．５％に比べて、正確さは１５％まで落ち（すなわち、８０％低下し）、１０％の追加レイティングを追加すると、正確さは、ゼロに近くなる。異なる難読化機構に関するプライバシーと効用のトレードオフは、ユーザのプロファイルに対するほんの１％のレイティングの追加によって推論の正確さが８０％低下することを示している。
【００８６】
従って、難読化機構が欲張り戦略に従って映画を選択する場合、少数の映画を追加することで、性別の難読化には十分である。（映画のスコア、ひいてはロジスティック回帰係数を無視する）ランダム戦略を用いて映画を選択する場合でさえ、反対の性別に相関する映画をほんの１０％追加するだけで、性別推論の正確さを（７６．５％から２８．５％の正確さに）６３％低下させるのに十分である。Ｍｏｖｉｅｌｅｎｓデータ集合に関しても同様の傾向が見られる。
【００８７】
上記難読化機構では、男性または女性に相関した映画であるという推論機構の考えに良く対応する順序付けされたリストを用いる。しかし、一般に、難読化機構は、どの推論アルゴリズムが用いられているか知らないので、ＬMおよびＬF等のリストは、推論アルゴリズムの内にあるそのような考えにあまり一致しない場合がある。難読化機構は、多項ナイーブベイズ分類器およびＳＶＭ分類器と共に、このようシナリオで評価される。表４で分かるように、難読化は、それでもなお良い成績を挙げており、多項分類器の推論の正確さは、（１０％の付加的レイティングと欲張り戦略を用いると）Ｆｌｉｘｓｔｅｒデータ集合に関して７１％から４２．１％に低下し、Ｍｏｖｉｅｌｅｎｓデータ集合に関して７６％から６０％に低下する。
【００８８】
ユーザが自分の性別を難読化する場合にユーザが見る推薦の品質への影響を考えた。この影響は、各ユーザに関して１０のレイティングの提出された検定集合の行列の因数分解の二乗平均平方根誤差（ＲＭＳＥ）を計算することによって測定する。再び、１０分割交差検証を行った。ここで、１０分の９はユーザのデータは純粋で、１０分の１は、追加のノイズを有するレイティングである。すなわち、Η´は、ユーザの１０分の１に用いて、Ηを残りに用いる。これは、自分の性別を難読化したシステムのユーザの１０％に関してＲＭＳＥの変化を評価することに等しい。全体的に見て、難読化はＲＭＳＥに無視し得る影響しか与えないことを発明者は発見した。Ｆｌｉｘｓｔｅｒに関しては、付加的レイティングのない場合と比較して、ＲＭＳＥはレイティングの追加に伴って増加したが、無視できる程度であった。Ｍｏｖｉｅｌｅｎｓ訓練データ集合に関しては、付加的レイティングによって、ＲＭＳＥはわずかに減少する。これは、付加的レイティングを追加することによって、元のレイティング行列の密度が増加し、それによって、行列の因数分解の解の成績が改善される場合があるために生じ得る。付加的レイティングは任意ではないが、ある程度、意味を持つ（すなわち、全てのユーザの平均）だからというのが別の説明である。両方のデータ集合に関して、ＲＭＳＥの変化は有意ではなく、Ｆｌｉｘｓｔｅｒでは（ランダム戦略で、１０％の付加的レイティング）で、最大０．０１５であり、Ｍｏｖｉｅｌｅｎｓに関しては（サンプル戦略で、１０％の付加的レイティング）で最大０．０５８であるというのが、主要な結果である。従って、難読化エンジンは、推薦システムのユーザに対する推薦の品質を維持している。
【００８９】
提案した難読化のプライバシーと効用のトレードオフを検討する。ここで、所望の高度なプライバシーは、性別推論の正確さを低下させ、効用を高くすると高品質な推薦のためのプロキシとして用いられることが多いＲＭＳＥが低くなる。評価すると、発明者は、Ｆｌｉｘｓｔｅｒ訓練データ集合に関しては、プライバシーが高くなると効用が低下することを発見した。上記のように、Ｍｏｖｉｅｌｅｎｓ訓練データ集合を用いると、プライバシーが高くなると、効用も増加するが、ほんのわずかである。難読化機構は、性別推論の正確さを優位に低下させることができ、かつ、推薦の品質に引き起こす変化もほんのわずかである。
【００９０】
推薦の品質を維持することは、難読化エンジンにとって魅力のある特徴である。一評価において、レイティング割当が「予測レイティング」アプローチに対応するときのトレードオフを考える。このレイティング割当の背後にある動機は、原則として、この難読化は、変更されていないデータに関するＲＭＳＥと比較して、ＲＭＳＥを変化させないということである。言い換えれば、レイティング割当のこの選択を用いると、効用フロント（ｕｔｉｌｉｔｙ  ｆｒｏｎｔ）に関してトレードオフは行われない。表５は、このレイティング割当を用いた時の性別推論の正確さを示す。この結果は、レイティング割当が平均映画レイティングである表４の結果と類似している。Ｍｏｖｉｅｌｅｎｓ訓練データ集合に関しては、性別推論の正確さは、予測レイティングよりわずかに低い。例えば、１％の付加的レイティングの欲張り戦略に関しては、ロジスティック回帰分類器の正確さは、５７．７％から４８．４％に低下する。この利点は、推薦の品質を犠牲にすることなく、もたらされる。結論として、少量の追加のレイティングを用いると、ユーザが受信する推薦の品質に有意な変化を与えずに、難読化によってユーザの性別を保護することが可能であることが、実験評価より分かる。
【００９１】
【表５】
2015521769.tif 000020
【００９２】
図６は、ユーザのデモグラフィック情報を正確な検出から隠すことができる、そのユーザのレイティングの集合（タイトル、レイティング値）を作成するための例示の方法６００を示す。また、この方法の長所は、推薦システム１３０の推論エンジン１３５を使用する結果、受信するであろう推薦に悪影響を与えないことである。この方法は、ステップ６０５において、他のユーザからのレイティングの訓練集合を導入することで始まる。訓練データ集合は、他のユーザの、レイティング（タイトル、レイティング値）と、デモグラフィック情報との両方を有する。ステップ６１０において、訓練データ集合を用いて、図５ｂの５７５や図５ｃの５９６等の推論エンジンを訓練する。訓練された推論エンジンは、ユーザ１２５のデモグラフィック情報を決定することができる。そのため、訓練された推論エンジンは、ユーザ１２５がアクセスする、図５ｂの１３０等の推薦システム内の推論エンジンの機能を幾分エミュレート（模倣）する。
【００９３】
推論エンジンの訓練後、難読化エンジンは、新規ユーザが使用できる状態になる。ステップ６１５において、訓練データ集合内のユーザではない新規ユーザが、難読化エンジンにレイティングを提供する。結果として、難読化エンジンは、映画レイティング等のレイティングを受信する。受信した映画レイティングは、（タイトル、レイティング値）のレイティング対のみであり、新規ユーザのデモグラフィック情報は含まれない。
【００９４】
ステップ６２０において、５７５または５９６等の推論エンジンは、分類アルゴリズムを用いて、新規ユーザのデモグラフィック情報をそのユーザのレイティングに基づいて決定する。ステップ６２５において、難読化エンジンは、別の推論エンジンによってデモグラフィック情報の正確な決定に反するレイティングを生成する。すなわち、生成されたレイティングは、ユーザのレイティングに追加することができ、かつ、ユーザの検出可能なデモグラフィック情報の難読化を助ける付加的レイティングである。簡単な例を挙げると、推論エンジンがユーザ１２５の性別を女性と推論する場合、難読化エンジンが生成する付加的レイティングは、ユーザの性別を不正確に推論するデータを提供することになる。従って、推薦システムの推論エンジン等の外部の推論エンジンは、新規ユーザ１２５の性別デモグラフィック情報を正確に決定することができなくなる。このように、付加的レイティングは、新規ユーザのデモグラフィック情報の正確な検出に反するものである。
【００９５】
付加的レイティングは、ステップ６３０で難読化エンジンによって推薦システム（ＲＳ）に送信される。これは、推薦システム１３０の推論エンジンが検出するユーザ１２５のデモグラフィック情報を難読化する効果を有する。この難読化は、図５ｂの１３５等の外部の推論エンジンがユーザの通常に生成したレイティングだけでなく、正確なデモグラフィック情報の決定に反するレイティング対（タイトル、レイティング値)を有する付加的レイティングも受信するので、発生する。すなわち、付加的レイティングは、推論エンジンがユーザのデモグラフィック情報を正確に決定するのを妨げる働きをする。本発明の態様によると、推論エンジン１３５を有する推薦システム１３０は、ユーザのデモグラフィック情報の正確な決定を行うことを付加的レイティングを用いて妨げられている。しかし、推薦システム１３０からユーザ１２５が受信する推薦の品質は、付加的レイティングの追加によって大きく低下しない。基本的に、推薦システム１３０からユーザ１２５が受信する推薦の品質は、付加的レイティングを含まない時と比較して付加的レイティングを追加した時、同じように維持される。ステップ６１５〜ステップ６３０は、新規ユーザに対して繰り返してよい。従って、多数の新規ユーザが、方法６００によってデモグラフィック情報を難読化することができる。
【００９６】
図５ａ、５ｂ、５ｃの難読化エンジンの実施に関して特定のアーキテクチャを示したが、構成要素の機能の分散、構成要素の統合、ユーザのプライバシーに関するユーザへのサービスとしてのサーバ内の位置など、実施の選択肢があることを当業者は認識されよう。このような選択肢は、図示および記載した構成の機能および構造と等価である。
【図１】
2015521769.tif 000021
【図２ａ】
2015521769.tif 000022
【図２ｂ】
2015521769.tif 000023
【図２ｃ】
2015521769.tif 000024
【図２ｄ】
2015521769.tif 000025
【図３】
2015521769.tif 000026
【図４】
2015521769.tif 000027
【図５ａ】
2015521769.tif 000028
【図５ｂ】
2015521769.tif 000029
【図５ｃ】
2015521769.tif 000030
【図６】
2015521769.tif 000031
【国際調査報告】
2015521769.tif 000032
2015521769.tif 000033