(57)【要約】【課題】知識グラフを完成させるための方法および装置を提供する。【解決手段】複数の述語および関連するエンティティから知識グラフを完成させる方法、装置およびプログラム。前記述語はそれぞれ一対のエンティティの間の関係についての情報を与え、前記方法は：前記複数の述語および関連するエンティティを含む入力を受領し；公準データベースを検索して、前記複数の述語のうちで互いに等価であるまたは互いの逆である述語を識別し；前記公準データベースおよび識別された述語を使って、互いに関係しているさらなる述語を識別し；識別された述語および関連するエンティティをベクトル空間に埋め込んで前記知識グラフを完成させる段階を含む。【選択図】図３
2018085116.tif 000002
【特許請求の範囲】
【請求項１】
複数の述語および関連するエンティティから知識グラフを完成させる方法であって、前記述語はそれぞれ一対のエンティティの間の関係についての情報を与え、当該方法は：
前記複数の述語および関連するエンティティを含む入力を受領し；
公準データベースを検索して、前記複数の述語のうちで互いに等価であるまたは互いの逆である述語を識別し；
前記公準データベースおよび識別された述語を使って、互いに関係しているさらなる述語を識別し；
識別された述語および関連するエンティティをベクトル空間に埋め込んで前記知識グラフを完成させる段階を含み、
前記述語および関連するエンティティは前記埋め込みにおいて、前記述語および関連するエンティティのすべてについてのペナルティー関数値の和であるペナルティー関数和が最小化されるようベクトルを割り当てられ、前記ペナルティー関数値は：
互いに等価であると識別された二つの述語についての割り当てられたベクトルの間の類似性に反比例し；
互いの逆として識別された二つの述語についての割り当てられたベクトルの間の非類似性に正比例し；
関係していると識別された述語の間の相関の度合いに従って重み付けされる、
方法。
【請求項２】
前記複数の述語および関連するエンティティが、資源記述フレームワーク陳述の形で利用され、
各資源記述フレームワーク陳述は<主語,述語,目的語>の形であり、主語および目的語はエンティティであり、述語は主語と述語の間の関係を記述する、
請求項１記載の方法。
【請求項３】
知識グラフを完成させるために使われる前記情報からの所与の資源記述フレームワーク陳述の不在が、該所与の資源記述フレームワーク陳述が偽であることを意味するものと、自動的に解釈されることはない、請求項２記載の方法。
【請求項４】
知識グラフを完成させるために使われるべき資源記述フレームワーク陳述を解析して、不在の資源記述フレームワーク陳述を識別し；
前記解析に基づいて、識別された不在の資源記述フレームワーク陳述のどれが偽である可能性が高いかを判定し；
前記判定に基づいて、知識グラフを完成させるために使われるべき資源記述フレームワークのエンティティおよび述語の前記埋め込みを調整することをさらに含む、
請求項３記載の方法。
【請求項５】
前記ペナルティー関数和が
【数１】
2018085116.tif 000016
の形であり、
Θは、知識グラフを完成させるために使われるモデルのパラメータであり；
pおよびqは述語であり；
A1はスキーマ等価公準のすべてを含む集合であり；
A2はスキーマ逆公準のすべてを含む集合であり；
e(x)はxの埋め込みベクトルであり；
φはモデル依存の変換関数であり；
D(x||y)は二つの与えられたベクトルxとyの間の非類似性の指標である、
請求項１ないし４のうちいずれか一項記載の方法。
【請求項６】
前記ペナルティー関数和を最小化するよう見出された、割り当てられたベクトルの集合を記憶することをさらに含む、請求項１ないし５のうちいずれか一項記載の方法。
【請求項７】
前記ペナルティー関数和を最小化するよう見出された、割り当てられたベクトルの集合に基づいて追加的な陳述を識別し、該追加的な陳述を使って知識グラフ（三項組の集合）を更新することをさらに含む、請求項６記載の方法。
【請求項８】
前記ペナルティー関数和の値が統計的勾配降下最適化を使って最小化される、請求項１ないし７のうちいずれか一項記載の方法。
【請求項９】
複数の述語および関連するエンティティから知識グラフを完成させる装置であって、前記述語はそれぞれ一対のエンティティの間の関係についての情報を与え、当該装置は：
前記複数の述語および関連するエンティティを含む入力を受領するよう構成されたデータ受領器と；
公準データベースを検索して、前記複数の述語のうちで互いに等価であるまたは互いの逆である述語を識別するよう構成された情報検索器と；
前記公準データベースおよび識別された述語を使って、互いに関係しているさらなる述語を識別し、識別された述語および関連するエンティティをベクトル空間に埋め込んで前記知識グラフを完成させるよう構成されたトレーニング器とを有しており、
前記トレーニング器は、前記述語および関連するエンティティに、前記述語および関連するエンティティのすべてについてのペナルティー関数値の和であるペナルティー関数和が最小化されるようベクトルを割り当てるようさらに構成されており、前記ペナルティー関数値は：
互いに等価であると前記情報検索器によって識別された二つの述語についての割り当てられたベクトルの間の類似性に反比例し；
互いの逆として前記情報検索器によって識別された二つの述語についての割り当てられたベクトルの間の非類似性に正比例し；
関係していると識別された述語の間の相関の度合いに従って重み付けされる、
装置。
【請求項１０】
前記複数の述語および関連するエンティティが、資源記述フレームワーク陳述の形で前記データ受領器に入力され、各資源記述フレームワーク陳述は<主語,述語,目的語>の形であり、主語および目的語はエンティティであり、述語は主語と述語の間の関係を記述し、
当該装置はさらに例生成器を有しており、該例生成器は：
知識グラフを完成させるために使われるべき資源記述フレームワーク陳述を解析して、不在の資源記述フレームワーク陳述を識別する段階と；
前記解析に基づいて、識別された不在の資源記述フレームワーク陳述のどれが偽である可能性が高いかを判定する段階であって、知識グラフを完成させるために使われる前記情報からの所与の資源記述フレームワーク陳述の不在が、該所与の資源記述フレームワーク陳述が偽であることを意味するものと、自動的に解釈されることはない、段階と；
前記判定に基づいて、知識グラフを完成させるために使われるべき資源記述フレームワークのエンティティおよび述語の前記埋め込みを調整する段階とを実行するよう構成されている、
請求項９記載の装置。
【請求項１１】
前記ペナルティー関数を最小化するよう見出された、割り当てられたベクトルの集合を記憶するよう構成された記憶ユニットをさらに有する、請求項９または１０記載の装置。
【請求項１２】
前記トレーニング器が、統計的勾配降下最適化を使って前記ペナルティー関数和の値を最小化するよう構成されている、請求項９ないし１１のうちいずれか一項記載の装置。
【請求項１３】
コンピュータで実行されたときに、該コンピュータに請求項１ないし８のうちいずれか一項記載の知識グラフを完成させる方法を実行させる、コンピュータ・プログラム。
【請求項１４】
請求項１３記載のコンピュータ・プログラムを有する非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、知識グラフ（knowledge  graph）を完成させるための方法および装置に関する。コンピュータによって実行されたときに該コンピュータに知識グラフを完成させるための方法を実行させるコンピュータ・プログラムおよび該コンピュータ・プログラムを有する非一時的なコンピュータ可読媒体も開示される。
【背景技術】
【０００２】
近年、直観的に理解できる仕方でデータ項目間の関係を表現するために知識グラフを使うことが増している。知識グラフは本質的には、グラフィックな形で（知識ベース（knowledge  base）をなす）複数の陳述を表現する。知識グラフでは、エンティティおよび述語の集合が、通例、多次元プロットの形で表現される。エンティティはほとんどいかなるものでもよい。例としては、人、位置、物理的オブジェクト、電子ファイル、抽象概念などが含まれる。エンティティ（述語）間の関係は、エンティティ間のリンクを使って示されることができる。知識グラフ上でのエンティティおよびリンクの相対的な位置決めが、異なるエンティティおよびリンクの間の関係を示すために使用されることもできる。
【０００３】
知識グラフ（KG）は、検索、解析、推薦生成およびデータ統合における強力な道具である。大規模なKGが開発され、産業界および学術界両方によって使われてきた。よって、知識グラフを完成させるための、より正確で、それほど労働集約的でない方法を提供することが望ましい。
【０００４】
知識グラフを形成するために使われる原理は、例で説明するのが最善である。「ニューヨーク市（NYC）はニューヨーク州の都市（CITY）であり、ニューヨーク州（NEW  YORK  STATE）はオールバニー（ALBANY）をも含んでいる」という初期情報が与えられると、知識グラフに入れることのできる関係を抽出することができる。これらの関係は、<エンティティ,述語,エンティティ>または<主語,述語,目的語>（<s,p,o>とも称される）の形で表現できる。これらの形の第二のものは、資源記述フレームワーク（RDF:  Resource  Description  Framework）三項組、すなわち資源記述フレームワークの要件に準拠する形で提供される述語および一対の関連したエンティティを形成することができる。
【０００５】
上記で与えられた初期情報から、三つの関係陳述を抽出することができる。抽出可能な関係陳述の例は三項組（特にRDF三項組）の形で、<NYC,TYPE  OF,CITY>、すなわち、エンティティNYCはCITYという型である、というものである。初期情報から抽出できる三つの関係陳述は、三項組の形で下記の表１に示されている。
【表１】
2018085116.tif 000003
【０００６】
上述したように、いかなる所与のエンティティもRDF三項組の主語または目的語になることができる。一方、述語は別個の集合をなす。知識グラフ（RDF要件に従って形成されたグラフを含むがそれに限られない）を完成させるために使われるデータは、エンティティおよび述語の集合を用いて記述できる。表１に示されるデータから、エンティティの集合Eおよび述語（エンティティ間の関係）の集合Rを形成することができる。集合EおよびRの構成は下記の式１に示される。
式１
E＝{NYC,CITY,NEW  YORK  STATE,ALBANY}
R={TYPE  OF,PART  OF,HAS  PART}
。
【０００７】
式１に示されるような集合EおよびRを使って、さらなる集合Sを定義することができる。ここで、Sは、集合EおよびRのデータを使って形成できる、可能な<エンティティ,述語,エンティティ>または<主語,述語,目的語>の陳述のすべてを含む集合である。よって、Sは下記の式２に示されるように定義される。
式２
S＝E×R×E
。
【０００８】
集合Sと表１の関係を導出するもとになった初期情報との比較から、初期情報は、集合S内の可能な陳述のすべてが直接導出されることは許容しないことが明らかである。初期情報から検証できない陳述の例は、オールバニーの型である。初期情報はNYCが都市であり、ニューヨーク州にあることを提供し、オールバニーもニューヨーク州にあることを提供するが、初期情報は、オールバニーが都市であるか否かは含まない。すなわち、陳述<ALBANY,TYPE  OF,CITY>の真実性については初期情報がない。
【０００９】
閉世界仮説を使って構築される知識グラフでは、オールバニーが都市であるか否かについての情報がないことは、その関係が正しくない、すなわち<ALBANY,TYPE  OF,CITY>は偽であることを意味するものと解釈される。この仮定は、初期情報の集合が完全〔完備〕であれば有効である可能性がより高いが、大半の知識グラフは、不完全であることがわかっているまたは不完全であると思われるデータ集合から生成される。よって、開世界仮説を使うほうが適切である。
【００１０】
開世界仮説のもとでは、オールバニーが都市であるか否かについての情報がないことは、その関係が正しくないことを意味するものとは解釈されない。代わりに、オールバニーが都市であるか否かは未知である。すなわち、<ALBANY,TYPE  OF,CITY>の妥当性は未知である。開世界仮説は典型的には、現実世界のデータ集合についての、より現実的な要求であり、資源記述フレームワーク要件は開世界仮説を使うことを指定する。しかしながら、開世界仮説を使うことは、集合Sにおける陳述の少なくともいくつかが未知である可能性が非常に高いことを意味する。
【００１１】
集合Sからの有効な陳述は、ラベル付けされた有向マルチグラフを使って表現できる。ここで、各陳述は、エンティティを表わす二つのノードを結ぶエッジとして表現される。（妥当性がわかっていない集合Sからの陳述を表現する）欠けているエッジが加えられることを許容するために、述語の間の関係を考慮することが有用である。このようにして、妥当性がわかっていない陳述は、該陳述の妥当性が初期情報において直接サポートされている陳述を解析することによって演繹できる場合には、ラベル付けされた有向マルチグラフに含められてもよい。
【００１２】
知識グラフを構築するためのある技法は、陳述Sを多次元ベクトル空間におけるベクトルにマッピングすることである。潜在的に多数の陳述の使用可能な表現を提供することに加えて、この機構は、異なる陳述の間の関係が、もしかかる関係が既知であれば、示されることをも許容する。示されうる関係の型の例は、等価関係および逆関係を含む。これらはいずれも、人々の間の関係の例を参照して、後に論じる。
【００１３】
等価な関係の例は、Work  With〔…と一緒に働く〕とColleague  Of〔…の同僚である〕という関係（述語）の対にある。すなわち、RDF三項組<s,Works  With,o>が与えられたとき、三項組<s,Colleague  of,o>も真である可能性が非常に高い。これら二つの関係は同じ（または非常に類似した）意味をもつからである。同様の事例は、たとえば、Married  With〔…と結婚している〕とPartner  Of〔…のパートナーである〕の場合に成り立つ。すなわち、等価ではないが、これらは関係した意味をもち、<s,Married  With,o>が真であれば、<s,Partner  Of,o>も真である可能性が、より高い。しかしながら、この状況において、<s,Partner  Of,o>も真である可能性が、より高いものの、妥当性の確率は、二つの述語が互いに厳密に等価である場合ほど高くない。
【００１４】
逆の関係の例は、Has  Part〔…を一部としてもつ〕とPart  Of〔…の一部である〕の関係の対にある。すなわち、RDF三項組<s,Has  Part,o>が与えられたとき、三項組<o,Part  Of,s>も真である可能性が非常に高い。これら二つの関係は互いの逆（inverse）だからである。
【００１５】
述語の間の関係（等価、逆、どのくらい緊密に関係しているか、など）は、まとめて、スキーマ知識（schema  knowledge）として知られる。スキーマ知識は一般に、特定の陳述に制約されない。述語間の関係は一般に、述語に関連するエンティティに依存しないからである。たとえば、述語Part  OfとHas  Partの間の逆関係は、関係したエンティティ対がオレンジとオレンジの一切れであるかニューヨークとニューヨーク州であるかに関わりなく、等しく成り立つ。
【００１６】
知識グラフはスキーマ知識を示すよう構成されうるが、これは、より大きなデータ・セットについては一般には適用されない。その主な理由は、知識グラフにスキーマ知識を含めることは、スケーラビリティーの問題を生じ、その結果、知識グラフに情報を含めるために必要とされる作業量が、含められる情報の量に対して指数関数的に増大することがあるということである。結果として、スキーマを認識しない（schema-unaware）知識グラフが一般的である。
【００１７】
図１Ａは、スキーマを認識しない埋め込みの例を示しており、述語t1、t2、t3、txおよびtyがベクトル空間にランダムに（述語間の関係を考慮せずに）埋め込まれている。図１Ａにおいて異なる述語を表わすベクトル１２０の相対的な位置付けは、関連するスキーマ知識についていかなる有用な情報も伝達しない。
【００１８】
スキーマ知識を知識グラフ内に組み込むことができる二つの既存の機構がある：知識グラフに埋め込まれる情報の前処理によるものと、知識グラフに含められる情報の後処理によるものである。図１Ｂは、述語t1、t2、t3、txおよびtyに対して関連するスキーマ知識を適用することがいかに結果的に生じる埋め込み１３０の形を変えるかを示している。図１Ｂから見て取れるように、陳述の等価性が、結果として得られる（スキーマを認識する（schema  aware））知識グラフにおけるベクトル１３０のクラスタリングによって示されている。
【００１９】
知識グラフをなす陳述に前処理を適用することにおいて、陳述は、知識グラフについての何らかの埋め込みベクトルを割り当てる前に、更新される。この例として、「等価な」関係の場合、パターン<s,Partner  Of,o>に一致するすべての三項組について、知識グラフに三項組<s,Married  To,o>が追加されることができる。同様に、「逆」関係の場合、パターン<s,Has  Part,o>に一致するすべての三項組について、知識グラフに三項組<o,Part  Of,s>が追加されることができる。後処理適用については、陳述が知識グラフに追加された後に予測（推定）がなされ、これらの予測が、陳述に適用されたベクトルを調整するために使われる。予測は、数学的な最適化問題（特に、整数線形計画法（ILP）問題）として定式化され、最終的な予測スコアは、知識グラフ埋め込みによって与えられる予測スコアと本方法によって課される論理的な制約条件への準拠との間のトレードオフである。後処理適用の例は、非特許文献１に記載されている。
【００２０】
図２は、スキーマ知識が知識グラフ内に組み込まれることのできる上記既存の機構の両方が、（三項組の形の）陳述を知識グラフ中に埋め込むときにどのように使用できるかを示すプロセスフローである。図２に示されるように、スキーマ知識２１０は、埋め込み計算システム２１１による知識グラフへの埋め込みの前に、三項組２１２−１ないし２１２−ｎを更新するために使用されることができる（前処理、２１０−Ａ参照）。あるいはまた、スキーマ知識２１０は、埋め込み計算システム２１１によって計算された、三項組２１２−１ないし２１２−ｎの知識グラフへの（スキーマを認識しない）埋め込みを、論理的制約条件に準拠させるために使用されることができる（後処理、２１０−Ｂ参照）。いずれの場合にも、三項組を知識グラフに埋め込むはたらきをするモデルのパラメータは、スキーマ知識の適用後に生成される。
【００２１】
スキーマ知識を埋め込みモデルに追加するとき、対処すべき主要な問題は、スキーマ知識の追加の正確さと、知識を追加するために使われる機構のスケーラビリティーである。特に、知識グラフ埋め込みが利用可能なスキーマ知識に準拠することを保証することが望ましい。この例として、<s,Has  Part,o>および<o,Part  Of,s>は等しいスコアを割り当てられるべきである。同様に、「Colleague  Of」と「Work  With」（これらは同様だが同一ではない意味をもつ）のような同様の述語は同様の埋め込みベクトルを割り当てられるべきである。スキーマ知識追加において使われるいかなる方法も、厳密なおよび近似的な逆および等価関係の両方、たとえば<Partner  Of,Equivalent,Married  With>を受け入れることもできるべきである。
【００２２】
入力情報集合のサイズが増すにつれて、入力情報に誤りが存在する可能性も増す。よって、スキーマ知識追加において使われる方法が誤りに対して堅牢であるべきであることが望ましい。しかしながら、入力情報の増大するサイズに関する主要な問題は、スキーマ知識追加機構のスケーラビリティーである。何百万もの情報を含む入力情報集合の例がある。たとえば、（非特許文献２で論じられる）DBペディア知識ベースは、英語を使うものだけで、370万のエンティティに関係する4億を超える資源記述フレームワーク陳述を含む。したがって、スキーマ知識を追加するためのいかなる機構も、大きなデータ・セットにスケーラブルであることが望ましい。
【００２３】
上述したように、陳述を埋め込むときにスキーマ知識を適用するための前処理および後処理アプローチはいずれも、特に用いられる方法のスケーラビリティーに関係する問題がある。スキーマを認識しない埋め込みモデルは通例、意味的に近い述語を非常に異なる埋め込みベクトルにマッピングする（マッピングは本質的にはランダムである）。よって、埋め込みの正しさを改善するためにそのようなスキーマ知識を使っていない。このことは、入力陳述を前処理することによって解決できるが、このアプローチは、データ・セットの手作業での吟味を必要とする結果、大きな知識グラフにはスケーリングしない。これは、より小さな入力情報集合については実際的でありうるが、（上記で論じた）DBペディアのようなより大きな入力情報集合のスケールでは、このアプローチは完全に非実際的なものとなる。
【００２４】
後処理方法は、前処理に比して、手作業の介入の必要性を低減できる。これは、（上記の非特許文献１で論じられているように）知識グラフにおける各エンティティおよび述語についての埋め込みベクトルを学習するときに、利用可能なスキーマ知識を反映するよう、すべての可能な事実に対して一組の制約条件を課すことによって達成できる。しかしながら、この方法は、制約条件の数が知識グラフにおけるエンティティおよび関係の数とともに指数関数的に増大することを必要とし、やはり、より大きなデータ・セットに適用されるときにスケーリング問題を引き起こす。
【先行技術文献】
【非特許文献】
【００２５】
【非特許文献１】Wang,  Q.  et  al.、"Knowledge  base  completion  using  embeddings  and  rules"、Proc.  of  the  24th  IJCAI,  2015,  pp.1859-1865
【非特許文献２】Lehmann,  J.  et  al.、"A  Large-scale,  Multilingual  Knowledge  Base  Extracted  from  Wikipedia"、Semantic  Web  Journal,  Vol.  6,  No.  2,  pp.167-195
【非特許文献３】Bordes,  A.  et  al.、"Translating  embeddings  for  modelling  multi-relational  data"、2016年11月16日現在https://www.utc.fr/~bordesan/dokuwiki/_media/en/transe_nips13.pdfで入手可能
【非特許文献４】Yang,  B.  et  al.、"Embedding  entities  and  relations  for  learning  and  inference  in  knowledge  bases"、2016年11月16日現在https://arxiv.org/abs/1412.6575で入手可能
【非特許文献５】Trouillon,  T.  et  al.、"Complex  Embeddings  for  Simple  Link  Prediction"、Proc.  of  the  33rd  International  Conference  on  Machine  Learning,  2016
【発明の概要】
【発明が解決しようとする課題】
【００２６】
したがって、スキーマ知識を含む、複数の述語および関連するエンティティからの知識グラフを完成させるための方法および装置であって、正確でありかつスケーラブルなものを提供することが望ましい。
【課題を解決するための手段】
【００２７】
本発明のある実施形態のある側面は、複数の述語および関連するエンティティから知識グラフを完成させる方法を提供する。前記述語はそれぞれ一対のエンティティの間の関係についての情報を与える。本方法は：前記複数の述語および関連するエンティティを含む入力を受領し；公準（axiom）データベースを検索して、前記複数の述語のうちで互いに等価であるまたは互いの逆である述語を識別し；前記公準データベースおよび識別された述語を使って、互いに関係しているさらなる述語を識別し；識別された述語および関連するエンティティをベクトル空間に埋め込んで前記知識グラフを完成させる段階を含む。ここで、前記述語および関連するエンティティは前記埋め込みにおいて、前記述語および関連するエンティティのすべてについてのペナルティー関数値の和であるペナルティー関数和が最小化されるようベクトルを割り当てられている。ペナルティー関数値は：互いに等価であると識別された二つの述語についての割り当てられたベクトルの間の類似性に反比例し；互いの逆として識別された二つの述語についての割り当てられたベクトルの間の非類似性に正比例し；関係していると識別された述語の間の相関の度合いに従って重み付けされる。本方法は、知識グラフを完成させるための、正確かつ（計算）資源効率のよい方法および装置を提供する。
【００２８】
本発明の実施形態のさらなる側面は、前記複数の述語および関連するエンティティが、資源記述フレームワークの陳述の形で利用され、各資源記述フレームワーク陳述は<主語,述語,目的語>の形であり、主語および目的語はエンティティであり、述語は主語と述語の間の関係を記述する、方法を提供する。リサーチ記述フレームワーク陳述は、広範なデータベースと互換であり、使用される、普通に使われ理解される形の述語およびエンティティである。
【００２９】
本発明の実施形態のさらなる側面は、知識グラフを完成させるために使われる前記情報からの所与の資源記述フレームワーク陳述がないことは、自動的に該所与の資源記述フレームワーク陳述が偽であることを意味するものとは解釈されない方法を提供する。開世界仮説は、他の代替よりも、大半のデータ・セットの、より正確な表現である。
【００３０】
本発明の実施形態のさらなる側面は、知識グラフを完成させるために使われるべき資源記述フレームワーク陳述を解析して、存在しない（absent）資源記述フレームワーク陳述を識別し；前記解析に基づいて、識別された存在しない資源記述陳述のどれが偽である可能性が高いかを判定し；前記判定に基づいて、知識グラフを完成させるために使われるべき資源記述フレームワークのエンティティおよび述語の前記埋め込みを調整することを含む方法を提供する。このような否定的な例の生成は、知識グラフを完成させることができる速度と正確さをさらに高める。
【００３１】
本発明の実施形態のさらなる側面は、前記ペナルティー関数和が
【数１】
2018085116.tif 000004
の形である方法を提供する。ここで、Θは、知識グラフを完成させるために使われるモデルのパラメータであり；pおよびqは述語であり；A1はスキーマ等価公準のすべてを含む集合であり；A2はスキーマ逆公準のすべてを含む集合であり；e(x)はxの埋め込みベクトルであり；φはモデル依存の変換関数であり；
【数２】
2018085116.tif 000005
は二つの与えられたベクトルxとyの間の非類似性の指標である。ペナルティー関数和のこの形は、知識グラフのための最適なモデル・パラメータを効率的に識別するために使用できる。
【００３２】
本発明の実施形態のさらなる側面は、前記ペナルティー関数和を最小化するよう見出された、割り当てられたベクトルの集合を記憶することをさらに含む方法を提供する。これは、割り当てられたベクトルが、将来の利用のために、簡単かつ迅速にアクセスされることを許容する。
【００３３】
本発明の実施形態のさらなる側面は、前記ペナルティー関数和を最小化するよう見出された、割り当てられたベクトルの集合に基づいて追加的な述語を識別し、該追加的な述語を使って公準データベースを更新することをさらに含む方法を提供する。このような追加的な述語の識別は、データベースを完成させることを容易にする。
【００３４】
本発明の実施形態のさらなる側面は、前記ペナルティー関数和が統計的勾配降下最適化を使って最小化される方法を提供する。統計的勾配降下最適化は、本発明に基づくペナルティー関数和の最適化のために特に好適である。
【００３５】
本発明の実施形態のさらなる諸側面によれば、方法のコンテキストで上記で論じたのと同じ恩恵を提供する装置、コンピュータ・プログラムおよび該コンピュータ・プログラムを有する非一時的なコンピュータ可読媒体が提供される。
【図面の簡単な説明】
【００３６】
本発明は、単に例として、以下の図面を参照して記述される。
【図１Ａ】スキーマを認識しない知識グラフの例を示している。
【図１Ｂ】スキーマを認識する知識グラフの例を示している。
【図２】スキーマ知識を知識グラフに組み込むための従来技術の技法を示すフローチャートである。
【図３】本発明の実施形態のある側面に基づく装置の概略図である。
【図４】本発明の実施形態のある側面に基づくリンク叙述（predication）の例のフローチャートである。
【図５】本発明の実施形態のある側面を具現するコンピューティング装置のブロック図である。
【発明を実施するための形態】
【００３７】
本発明は、知識グラフに陳述（三項組（triplet））を埋め込むための、既存の、スキーマを認識しない機構に対する追加を提供する。以下の記述はRDF三項組を使うことに言及しているが、本発明はRDF要求から離れた他のモデルにも等しく適用可能である。よって、本発明は、<エンティティ,述語,エンティティ>の形を使ういかなる情報（三項組）にも適用できる。
【００３８】
本発明が適用されうる、スキーマを認識しないモデルの限定しない例は、埋め込み変換（Translating  Embeddings）モデル（TransE）、双線形対角（Bilinear-Diagonal）モデル（DistMult）および複素埋め込み（Complex  Embeddings）モデル（ComplEx）を含む。TransEモデルは非特許文献３において詳細に論じられている。DistMultモデルは非特許文献４において詳細に論じられている。ComplExモデルは非特許文献５において詳細に論じられている。陳述尤度は直接、陳述の予測スコアと相関している。これらのモデルの動作の概要を下記で与えておく。
【００３９】
埋め込み変換モデル（TransE）では、すべてのエンティティe∈Eおよびすべての述語p∈Rは一意的な連続的埋め込みベクトルにマッピングされる。その際、エンティティeの埋め込みベクトルと述語pの埋め込みベクトルは、下記の式(3)に示されるように定義できる。
式(3)
【数３】
2018085116.tif 000006
【００４０】
これらの定義を使うと、<s,p,o>三項組の叙述スコア（predication  score）f(<s,p,o>;Θ)は式(4)によって与えられる。ここで、||x||はベクトルxのL1またはL2ノルムを表わし、Θはモデル（これは知識グラフにおけるすべてのエンティティおよび述語の埋め込みベクトルを含む）のパラメータの集合を表わす。
式(4)
【数４】
2018085116.tif 000007
【００４１】
より高い予測スコア（prediction  score）をもつ三項組は、より低い予測スコアをもつ三項組よりも確からしいと考えられる。埋め込みベクトルは前もって知られてはいないので、モデルは典型的には、埋め込みベクトルをランダムに初期化し、次いで、知識グラフ内の三項組（真であると検証された陳述と等価）の予測スコアを増す一方で、グラフ内にない三項組（真であると検証されていない陳述と等価）の予測スコアを減少させるよう、それらのベクトルをインクリメンタルに更新するよう構成される。TransEは、エネルギー・ベースのモデルであり、この更新は、三項組すべてを横断して損失関数の値を最小化し、それにより損失関数の最小に到達しようとすることと同じと考えられる。この最小は、最も正確に現実を表現できると推定されるデータの表現を示す。
【００４２】
双線形対角モデル（DistMult）は上述したTransEモデルに基づくが、このモデルはTransEモデルにおいて使われた加法的相互作用ではなく、eおよびpについての埋め込みベクトルの間の乗法的相互作用に基づく。よって、DistMultモデルにおける予測スコアは、式(5)に示されるように得られる。式(5)では、式の右辺はe(p)e(s)e(o)についての成分ドット積を示す。TransEモデルの場合と同様に、埋め込みベクトルはランダムに初期化される。
式(5)
【数５】
2018085116.tif 000008
【００４３】
複素埋め込みモデル（ComplEx）はこのDistMultモデルに基づく。だが、純粋に実数を使うのではなく、ComplExモデルは、ドット積の数学的定義を保持しつつ、複素数値の埋め込みを使う。よって、陳述（三項組）についての予測スコアは式(6)によって与えられる。ここで、x∈Ckを与えられたとき、Re(x)∈Rkはxの実部を示し、Im(x)∈Rkはxの虚部を示す。TransEおよびDistMultモデルの場合と同様に、埋め込みベクトルはここでもランダムに初期化される。
式(6)
【数６】
2018085116.tif 000009
【００４４】
TransE、DistMultおよびComplExモデルには、TransEのコンテキストで上記で論じたように、損失関数の最小化が備わっている。損失関数（またはコスト関数）は、データの表現を最適モデル・パラメータの集合Θ*の形で最適化し、それにより陳述間の関係を表わす最も正確な知識グラフに到達するために最小化される。いったん最適化されたモデルのパラメータΘ（Θ*）は、知識グラフ内の各エンティティおよび述語について、埋め込みベクトルを含み、それが知識グラフを完成させるために使用できる。
【００４５】
損失関数は、モデル固有ではないが、TransE、DistMultおよびComplExモデルのすべてに適用可能な損失関数の例が式(7)に示されている。ここで、Gは陳述（三項組）の完全な集合であり、Cは、所与の三項組<s,p,o>に対して作用するときに、エンティティの一方（sまたはo）をGからの別のエンティティで置き換えることによって得ることのできる三項組すべてを返す関数である。ユーザー定義のパラメータがγ∈Rによって表わされている。
式(7)
【数７】
2018085116.tif 000010
【００４６】
最適パラメータは、損失関数を最小化することによって、すなわちΘ*＝argminΘL(Θ)に従って見出される。これは、使用される損失関数の具体的な形に関わりなく成り立つ。
【００４７】
従来技術のシステムでは、パラメータの最適化の間、スキーマ知識については考慮されない（上記で論じたモデルはみなスキーマを認識しない）。本発明は、スキーマ知識を考慮に入れるよう損失関数（たとえば式(7)に示される損失関数）についての修正を提供する。これは、最適パラメータに到達するために損失関数を最小化するときに課される追加的な制約条件を使うことを通じて達成される。
【００４８】
該追加的な制約条件が説明できるために、公準の二つの集合A1およびA2を定義する必要がある。A1は、スキーマ等価公準のすべてを含む集合であり、A2はスキーマ逆公準のすべてを含む集合である。これら二つの集合は、数学的には下記の式(8)で示されるように定義されることができる。ここで、pおよびqは述語である。
式(8)
【数８】
2018085116.tif 000011
【００４９】
式(8)で定義される公準集合A1を与えられると、本発明は、p≡qである場合、すべてのエンティティs,o∈Eについて、スコアf(<s,p,o>;Θ)およびf(<s,q,o>;Θ)が同じであるべきであるという制約条件を、pおよびqが同じ埋め込みをもつ、すなわちe(p)＝e(q)であることを優遇することによって、適用する。各エンティティについて相異なる制約条件f(<s,p,o>;Θ)＝f(<s,q,o>;Θ)を課す代わりに、述語埋め込みe(p)およびe(q)に対して単一の制約条件e(p)＝e(q)が課される。このようにして、等価公準が尊重される。
【００５０】
やはり式(8)で定義される公準集合A2を与えられると、本発明は、p≡q-である場合、すべてのエンティティs,o∈Eについて、スコアf(<s,p,o>;Θ)およびf(<o,q,s>;Θ)が同じであるべきであるという制約条件を適用する。知識グラフ中のエンティティ数によって影響されない制約条件数でこの結果を得るために、モデル依存の関数φ：Rk→Rkが定義される。e(p)＝φ(e(q))を適用することにより、モデル依存の関数は、エンティティs,o∈Eの任意の対について、<s,p,o>と<o,q,s>のスコアが同じである、すなわちf(<s,p,o>;Θ)＝f(<o,q,s>;Θ)であることを優遇する。
【００５１】
条件A1およびA2における公準に関係した制約条件の厳密な施行は、硬制約条件（破ることのできない制約条件）の使用を要求する。このような硬制約条件の使用は、スキーマ知識を考慮に入れるようベクトルの埋め込みを効率的に適応させることができるが、絶対的に検証されたデータ等価または逆関係での使用に限定される。すなわち、このような硬制約条件の使用は、本発明の実施形態が、二つの述語が、互いの直接的な等価物または逆ではないものの、関係した意味をもつことを示す関係を考慮に入れる能力を減らす。関係した述語の例は、Married  WithとPartner  Ofという述語の場合である。これらは等価ではないが、関係した意味をもち、<s,Married  With,o>であれば<s,Partner  Of,o>も真である可能性が高くなる。だが、この状況において<s,Partner  Of,o>も真である可能性が高くなるものの、妥当性の確率は二つの述語が互いの厳密な等価物であった場合ほど高くはない。
【００５２】
関係した述語が考慮に入れられることを許容するために、本発明の実施形態は軟制約条件を使ってもよい。これは、優遇されるが、破ることができないものではない所望される属性を定義するために使われる。よって、二つの述語の間の関係の性質、特に二つの述語が互いにどのくらい似ているか（または逆であるか）が考慮に入れられることができるよう、本発明の実施形態は、制約条件に重み付け因子（λ）を適用する。重み付け因子（λ）は本質的には、述語の間の任意の所与の関係の重要性の指標である。より類似した（または互いと逆の）述語については、重み付け因子は大きく、上記で定義した理想的な値（等価についてはf(<s,p,o>;Θ)＝f(<s,q,o>;Θ)、逆についてはf(<s,p,o>;Θ)＝f(<o,q,s>;Θ)）からのいかなる逸脱も損失因子（下記で定義）に対して有意な影響をもつ。それほど強くない関係がある述語については、重み付け因子は小さくなり、理想的な値からの逸脱があったとしても損失因子に対してそれほど有意な影響はもたない。硬制約条件については、上記で論じたような硬制約条件の相対的な重要性を反映するよう、重み付け因子（λ）は極大であってもよい。
【００５３】
重み付けされた制約条件を損失因子に組み込むために、本発明は、既存の損失因子（たとえば式(7)に示される損失因子）を、式(9)に示されるように追加的なペナルティー関数項RS(Θ)を含むよう修正する。RS(Θ)の値は、埋め込みベクトルすべてについての、重み付けされないペナルティー関数和、すなわち重み付けされないペナルティー関数値の和である。
式(9)
【数９】
2018085116.tif 000012
【００５４】
式(9)において、第一の和の項は、二つの述語が（集合A1からのスキーマ等価公準によって）等価であると識別されたときのpの埋め込みe(p)とqの埋め込みe(q)の間の非類似性にペナルティーを与える（非類似性に応じてスコアを増大させる）。第二の和の項は、二つの述語が（集合A2からのスキーマ等価公準によって）互いの逆であると識別されたときのpの埋め込みe(p)とqの埋め込みの変換φ(e(q))の間の非類似性にペナルティーを与える。変換関数φ(・)は、エンティティs,o∈Eの各対について上記で論じたように三項組<s,p,o>と<o,q,s>が同じスコアに関連付けられるよう、各埋め込みモデルについて解析的に導出される。
【００５５】
式(9)では、記法D(x||y)は二つのベクトル（xおよびy）の間の非類似性の指標を示す。本発明の実施形態のある側面では、D(x||y)＝||x−y||2であるが、二つのベクトルの間の類似性を測るための他の形、たとえば余弦類似性指標が使われることもできる。
【００５６】
余弦類似性は二つのベクトルの間の類似性の指標であり、式(10)を使って計算される。ここで、AおよびBはそれぞれn成分をもつベクトルである。記号AiおよびBiはそれぞれAおよびBのi番目の成分を示す。
式(10)
【数１０】
2018085116.tif 000013
【００５７】
式(10)からの出力は余弦類似性値であり、これは二つの入力ベクトルの間の類似性を示す0から1までの間の値である。値1は二つの同一のベクトルの間で比較が行なわれたことを示し、より低い値は、比較されたものがより非類似のベクトルであったことを示す。
【００５８】
式(9)に示されるようなRS(Θ)についての式を使うと、既存の損失関数（たとえば式(7)に示される関数）は、重み付けされた軟制約条件を考慮に入れるよう、公準について重み付け因子（λ）を含めることによって、修正されることができる。それによりペナルティー関数和λRS(θ)が返される。ペナルティー関数和は、述語および関連するエンティティのすべてについての重み付けされたペナルティー関数値の和である。ペナルティー関数値は、互いに等価であると識別された二つの述語についての割り当てられたベクトルの間の類似性に反比例し；互いの逆として識別された二つの述語についての割り当てられたベクトルの間の非類似性に正比例し；関係していると識別される述語の間の相関度に従って重み付けされる。
【００５９】
本発明のある側面に基づく、結果として得られる修正された損失関数は、記号LSによって表わされ、下記に示す式(11)によって与えられる。
式(11)
【数１１】
2018085116.tif 000014
【００６０】
本発明の実施形態の諸側面は、LSを最適化するために、すなわち、Θ*＝argminΘL(Θ)に従って損失関数を最小化して最適なモデル・パラメータの集合Θ*を得るために、勾配降下アルゴリズムを利用する。統計的勾配降下アルゴリズムが、本発明の実施形態のために必要とされる最適化に、特に好適である。というのも、この方法は、それぞれの埋め込みベクトル変化後に、修正された損失関数を再計算するからである。しかしながら、バッチまたはミニバッチ勾配降下アルゴリズムのような他のアルゴリズムも使用できる。
【００６１】
本発明の諸実施形態に基づく装置１０００の概略図が図３に示されている。動作では、装置１０００は、複数の述語および関連付けられたエンティティを、複数の三項組の形で受け取る。上記で論じたように、三項組はRDF三項組であってもよいが、これは本発明の本質的な特徴ではない。述語および関連付けられたエンティティは、データ受領器１００１によって受領される。データ受領器１００１は、述語および関連付けられたエンティティを、ユーザーからの手動入力を介して（たとえばキーボード入力によって）受領してもよいが、典型的には、述語および関連付けられたエンティティは、データ・ファイルにおいて提供される。データ・ファイルは、インターネット接続を介して受信されてもよく、あるいはハードドライブまたは光ディスクのような物理的な記憶デバイスを介して当該装置にアップロードされてもよい。
【００６２】
装置１０００は、スキーマ知識データベース２００１からスキーマ知識を取得する。図３に示される本発明の実施形態の側面では、スキーマ知識データベース２００１は、装置１０００とは別個であり、スキーマ知識は情報取得器１００２によって、スキーマ知識データベース２００１から、そのリモートのスキーマ知識データベース２００１への接続を介して、取得される。本発明の諸側面では、スキーマ知識データベース２００１は、インターネットを介してまたはインターネットからは隔離された専用のデータ接続を介して装置１０００に接続された、リモート・サーバーに記憶される。しかしながら、本発明の実施形態の代替的な諸側面では、スキーマ知識データベース２００１は、装置１０００に組み込まれ、情報取得器１００２は、そのローカルなデータベースから直接、必要とされるスキーマ知識を抽出することを受け持つ。任意的に、ローカルなスキーマ知識データベース２００１は定期的にリモートのスキーマ知識データベースと同期してもよい。情報取得器は、関連するスキーマ知識、すなわち、（データ受領器１００１によって取られた）前記複数の述語の間の、互いと等価なまたは互いの逆である述語を同定する公準を得ることを受け持つ。
【００６３】
スキーマ知識ならびに述語および関連付けられたエンティティは、次いで、トレーニング器１００４に渡される。トレーニング器１００４は、知識グラフを完成させるために、前記述語および関連付けられたエンティティに埋め込みベクトルを割り当てる。上記でより詳細に論じたように、埋め込みベクトルのこの割り当ては、ペナルティー関数和が最小化されるよう、実行される。所与の述語および関連付けられたエンティティについてのペナルティー関数値は、情報取得器１００２によって互いに等価であると識別される二つの述語についての割り当てられたベクトルの間の類似性に反比例し；情報取得器１００２によって互いの逆であると識別される二つの述語についての割り当てられたベクトルの間の非類似性に正比例し；関係していると識別される述語の間の相関の度合いに従って重み付けされる。
【００６４】
任意的に、トレーニング器１００４は、埋め込みベクトルの割り当てを実行するときに、例生成器１００５と通信してもよい。例生成器１００５は、（上記で論じた）開世界仮説に従う本発明の実施形態の諸側面、たとえばRDF要求に従った入力三項組を受け取る諸側面において、特に有用である。開世界仮説によれば、RDFグラフに含まれない三項組は必ずしも誤った陳述をエンコードしているのではなく、対応する陳述が真か偽かわかっていないことになる。本発明と一緒に利用されうるある種の知識グラフ埋め込みモデルでは、エンティティおよび述語の埋め込みは、グラフ内の三項組のスコアをインクリメンタルに増す一方で、グラフに含まれない、真の陳述をエンコードしている可能性がそれほど高くないと考えられる三項組のスコアを下げることによって学習される。例生成器１００５は：知識グラフを完成させるために使用される資源記述フレームワーク陳述を解析し；資源記述フレームワーク陳述が不在であることを識別し；識別された不在の資源記述陳述のどれが偽である可能性が高いかを前記解析に基づいて判定し、ここで、所与の資源記述フレームワーク陳述が知識グラフを完成させるために使われる前記情報において不在であることは、該所与の資源記述フレームワークが偽であることを意味すると自動的に解釈されることはなく；（トレーニング器１００４との関連で）前記判定に基づいて、知識グラフを完成させるために使われる資源記述フレームワーク陳述の埋め込みを調整する、よう構成される。そうすることにおいて、例生成器１００５は、最適化プロセスが、より効率的な仕方で実行されることを許容する。
【００６５】
装置１０００は任意的に、ひとたび最適なモデル・パラメータが同定されたら、最適なモデル・パラメータ、すなわちそれぞれのエンティティおよび述語についての最適な埋め込みベクトルを記憶するために使われる記憶ユニット１００６をも含んでいてもよい。図３に示した本発明の実施形態の側面では、記憶ユニット１００６は、装置１０００の一部であるハードディスクを有し、最適なモデル・パラメータがローカルに記憶されることを許容する。それにより、知識グラフは、迅速に取得され、操作されることができる。あるいはまた、装置１０００は、最適なモデル・パラメータを、インターネットを介してまたは他の手段を介して、（サーバーのような）リモート位置に転送するよう構成されてもよい。
【００６６】
ひとたび知識グラフが完成されたら、最適なモデル・パラメータは、さまざまな目的のために使用できる。これらのパラメータを利用する一つの方法は、追加的な三項組の生成である。最適なモデル・パラメータを解析することによって、トレーニング器１００４は、データ受領器１００１によって受領された初期情報に含まれないが、完成された知識グラフが正しい（真である）と示す、追加的な三項組を生成するよう構成されることができる。これらの追加的な三項組は、人間による検証のために出力されることができる。このプロセスは、リンク予測（link  prediction）とも称される。
【００６７】
本発明のリンク予測への適用は、本発明の実施形態がデータベースを完成させるために使用されるときに、特に価値がある。これは、単一のデータ・セット内に等価および逆の属性がある、または複数のデータ・セット（これらは必ずしも同じフィールドを含んでいなくてもよい）からのデータを組み合わせることによってデータベースが形成される状況について、特に成り立つ。例示的な状況は、人口データベース、医療データベース、金融または商業データベースなどを含む。
【００６８】
図４は、リンク予測のための本発明の例示的実装を示すフローチャートである。一般化された（スキーマを認識しない）リンク予測モデルが、提供されるスキーマ知識４１０を考慮に入れて修正され、新たなリンク予測モデル４１１が生成される。新たなモデル４１１は、入力三項組４１２−１ないし４１２−ｎにスコアを割り当てるときに、課される制約条件（等価および逆等価）が満たされるよう、スキーマ知識４１０を考慮に入れる。新たなスキーマを認識するモデル４１１は、それらの制約条件によって影響される三項組が今や同様のスコアを受けるよう、スコア４１３−１ないし４１３−ｎを生成する。
【００６９】
図５は、本発明のある実施形態のある側面を具現し、複数の述語および関連付けられたエンティティから知識グラフを完成させる方法の実施形態を実装するために使用されうる、パーソナル・コンピュータのようなコンピューティング装置のブロック図である。本コンピューティング装置は、プロセッサ９９３およびメモリ９９４を有する。任意的に、コンピューティング装置は、他のコンピューティング装置との、たとえば発明実施形態の他のコンピューティング装置との通信のための、あるいはリモート・データベースとのコンピューティングのための、ネットワーク・インターフェース９９７をも含む。
【００７０】
たとえば、本発明のある実施形態のある側面は、装置１０００のコンポーネントが複数のコンピューティング装置にまたがって分割されるよう、そのようなコンピューティング装置のネットワークから構成されていてもよい。任意的に、コンピューティング装置は、キーボードおよびマウスのような一つまたは複数の入力機構またはタッチスクリーン・インターフェース９９６と、一つまたは複数のモニタのようなディスプレイ・ユニット９９５とも含む。コンポーネントはバス９９２を介して互いに接続可能である。
【００７１】
メモリ９９４はコンピュータ可読媒体を含んでいてもよい。この用語は、単一の媒体または複数の媒体（たとえば中央集中式のまたは分散式のデータベースおよび／または関連するキャッシュおよびサーバー）であって、コンピュータ実行可能命令を担持するまたはデータ構造が記憶されているよう構成されたものを指しうる。コンピュータ実行可能命令はたとえば、汎用コンピュータ、特殊目的コンピュータまたは特殊目的処理装置（たとえば一つまたは複数のプロセッサ）によってアクセス可能であり、それに一つまたは複数の機能または動作を実行させる命令およびデータを含んでいてもよい。よって、用語「コンピュータ可読記憶媒体」は、機械による実行のための一組の命令を記憶、エンコードまたは担持することができ、機械に本開示の方法の任意の一つまたは複数を実行させるいかなる媒体をも含みうる。よって、用語「コンピュータ可読記憶媒体」は、半導体メモリ、光学式メディアおよび磁気メディアを含むがそれに限られないものと解釈されうる。限定ではなく例として、そのようなコンピュータ可読媒体は、ランダム・アクセス・メモリ（RAM）、読み出し専用メモリ（ROM）、電気的に消去可能なプログラム可能型読み出し専用メモリ（EEPROM）、コンパクトディスク読み出し専用メモリ（CD-ROM）または他の光ディスク記憶、磁気ディスク記憶または他の磁気記憶デバイス、フラッシュ・メモリ・デバイス（たとえば半導体メモリ・デバイス）を含む非一時的なコンピュータ可読記憶媒体を含みうる。
【００７２】
プロセッサ９９３はコンピューティング装置を制御し、処理動作を実行する、たとえば本稿および請求項において記載されているデータ受領器１００１、情報取得器１００２、トレーニング器１００４および任意的にスキーマ知識データベース２００１、例生成器１００５および記憶ユニット１００６のさまざまな異なる機能を実装するためにメモリに記憶されているコードを実行するよう構成される。メモリ９９４は、プロセッサ９９３によって読まれ、書かれるデータを記憶する。本稿で言うところでは、プロセッサは、マイクロプロセッサ、中央処理ユニットなどといった一つまたは複数の汎用処理装置を含みうる。プロセッサは、複雑命令セット・コンピューティング（CISC）マイクロプロセッサ、縮小命令セット・コンピューティング（RISC）マイクロプロセッサ、超長命令語（VLIW:  very  long  instruction  word）マイクロプロセッサまたは他の命令セットを実装するプロセッサまたは命令セットの組み合わせを実装する諸プロセッサを含みうる。プロセッサは、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、デジタル信号プロセッサ（DSP）、ネットワーク・プロセッサなどといった一つまたは複数の特殊目的処理装置をも含みうる。一つまたは複数の実施形態では、プロセッサは、本稿で論じられる動作および段階を実行するための命令を実行するよう構成される。
【００７３】
ディスプレイ・ユニット９９７は、コンピューティング装置によって記憶されるデータの表現を表示してもよく、また、ユーザーとプログラムおよびコンピューティング装置に記憶されているデータとの間の対話を可能にする、カーソルおよびダイアログボックスおよび画面をも表示してもよい。ディスプレイ・ユニットは、タッチスクリーン・インターフェースを有していてもよい。入力機構９９６は、ユーザーがデータおよび命令をコンピューティング装置に入力できるようにしてもよい。特に、ディスプレイ・ユニットは、本発明を使って完成された知識グラフ、受領されたスキーマ知識、入力三項組、導出された三項組などを表示するために使われてもよい。
【００７４】
ネットワーク・インターフェース（ネットワークI/F）９９７はインターネットのようなネットワークに接続されてもよく、該ネットワークを介して他のそのようなコンピューティング装置に接続可能である。ネットワークI/F  ９９７はネットワークを介した他の装置との間のデータ入出力を制御しうる。
【００７５】
マイクロフォン、スピーカー、プリンター、電源ユニット、ファン、ケース、スキャナ、トラックボールなどといった他の周辺装置がコンピューティング装置に含まれていてもよい。
【００７６】
図３のデータ受領器１００１は、メモリ９９４に記憶された処理命令（プログラム）を実行し、ネットワークI/F  ９９７またはバス９９２を介してデータを交換するプロセッサ９９３（またはその複数）であってもよい。特に、プロセッサ９９３は、上記で論じたように、三項組（述語および関連付けられたエンティティ）を受領するための処理命令を実行することができる。さらに、プロセッサ９９３は、受領された三項組を接続された記憶ユニットに記憶するおよび／またはネットワークIF  ９９７またはバス９９２を介してそれらの三項組を装置１０００内の他のコンポーネントに送信するための処理命令を実行してもよい。
【００７７】
図３の情報取得器１００２は、メモリ９９４に記憶された処理命令（プログラム）を実行し、ネットワークI/F  ９９７またはバス９９２を介してデータを交換するプロセッサ９９３（またはその複数）であってもよい。特に、プロセッサ９９３は、上記で論じたように、スキーマ知識データベース２００１から関連するスキーマ知識を取得するための処理命令を実行することができる。さらに、プロセッサ９９３は、受領されたスキーマ知識を接続された記憶ユニットに記憶するおよび／またはネットワークIF  ９９７またはバス９９２を介して該スキーマ知識を装置１０００内の他のコンポーネントに送信するための処理命令を実行してもよい。
【００７８】
図３のトレーニング器１００４は、メモリ９９４に記憶された処理命令（プログラム）を実行し、ネットワークI/F  ９９７またはバス９９２を介してデータを交換するプロセッサ９９３（またはその複数）であってもよい。特に、プロセッサ９９３は、上記で論じたように、ペナルティー関数和の最小化に従って、知識グラフを完成させるために同定された述語および関連付けられたエンティティをベクトル空間に埋め込むための処理命令を実行することができる。さらに、プロセッサ９９３は、知識グラフ（最適なモデル・パラメータ）を接続された記憶ユニットに記憶するおよび／またはネットワークIF  ９９７またはバス９９２を介して該知識グラフを装置１０００内または他所の他のコンポーネントに送信するための処理命令を実行してもよい。
【００７９】
本発明を具現する方法は、図５に示されるような一つまたは複数のコンピューティング装置で実行されてもよい。そのようなコンピューティング装置は図５に示されるすべてのコンポーネントを有する必要はなく、それらのコンポーネントの部分集合から構成されていてもよい。本発明を具現する方法は、上記で論じたように、一つまたは複数のデータ記憶サーバーとネットワークを介して通信する単一のコンピューティング装置によって実行されてもよい。
【００８０】
本発明の実施形態は、埋め込みベクトルを割り当てるプロセスにおいてスキーマ知識を組み込むよう構成されるので、結果として得られる知識グラフは、既存の、スキーマを認識しない方法によって生成される知識グラフよりも、入力三項組の間の関係を、より正確に表現する。さらに、本発明は、後処理でのスキーマ知識実装の使用を避けるので、必要とされる制約条件の数は指数関数的に増大せず、よって、本発明は、不相応なコンピューティング資源を要求することなく、大きなデータ・セットに適用できる。したがって、本発明は、知識グラフを完成させるための、正確かつ（コンピューティング）資源効率のよい方法および装置を提供する。上記で論じたように、本方法は、非一時的なコンピュータ可読媒体に記憶されていてもよいコンピュータ・プログラムを使って実装されてもよい。
【００８１】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
複数の述語および関連するエンティティから知識グラフを完成させる方法であって、前記述語はそれぞれ一対のエンティティの間の関係についての情報を与え、当該方法は：
前記複数の述語および関連するエンティティを含む入力を受領し；
公準データベースを検索して、前記複数の述語のうちで互いに等価であるまたは互いの逆である述語を識別し；
前記公準データベースおよび識別された述語を使って、互いに関係しているさらなる述語を識別し；
識別された述語および関連するエンティティをベクトル空間に埋め込んで前記知識グラフを完成させる段階を含み、
前記述語および関連するエンティティは前記埋め込みにおいて、前記述語および関連するエンティティのすべてについてのペナルティー関数値の和であるペナルティー関数和が最小化されるようベクトルを割り当てられ、前記ペナルティー関数値は：
互いに等価であると識別された二つの述語についての割り当てられたベクトルの間の類似性に反比例し；
互いの逆として識別された二つの述語についての割り当てられたベクトルの間の非類似性に正比例し；
関係していると識別された述語の間の相関の度合いに従って重み付けされる、
方法。
（付記２）
前記複数の述語および関連するエンティティが、資源記述フレームワーク陳述の形で利用され、
各資源記述フレームワーク陳述は<主語,述語,目的語>の形であり、主語および目的語はエンティティであり、述語は主語と述語の間の関係を記述する、
付記１記載の方法。
（付記３）
知識グラフを完成させるために使われる前記情報からの所与の資源記述フレームワーク陳述の不在が、該所与の資源記述フレームワーク陳述が偽であることを意味するものと、自動的に解釈されることはない、付記２記載の方法。
（付記４）
知識グラフを完成させるために使われるべき資源記述フレームワーク陳述を解析して、不在の資源記述フレームワーク陳述を識別し；
前記解析に基づいて、識別された不在の資源記述フレームワーク陳述のどれが偽である可能性が高いかを判定し；
前記判定に基づいて、知識グラフを完成させるために使われるべき資源記述フレームワークのエンティティおよび述語の前記埋め込みを調整することをさらに含む、
付記３記載の方法。
（付記５）
前記ペナルティー関数和が
【数１２】
2018085116.tif 000015
の形であり、
Θは、知識グラフを完成させるために使われるモデルのパラメータであり；
pおよびqは述語であり；
A1はスキーマ等価公準のすべてを含む集合であり；
A2はスキーマ逆公準のすべてを含む集合であり；
e(x)はxの埋め込みベクトルであり；
φはモデル依存の変換関数であり；
D(x||y)は二つの与えられたベクトルxとyの間の非類似性の指標である、
付記１ないし４のうちいずれか一項記載の方法。
（付記６）
前記ペナルティー関数和を最小化するよう見出された、割り当てられたベクトルの集合を記憶することをさらに含む、付記１ないし５のうちいずれか一項記載の方法。
（付記７）
前記ペナルティー関数和を最小化するよう見出された、割り当てられたベクトルの集合に基づいて追加的な陳述を識別し、該追加的な陳述を使って知識グラフ（三項組の集合）を更新することをさらに含む、付記６記載の方法。
（付記８）
前記ペナルティー関数和の値が統計的勾配降下最適化を使って最小化される、付記１ないし７のうちいずれか一項記載の方法。
（付記９）
複数の述語および関連するエンティティから知識グラフを完成させる装置であって、前記述語はそれぞれ一対のエンティティの間の関係についての情報を与え、当該装置は：
前記複数の述語および関連するエンティティを含む入力を受領するよう構成されたデータ受領器と；
公準データベースを検索して、前記複数の述語のうちで互いに等価であるまたは互いの逆である述語を識別するよう構成された情報検索器と；
前記公準データベースおよび識別された述語を使って、互いに関係しているさらなる述語を識別し、識別された述語および関連するエンティティをベクトル空間に埋め込んで前記知識グラフを完成させるよう構成されたトレーニング器とを有しており、
前記トレーニング器は、前記述語および関連するエンティティに、前記述語および関連するエンティティのすべてについてのペナルティー関数値の和であるペナルティー関数和が最小化されるようベクトルを割り当てるようさらに構成されており、前記ペナルティー関数値は：
互いに等価であると前記情報検索器によって識別された二つの述語についての割り当てられたベクトルの間の類似性に反比例し；
互いの逆として前記情報検索器によって識別された二つの述語についての割り当てられたベクトルの間の非類似性に正比例し；
関係していると識別された述語の間の相関の度合いに従って重み付けされる、
装置。
（付記１０）
前記複数の述語および関連するエンティティが、資源記述フレームワーク陳述の形で前記データ受領器に入力され、各資源記述フレームワーク陳述は<主語,述語,目的語>の形であり、主語および目的語はエンティティであり、述語は主語と述語の間の関係を記述し、
当該装置はさらに例生成器を有しており、該例生成器は：
知識グラフを完成させるために使われるべき資源記述フレームワーク陳述を解析して、不在の資源記述フレームワーク陳述を識別する段階と；
前記解析に基づいて、識別された不在の資源記述フレームワーク陳述のどれが偽である可能性が高いかを判定する段階であって、知識グラフを完成させるために使われる前記情報からの所与の資源記述フレームワーク陳述の不在が、該所与の資源記述フレームワーク陳述が偽であることを意味するものと、自動的に解釈されることはない、段階と；
前記判定に基づいて、知識グラフを完成させるために使われるべき資源記述フレームワークのエンティティおよび述語の前記埋め込みを調整する段階とを実行するよう構成されている、
付記９記載の装置。
（付記１１）
前記ペナルティー関数を最小化するよう見出された、割り当てられたベクトルの集合を記憶するよう構成された記憶ユニットをさらに有する、付記９または１０記載の装置。
（付記１２）
前記トレーニング器が、統計的勾配降下最適化を使って前記ペナルティー関数和の値を最小化するよう構成されている、付記９ないし１１のうちいずれか一項記載の装置。
（付記１３）
コンピュータで実行されたときに、該コンピュータに付記１ないし８のうちいずれか一項記載の知識グラフを完成させる方法を実行させる、コンピュータ・プログラム。
（付記１４）
付記１３記載のコンピュータ・プログラムを有する非一時的なコンピュータ可読媒体。
【符号の説明】
【００８２】
２１０  スキーマ知識
２１１  埋め込み計算システム
２１２  三項組
２１３  学習されたモデル・パラメータ
４１０  スキーマ知識
４１１  スキーマを意識するリンク予測モデル
４１２  三項組
４１３  スコア
９９２  バス
９９３  プロセッサ
９９４  メモリ
９９５  ディスプレイ
９９６  入力
９９７  ネットワークI/F
１０００  装置
１００１  データ受領器
１００２  情報取得器
１００４  トレーニング器
１００５  例生成器
１００６  記憶ユニット
２００１  スキーマ知識データベース
【図１Ａ】
2018085116.tif 000017
【図１Ｂ】
2018085116.tif 000018
【図２】
2018085116.tif 000019
【図３】
2018085116.tif 000020
【図４】
2018085116.tif 000021
【図５】
2018085116.tif 000022
【外国語明細書】
2018085116000001.pdf