(57)【要約】マルチラベル分類を実行する方法は、特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出することと、ラベル予測器によって、特徴ベクトルに基づいて関連度スコアを有する関連ラベルを含む関連ベクトルを求めることと、先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新することと、関連ラベルから事前選択ラベルを除外するように関連ラベルベクトルが更新されるように、更新されたバイナリマスキングベクトルを関連ベクトルに適用することと、更新された関連ラベルベクトルの関連度スコアに基づいて更新された関連ラベルベクトルから関連ラベルを選択することとを含む。
2019527440.tif 000002
【特許請求の範囲】
【請求項１】
マルチ関連ラベルを生成する方法であって、
特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、
ラベル予測器によって、前記特徴ベクトルに基づいて関連度スコアを有する複数の関連ラベルを含む関連ベクトルを求めるステップと、
先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新するステップと、
前記関連ラベルから前記事前選択ラベルを除外するように前記関連ラベルベクトルが更新されるように、前記更新されたバイナリマスキングベクトルを前記関連ベクトルに適用するステップと、
前記更新された関連ラベルベクトルの前記関連度スコアに基づいて前記更新された関連ラベルベクトルから関連ラベルを選択するステップと、
を含む、方法。
【請求項２】
前記関連ラベルを蓄積して、マルチ関連ラベルのセットを生成すること、
を更に含む、請求項１に記載の方法。
【請求項３】
前記蓄積することは、最終ラベルが選択されるまで続行される、請求項２に記載の方法。
【請求項４】
前記更新されたバイナリマスキングベクトルを前記適用するステップは、前記事前選択ラベルの前記関連度スコアを予め設定された小さな定数に設定する、請求項１に記載の方法。
【請求項５】
前記選択するステップにおいて、前記更新された関連ラベルベクトルの前記関連ラベルにおいて最も高いスコアを有する前記関連ラベルが選択される、請求項１に記載の方法。
【請求項６】
前記ラベル予測器は、前記求めるステップにおいて、再帰型ニューラルネットワークを利用する、請求項１に記載の方法。
【請求項７】
前記選択するステップにおいて累積ラベル情報を生成して前記ラベル予測器に送信すること、
を更に含む、請求項１に記載の方法。
【請求項８】
前記事前選択ラベルは、先行のラベル選択において選択されていた前記関連ラベルである、請求項１に記載の方法。
【請求項９】
前記選択するステップは、前記マスキングすることの後に実行される、請求項１に記載の方法。
【請求項１０】
前記関連度スコアは、再帰型ニューラルネットワークを用いることによって計算される、請求項１に記載の方法。
【請求項１１】
前記選択するステップにおいて、前記関連ラベルは、前記関連ベクトルにおけるマスキングされていないラベルの中で最も高い関連度スコアを有する、請求項１に記載の方法。
【請求項１２】
前記マスキングすることは、前記バイナリマスキングベクトルを用いることによって実行される、請求項１に記載の方法。
【請求項１３】
マルチ関連ラベルを生成するシステムであって、
入力デバイスから入力データを受信する入力インターフェースと、
前記入力インターフェース、及びアルゴリズムモジュールのコードを記憶するメモリに接続されたプロセッサと、
を備え、
前記プロセッサは、前記入力データに応答して、前記アルゴリズムモジュールの命令に従って複数のステップを実行し、
前記複数のステップは、
特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、
ラベル予測器によって、前記特徴ベクトルに基づいて関連度スコアを有する複数の関連ラベルを含む関連ベクトルを求めるステップと、
先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新するステップと、
前記関連ラベルから前記事前選択ラベルを除外するように前記関連ラベルベクトルが更新されるように、前記更新されたバイナリマスキングベクトルを前記関連ベクトルに適用するステップと、
前記更新された関連ラベルベクトルの前記関連度スコアに基づいて前記更新された関連ラベルベクトルから関連ラベルを選択するステップと、
を含む、システム。
【請求項１４】
前記複数のステップは、前記関連ラベルを蓄積して、マルチ関連ラベルのセットを生成するステップ、
を更に含む、請求項１３に記載のシステム。
【請求項１５】
前記蓄積することは、最終ラベルが選択されるまで続行される、請求項１４に記載のシステム。
【請求項１６】
前記選択するステップにおいて、前記更新された関連ラベルベクトルの前記関連ラベルにおいて最も高いスコアを有する前記関連ラベルが選択される、請求項１３に記載のシステム。
【請求項１７】
前記複数のステップは、前記選択するステップにおいて累積ラベル情報を生成して前記ラベル予測器に送信するステップ、
を更に含む、請求項１３に記載のシステム。
【請求項１８】
前記事前選択ラベルは、先行のラベル選択において選択されていた前記関連ラベルである、請求項１３に記載のシステム。
【請求項１９】
前記関連度スコアは、再帰型ニューラルネットワークを用いることによって計算される、請求項１３に記載のシステム。
【請求項２０】
前記選択するステップにおいて、前記関連ラベルは、前記関連ベクトルにおけるマスキングされていないラベルの中で最も高い関連度スコアを有する、請求項１３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、ラベル分類の方法及びシステムに関し、より詳細には、マルチラベル分類の方法及びシステムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ、パーソナルコンピューター及びスマートフォン等の電子デバイスを用いて、人間の手によって種々のタイプのデータを容易に生成することができる。これらのデータは、例えば、画像、音声信号、ビデオ、テキスト文書等であり、これらは、いくつかのファイル名と共に記憶媒体に書き込まれる。しかしながら、そのようなデータファイルを何らかの関心トピックに従って分類することは容易ではない。何故ならば、各データファイルのコンテンツを耳と目とによってチェックする必要があるためである。これは、大量のデータのためには時間が掛かるとともに労力を要する。
【０００３】
この種の問題を解決するために、データを自動的にアノテートする方法が有用である。１つの従来の手法は、１つのラベルを各データインスタンスに割り当てることである。例えば、大統領選挙を説明するテキスト文書は、ラベル「政治」でアノテートすることができる。バスケットボールの試合を報告する別の文書は、ラベル「スポーツ」でアノテートすることができる。これは、単一ラベル分類手法であり、その目標は、所定のラベルセットから、データインスタンスに対する最も関連度の高いラベルを推測することである。この手順を自動化方法において実行するために、人間の手でアノテートされたラベルとデータインスタンスとの対のセットでトレーニングされた分類器を用いて、新たなデータインスタンスごとに適切なラベルを予測する。
【０００４】
しかしながら、この手法は、現実世界のデータを有意なラベルでアノテートするのには十分ではない。何故ならば、多くのデータは、複数のトピック又はカテゴリーに関連することが多いためである。
【０００５】
例えば、ヘルスケアシステムについてのニュース記事は、２つのトピック、「医療問題」及び「政治」に関連する場合がある。さらに、異なる細分度を有する複数のラベルを１つのインスタンスに割り当てる可能性もあり、例えば、ボストンセルティックス対シカゴブルズのバスケットボールの試合についての記事は、複数のラベル、「スポーツ」、「バスケットボール」、「ＮＢＡ」及び「ボストンセルティックス」でアノテートすることができる。このように、複数のラベルでのアノテーションは、単一のラベルでのアノテーションよりも多くの情報を含む。
【０００６】
複数のラベルを各データインスタンスに割り当てることは、マルチラベル分類問題であると考えられ、このマルチラベル分類問題は、単一ラベル分類問題よりも複雑である。何故ならば、各インスタンスについて複数のラベルを選択する必要があるものの、選択すべきラベルの個数は未知であるためである。
【０００７】
マルチラベル分類に対する基本的な手法は、バイナリ関連度（ＢＲ：binary relevance）方法である。Ｍ個の所定のラベルのセットが割り当てられるものとすると、問題は、Ｍ個の独立バイナリ分類問題のセットに変換され、ここで、ラベルごとに１つの分類器がトレーニングされ、対応するラベルがデータインスタンスに関連しているか否かを予測するのに用いられる。そのような複数のバイナリ分類器をデータインスタンスに適用することによって、対応する分類器が関連していると予測したラベルのセットを取得することが可能である。しかしながら、これらのバイナリ分類器は、基本的には独立してトレーニングされるとともに適用される。それゆえ、ラベルが互いに相関していてもラベル間依存は無視される。例えば、「スポーツ」と「野球」とは密接に相関しているが、「スポーツ」と「大統領選挙」とは密接に相関しているわけではない。この種の知識は、通常、マルチラベル分類の精度を改善するのに役立つ。
【０００８】
分類器設計又はトレーニングに用いられる目的関数においてラベル間依存を考慮するためにいくつかの方法が提案されている。
【０００９】
図１は、関連技術の分器類チェーン（ＣＣ）方法１００を示しており、この図において、Ｍ個のバイナリ分類器のセットが１つのチェーンとして設計されている。
【００１０】
ＣＣ方法１００は、図に示すように、入力データ１０１、特徴抽出器１０２、分類器１０３〜１０６として図示される複数のバイナリ分類器を利用する。
【００１１】
入力データインスタンス１０１が与えられると、特徴抽出器１０２によって特徴ベクトルＸが抽出され、特徴ベクトルＸは、第１のバイナリ分類器１０３にフィードされる。第１のバイナリ分類器１０３によって第１のラベルに対するバイナリ関連度ｒ１が推測され、ｒ１は、Ｘとともに第２のバイナリ分類器１０４にフィードされる。第２のバイナリ分類器１０４によって第２のラベルに対するバイナリ関連度ｒ２が推測され、ｒ２は、Ｘとともに第３のバイナリ分類器１０５にフィードされる。第３のバイナリ分類器１０５によって第３のラベルに対するバイナリ関連度ｒ３が推測される。
【００１２】
このようにして、バイナリ分類プロセスが最後の第Ｍの分類器１０６まで繰り返される。また、この方法は、ラベル間依存を考慮し、ラベル間依存は、チェーンにおける先行の分類器によって与えられるが、この手法は、２段階トレーニングプロセスを必要とせず、後続する分類器をトレーニングするのにグラウンドトゥルースバイナリ関連度を用いることができる。ＣＣ方法は、マルチラベル分類方法の評価に用いられるほとんどのメトリックにおいて、単純なＢＲ方法及び積層ＢＲ方法よりも優れている。
【００１３】
しかしながら、ＣＣ方法は、推測フレーズにおいて多数のＭステップバイナリ分類を必要とし、先行する分類器によって与えられたバイナリ分類結果が後続する分類器にフィードされる必要がある。これらのステップは並列化することができない。何故ならば、分類器ごとの入力ベクトルは、チェーンにおける先行する分類器の出力に依存するためである。Ｍの数が大きい場合、マルチラベル分類の計算時間が長くなる。
【００１４】
ＣＣ方法は、ラベル間依存が直接対処されるので効果的であるように見える。しかしながら、この方法は、所定のラベルの数が大きい場合、推測フェーズにおいて多くの反復ステップを必要とする。これは、マルチラベル分類について所定のラベルの大きなセットにおける種々のラベルで各データをアノテートするためには、大きな制限である。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
したがって、マルチラベル分類を、推測フェーズにおけるより少ない反復ステップと、より安価なコストとで実行する必要がある。
【課題を解決するための手段】
【００１６】
本発明は、包括的には、画像、音声信号、及びテキスト文書等の未加工データを、データのコンテンツに関連したラベルのセットでアノテートすることに関する。
【００１７】
本発明のいくつかの実施形態は、マルチ関連ラベルを生成する方法によって、関心のターゲットデータを大きなデータセットから迅速に発見することができ、多くの未加工データを自動的に記憶して構造化データフォーマットにすることができ、そして、インテリジェントシステムを構築することができ、これにより、所与の画像、音声、及び／又は文書データに従ってユーザーにサービスが提供されるという認識に基づいている。上記マルチ関連ラベルを生成する方法は、特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、ラベル予測器によって、特徴ベクトルに基づいて関連度スコア（relevant scores）を有する関連ラベルを含む関連ベクトルを求めるステップと、先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新するステップと、関連ラベルから事前選択ラベルを除外するように関連ラベルベクトルが更新されるように、更新されたバイナリマスキングベクトルを関連ベクトルに適用するステップと、更新された関連ラベルベクトルの関連度スコアに基づいて更新された関連ラベルベクトルから関連ラベルを選択するステップとを含む。
【００１８】
したがって、本発明によるいくつかの実施形態において、マルチラベル分類の方法及びシステムの使用により、中央処理装置（ＣＰＵ）使用量、電力消費及び／又はネットワーク帯域幅使用量を低減することができる。
【００１９】
本発明の実施形態は、マルチラベル分類の方法及びシステムを提供し、これにより、所定のラベルの大きなセットを用いる場合でも、短い計算時間で高い予測精度が達成される。
【００２０】
さらに、本発明の別の実施形態は、マルチ関連ラベルを生成するシステムであって、入力デバイスから入力データを受信する入力インターフェースと、入力インターフェース、及びアルゴリズムモジュールのコードを記憶するメモリに接続されたプロセッサとを備え、プロセッサは、入力データに応答して、アルゴリズムモジュールの命令に従って複数のステップを実行し、各ステップは、特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、ラベル予測器によって、特徴ベクトルに基づいて関連度スコアを有する関連ラベルを含む関連ベクトルを求めるステップと、先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新するステップと、関連ラベルから事前選択ラベルを除外するように関連ラベルベクトルが更新されるように、更新されたバイナリマスキングベクトルを関連ベクトルに適用するステップと、更新された関連ラベルベクトルの関連度スコアに基づいて更新された関連ラベルベクトルから関連ラベルを選択するステップとを含む、システムを開示する。
【図面の簡単な説明】
【００２１】
【図１】マルチラベル分類の関連技術の分類器チェーン（ＣＣ）方法のブロック図である。
【図２】本発明の実施形態によるマルチラベル分類の方法のブロック図である。
【図３】本発明の実施形態によるマルチラベル分類のシステムのブロック図である。
【図４】本発明の実施形態によって用いられる、双方向長期短期記憶（ＢＬＳＴＭ：bidirectional long short-term memory）再帰型ニューラルネットワークの概略図である。
【図５】本発明のいくつかの実施形態によるマルチラベル分類システムのブロック図である。
【図６】或る所定のタスクについてマルチラベル分類を実行することによって得られた評価結果の図である。
【発明を実施するための形態】
【００２２】
本発明の様々な実施形態について、図面を参照して以下に説明する。図面は縮尺どおり描かれておらず、類似の構造又は機能の要素は、図面全体にわたって同様の参照符号によって表されることに留意されたい。図面は、本発明の特定の実施形態の説明を容易にすることのみを意図することにも留意されたい。図面は、本発明の網羅的な説明として意図されるものでもなければ、本発明の範囲を限定するものとして意図されるものでもない。加えて、本発明の特定の実施形態と併せて説明される態様は、必ずしもその実施形態に限定されず、本発明の任意の他の実施形態において実施することができる。
【００２３】
本発明のいくつかの実施形態は、既に生成されたラベルの関連度スコアをマスキングすることによって、同じデータインスタンスについて同じラベルが再度生成されることを抑制することが可能であるという認識に基づいている。
【００２４】
ラベル間依存は、ＣＣ方法における場合のように直接考慮されるが、所定のラベル全てにわたる反復は必要とされない。何故ならば、分類器は、各ラベルのバイナリ関連度ではなく、１つの関連ラベルを予測するためである。したがって、反復の数は、データインスタンスに割り当てられたラベルの数のみである。
【００２５】
マルチラベル分類システムは、カメラ、画像スキャナー、マイクロフォン、ハードディスクドライブ及びコンピューターネットワーク等の入力デバイスから入力データを受信する。システムは、この入力データについて特徴抽出モデル及びラベル生成モデルを用いてマルチラベル分類方法を実行し、生成されたラベルを、ハードディスクドライブ、ディスプレイモニター、及びコンピューターネットワーク等の出力デバイスに出力する。
【００２６】
本発明のいくつかの実施形態は、マルチラベル分類の方法及びシステムを提供する。
【００２７】
図２は、本発明のいくつかの実施形態によるマルチラベル分類について、マルチラベル分類方法２００のブロック図を示している。
【００２８】
本発明のいくつかの実施形態において、マルチラベル分類方法２００は、入力データ２０１、特徴抽出器２０２、ラベル予測器２０３、バイナリマスキング２０４及びラベル選択器２０５を利用して、出力ラベル２０６を提供する。
【００２９】
マルチラベル分類方法２００は、特徴抽出器２０２、ラベル予測器２０３、バイナリマスキング２０４及びラベル選択器２０５を含むアルゴリズムモジュールを用いて実行することができる。アルゴリズムモジュール２０２〜２０５は、プログラムコードとしてメモリ又は記憶装置に記憶することができ、マルチラベル分類アルゴリズムモジュール２５０（図５に示される）と称される場合がある。方法２００がメモリ及び記憶装置に接続されたプロセッサを用いて実行されるとき、アルゴリズムモジュールは、プロセッサに、このアルゴリズムモジュールの命令に従って方法２００を実行させる。方法２００は、特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、ラベル予測器によって、特徴ベクトルに基づいて関連度スコアを有する関連ラベルを含む関連ベクトルを求めるステップと、先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新するステップと、関連ラベルから事前選択ラベルを除外するように関連ラベルベクトルが更新されるように、更新されたバイナリマスキングベクトルを関連ベクトルに適用するステップと、更新された関連ラベルベクトルの関連度スコアに基づいて更新された関連ラベルベクトルから関連ラベルを選択するステップとを実行する。
【００３０】
本発明のいくつかの実施形態において、方法２００は、マルチラベル分類を、ラベルを反復的に生成することによって実行する。方法２００は、（ｉ）入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、（ｉｉ）上記特徴ベクトル及び先行して生成されたラベルに対する、所定のラベルセット内の各ラベルの関連度スコア又は確率を計算するステップと、（ｉｉｉ）先行の反復において生成されたラベルの関連度スコア又は確率をマスキングするステップであって、ただし、これらのスコア又は確率は、小さな定数、例えば０に設定することができる、ステップと、（ｉｖ）最も高いスコア又は確率を有するラベルを選択するステップと、（ｖ）選択されたラベルを生成されたラベルのセットに追加するステップと、（ｖｉ）「ラベルがこれ以上生成されない」ことを示す特別なラベルがステップ（ｉｖ）において選択されるまでステップ（ｉｉ）に戻るステップとを含むことができる。
【００３１】
本発明によるいくつかの実施形態において、マルチラベル分類システム５００は、入力デバイスから入力データを受信し、この入力データについて特徴抽出モデル及びラベル生成モデルを用いてマルチラベル分類方法を実行し、生成されたラベルを出力デバイスに出力することができる。
【００３２】
方法２００及びシステム５００は、現行技術水準の方法と比較して、ラベル間依存を考慮することによる、より高いラベリング精度と、より少ない反復数での高速な推測プロセスとの双方を達成することができる。
【００３３】
さらに、本発明のいくつかの実施形態によるマルチラベル分類器装置は、再帰型ニューラルネットワークとして設計することができる。この場合、マルチラベル分類器装置は、各反復ステップにおいて、入力特徴と先行して生成されたラベルとの双方について最も関連度の高いラベルを予測する。
【００３４】
マルチラベル分類方法２００は、以下で詳述される。マルチラベル分類について、所定のラベルセットＬ＝｛ｌｍ│ｍ＝１，．．．，Ｍ｝を有するものとし、ここで、Ｍは、Ｌにおけるラベルの数を示す。
【００３５】
入力データインスタンス２０１が、特徴抽出器２０２に与えられ、データインスタンスは、データインスタンスの顕著な特徴を含む、Ｄ次元特徴ベクトル
【数１】
2019527440.tif 000003
に変換される。次いで、特徴ベクトルｘは、ラベル予測器２０３に与えられ、ラベル予測器２０３は、特徴ベクトル及び先行して生成されたラベルを用いて各ラベルの関連確率（関連度スコア）を計算する。次いで、ラベル予測器は、関連確率のＭ次元ベクトルを出力する。本発明のいくつかの実施形態において、ラベル予測器２０３は、関連度スコアを、再帰型ニューラルネットワークを用いて計算することができる。
【００３６】
バイナリマスキングモジュール２０４は、関連確率ベクトルをマスキングし、ここで、先行して生成されたラベルに対応するベクトル要素は、０に設定される。ラベル選択器２０５は、マスキングされた関連確率ベクトル内で確率が最も高い１つのラベルを選択する。選択されたラベルが生成され、ラベル予測器２０３に、そしてバイナリマスキングモジュール２０４に送信されて、次のラベルを生成する。「ラベルがこれ以上生成されない」ことを示す特別なラベルが選択されるまで、ラベル予測２０３からラベル選択２０５までのプロセスが反復される。Ｎ回の反復後、所与のデータインスタンスについて、関連ラベルのセット、Ｒ＝｛ｌ（ｎ）∈Ｌ│ｎ＝１，．．．，Ｎ｝が取得される。各処理モジュールの詳細な説明が、以下のセクションにおいて提示される。
【００３７】
本発明のいくつかの実施形態によれば、関連ラベルを選択することは、再帰型ニューラルネットワークによって計算される関連度スコアに基づいて実行することができる。
【００３８】
特徴抽出
特徴抽出器２０２は、入力データインスタンスを、データの分類に有用である顕著な特徴を含む特徴ベクトルに変換する。データが長さＴのワードシーケンスのテキスト文書である場合、このシーケンスはまず、ワードＩｄナンバーのシーケンス、Ｗ＝ｗ１，ｗ２，．．．，ｗｔ，．．．，ｗＴに変換され、ここで、任意のｔ＝１，．．．，Ｔについて、ｗｔは、１≦ｗｔ≦｜Ｖ｜であるような正の整数である。Ｖは、語彙と称される所定のワードのセットであり、このセット内の各ワードは、一意のＩｄナンバーを有し、｜Ｖ｜は、語彙サイズを表す。
【００３９】
本発明のいくつかの実施形態によれば、テキスト文書からの特徴抽出は、いくつかの方法によって実行することができる。例えば、「バッグオブワード（bag-of-words）」を用いることができ、これにより、ワードＩｄシーケンスが｜Ｖ｜次元バイナリ特徴ベクトルｘＢＯＷ∈｛０，１｝｜Ｖ｜に変換され、このベクトル内の第ｉの要素ｘＢＯＷ［ｉ］は、以下のように取得される。
【数２】
2019527440.tif 000004
【００４０】
このベクトルは、どのワードが文書内に含まれるのかを表す。
【００４１】
さらに、特徴抽出のために特徴抽出モデルを用いることが可能である。近年、特徴抽出モデルとしてニューラルネットワークが用いられている。
【００４２】
入力データがテキスト文書である場合、各ワード識別（Ｉｄ）ナンバーｗｔ∈Ｗはまず、ワンホット（one-hot）ベクトル
【数３】
2019527440.tif 000005
に変換され、ここで、このベクトルの第ｉの要素
【数４】
2019527440.tif 000006
は、以下のように取得することができる。
【数５】
2019527440.tif 000007
【００４３】
次いで、ワンホットベクトルのシーケンス
【数６】
2019527440.tif 000008
が、再帰型ニューラルネットワーク（ＲＮＮ）に与えられ、特徴ベクトルのシーケンスを、ＲＮＮの活性化ベクトルのシーケンスとして取得することができる。例えば、双方向長期短期記憶（ＢＬＳＴＭ）ＲＮＮを用いることができる。
【００４４】
図３は、双方向長期短期記憶（ＢＬＳＴＭ）再帰型ニューラルネットワーク（ＲＮＮ）３００の構造を示している。ＢＬＳＴＭ  ＲＮＮ３００は、ＢＬＳＴＭネットワーク３００、又はネットワーク３００と称される場合がある。
【００４５】
ＢＬＳＴＭネットワーク３００は、入力層３０１、射影層（projection layer）３０２、順方向ＬＳＴＭ層３０５、逆方向ＬＳＴＭ層３０４、及び出力層３０５を含む。
【００４６】
ＢＬＳＴＭネットワーク３００の入力層３０１において、入力データをＢＬＳＴＭネットワーク３００にフィードするために、ワンホットベクトル
【数７】
2019527440.tif 000009
が取得される。次いで、射影層３０２において、Ｐ×｜Ｖ｜行列
【数８】
2019527440.tif 000010
とＰ次元バイアスベクトル
【数９】
2019527440.tif 000011
とでのアフィン変換を用いてＰ次元ベクトル
【数１０】
2019527440.tif 000012
が計算される。すなわち、
【数１１】
2019527440.tif 000013
である。
【００４７】
この変換は、｜Ｖ｜からＰへの次元削減に用いられるものであり、ここで、｜Ｖ｜は、通常５０００を超え、一方、Ｐは、１００〜３００程度のより小さな数として選択される。
【００４８】
順方向ＬＳＴＭ層３０３において、ＬＳＴＭ関数を用いてＨ次元活性化ベクトル
【数１２】
2019527440.tif 000014
が計算され、
【数１３】
2019527440.tif 000015
この式は、以下のように計算される。
【数１４】
2019527440.tif 000016
ここで、
【数１５】
2019527440.tif 000017
であり、σ（・）は、要素ごとのシグモイド関数であり、ｔａｎｈ（・）は、双曲線正接関数であり、ｉｔ、ｆｔ、ｏｔ及びｃｔは、ｘｔについてのそれぞれ、入力ゲート、忘却ゲート、出力ゲート、及びセル活性化ベクトルであり、
【数１６】
2019527440.tif 000018
であることを仮定する。
【数１７】
2019527440.tif 000019
は、ベクトル同士の要素ごとの乗算を示す。重み行列
【数１８】
2019527440.tif 000020
及びバイアスベクトルｂｚは、ＬＳＴＭ関数のパラメーターであり、これらは、下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される。例えば、
【数１９】
2019527440.tif 000021
は、隠れ対入力ゲート行列（hidden-to-input gate matrix）であり、
【数２０】
2019527440.tif 000022
は、入力対出力ゲート行列（input-to-output gate matrix）である。活性化ベクトルｈｔは、入力ベクトルｘｔ及び先行の活性化ベクトルｈｔ−１から再帰的に取得され、ここで、ｈ０は、Ｈ次元の０ベクトルであると仮定する。
【００４９】
一方で、逆方向ＬＳＴＭ層３０４において、ｔ＝Ｔから１までという逆順で活性化ベクトルｈ’ｔも取得され、ここで、逆方向ＬＳＴＭ関数は、以下のように適用される。
【数２１】
2019527440.tif 000023
ここで、ＬＳＴＭＢ（・）は、順方向ＬＳＴＭ層３０３と同じように、以下のように計算され、
【数２２】
2019527440.tif 000024
ｈ’Ｔ＋１は、Ｈ次元の０ベクトルであると仮定する。
【００５０】
最終的に、ｔ＝１，．．．，Ｔについて、順方向活性化ベクトル及び逆方向活性化ベクトルの結合ベクトル（concatenated vector）
【数２３】
2019527440.tif 000025
が得られ、特徴ベクトルシーケンスが取得される。
【００５１】
図３におけるように、出力層３０５が、ネットワーク３００に含まれる。本発明のいくつかの実施形態において、この層３０５は、ネットワークが特徴抽出に用いられる場合、無視することができる。出力層３０５は、ネットワークのトレーニングフェーズにおいて用いることができる。
【００５２】
画像データの場合、スケール不変特徴変換（ＳＩＦＴ：Scale-Invariant Feature Transform）及び勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）が利用可能である。音声データの場合、メル周波数ケプストラル係数（ＭＦＣＣ：Mel-Frequency Cepstral Coefficients）が広く用いられている。
【００５３】
さらに、これらの基本的な特徴をニューラルネットワークと組み合わせることが可能であり、この組み合わせにおいて、基本的な特徴はまず抽出され、次いで、ニューラルネットワークにフィードされ、ニューラルネットワークの出力ベクトルが特徴ベクトルとして取得される。特徴抽出のために未加工データをニューラルネットワークに直接フィードすることも可能である。
【００５４】
特徴抽出にニューラルネットワークを用いることの利点は、抽出された特徴ベクトルを用いる分類器もまたニューラルネットワークである場合、特徴抽出器、すなわちニューラルネットワークを、この分類器と共同でトレーニングすることができることである。結果的に、特徴抽出器は、分類器のために、分類精度を改善する、より良好な特徴ベクトルを出力することができる。
【００５５】
マルチラベル分類のシーケンス生成器
本発明の実施形態によるシーケンス生成器が、図２に示されている。特徴抽出器２０２によって得られた１つの特徴ベクトル又は特徴ベクトルのシーケンスは、ラベル予測器２０３にフィードされ、このラベル予測器は、入力ベクトル（複数の場合もある）のラベルの関連確率を推測する。ここで、ラベル予測器として注目ベース再帰シーケンス生成器（ＡＲＳＧ：attention-based recurrent sequence generator）を用いる一例を示す。
【００５６】
【数２４】
2019527440.tif 000026
であるような特徴ベクトルのシーケンスＸ＝ｘ１，．．．，ｘｔ，．．．，ｘＴを所与とすると、ＡＲＳＧは、ラベルの関連確率を反復的に推測する。
【００５７】
ＡＲＳＧは、注目機構（attention mechanism）を有する再帰型ニューラルネットワークである。注目機構は、複数の特徴ベクトル、例えばベクトルのシーケンスを、これらのベクトルの重み付き平均、すなわち、
【数２５】
2019527440.tif 000027
として１つのベクトルに合計するのに用いられ、ここで、ｇｎは、第ｎの反復における合計されたベクトルであり、αｎ，ｔは、第ｎの反復における第ｔのベクトルの注目重み（attention weight）であり、ここで、
【数２６】
2019527440.tif 000028
であり、αｎ，ｔ≧０である。
【００５８】
高い注目重みを有する特徴ベクトルは、ｇｎにおいて支配的であるので、いくつかの特定の特徴ベクトルを、注目重みを適切に推定することによって、良好な分類のために強調することができる。例えば、入力データが特定のフレーズに対応する特徴ベクトルを含むテキスト文書である場合、特徴ベクトルを、そのフレーズに密接に関連したラベルを予測するために強調することができる。
【００５９】
ＡＲＳＧは、注目機構を有する再帰型ニューラルネットワークである。ＡＲＳＧの隠れ活性化ベクトルを、ＬＳＴＭ関数を用いて以下のように取得することができる。
【数２７】
2019527440.tif 000029
ここで、
【数２８】
2019527440.tif 000030
は、ＡＲＳＧのＫ次元活性化ベクトルである。ｙｎは、第ｎの反復における、生成されたラベルに対応するＪ次元ベクトルであり、これは、生成されたラベルをＭ次元ワンホットベクトルに変換した後にこのラベルをＪ次元ベクトルに射影することによって、以下のように取得される。
【数２９】
2019527440.tif 000031
ここで、関数ｏｎｅｈｏｔ（）は、ラベルを、ラベルＩｄナンバーに対応する要素の場合には１を有し、他の要素の場合には０を有するワンホットベクトルに変換する。
【数３０】
2019527440.tif 000032
及び
【数３１】
2019527440.tif 000033
は、それぞれラベルの射影行列及びバイアスベクトルである。
【００６０】
ｓｎは、先行の活性化ベクトルｓｎ−１、生成されたラベルｌ（ｎ）、及び合計された特徴ベクトルｇｎを用いて更新されるので、これは、生成されたラベル及び付随した特徴ベクトルのコンテキスト情報を第ｎの反復まで保持する。
【００６１】
第ｎの反復におけるＭ次元関連確率ベクトルγｎは、コンテキスト情報ｓｎ−１及び現在の合計された特徴ベクトルｇｎを用いて以下のように取得され、
【数３２】
2019527440.tif 000034
ここで、
【数３３】
2019527440.tif 000035
及び
【数３４】
2019527440.tif 000036
は、変換行列であり、
【数３５】
2019527440.tif 000037
は、バイアスベクトルである。ｓｏｆｔｍａｘ（）関数は、Ｄ次元ベクトルｘについて、以下のように計算される。
【数３６】
2019527440.tif 000038
【００６２】
注目重みが同じように、以下のように計算され、
【数３７】
2019527440.tif 000039
及び
【数３８】
2019527440.tif 000040
ここで、
【数３９】
2019527440.tif 000041
及び
【数４０】
2019527440.tif 000042
は、変換行列であり、
【数４１】
2019527440.tif 000043
は、バイアスベクトルであり、
【数４２】
2019527440.tif 000044
は、ベクトルである。ｅｎ，ｔは、所与のコンテキストｓｎ−１における入力特徴ｘｔの重要度を表す。次いで、ｅｎ，ｔは、
【数４３】
2019527440.tif 000045
かつαｎ，ｔ≧０であるように、注目重みαｎ，ｔに変換される。
【００６３】
バイナリマスキングモジュール２０４において、既に生成されたラベルがラベル選択器２０５において再度選択されることがないように関連確率ベクトルγｎがマスキングされる。ＡＲＳＧはマルチラベル分類のために作成されたものではないので、この機構は、オリジナルのＡＲＳＧには含まれていない。このバイナリマスキングによって、同じラベルを再度生成して不必要な反復を実行することを回避することができる。
【００６４】
バイナリマスキングモジュール２０４において、関連確率ベクトルγｎは、バイナリベクトルＢを用いてマスキングされ、このバイナリベクトルの要素は、以下のように与えられる。
【数４４】
2019527440.tif 000046
ここで、ｌは、ラベルＩｄナンバーを示し、Ｓｎ−１は、第（ｎ−１）の反復までに生成されたラベルのセットである。Ｂ及びγｎの要素ごとの乗算を用いて、マスキングされた関連確率ベクトルγｎ’が以下のように取得される。
【数４５】
2019527440.tif 000047
【００６５】
ラベル選択器２０５において、マスキングされた関連確率ベクトルγｎ’に基づいて、第ｎのラベルが以下のように選択され、
【数４６】
2019527440.tif 000048
ここで、各ラベルがラベルＩｄナンバーとして表されると仮定する。
【００６６】
ｎ＝１から、「ラベルがこれ以上生成されない」ことを示す特別なラベル、例えば、＜ｎｏｌ＞が選択されるまで、上記のラベル生成プロセスを繰り返すことによって、所与の入力特徴ベクトルについて、関連ラベルのセット、Ｒ＝｛ｌ（ｎ）∈Ｌ│ｎ＝１，．．．，Ｎ｝が最終的に取得され、ここで、Ｎは、実際に実行された反復数である。
【００６７】
次の反復について、
【数４７】
2019527440.tif 000049
によって第ｎのラベルを選択した後にバイナリベクトルを更新することができ、ここで、全てのＢの要素は、ラベル生成を開始する前に、１に初期設定されている。
【００６８】
シーケンス生成器の手順は、アルゴリズム１に要約される。行１〜４は、初期化ステップに対応する。行１において、初期ラベルｌ（０）は、ラベルシーケンスの開始を表す特別なラベル「＜ｓｔａｒｔ＞」に設定され、ここで、Ｉｄ（）は、所与のラベルのＩｄナンバーを返す関数である。行２において、ｌ（０）は、ｙ０に変換される。行３は、ｙ０から初期活性化ベクトルｓ０を取得し、ここで、
【数４８】
2019527440.tif 000050
は、Ｋ次元０ベクトルであり、
【数４９】
2019527440.tif 000051
は、Ｚ次元０ベクトルである。行４は、全ての要素が１であるような初期バイナリマスキングベクトルを用意する。
【００６９】
行５〜１７において、ｎ＝Ｎｍａｘまでラベル生成ステップが反復されるが、ただし、特別なラベル「＜ｎｏｌ＞」が行１１において選択された場合、アルゴリズムは、行１３において反復ループから抜け出す。Ｎｍａｘは、任意の自然数に設定することができるが、Ｍより大きくするべきではない。何故ならば、アルゴリズムは、Ｍ個のラベルより多くのラベルを生成することはないためである。アルゴリズムは、最悪の場合Ｎｍａｘ回反復する可能性があるが、通常は、特別なラベルを選択することによって遥かに少ない反復で終了する。
【００７０】
アルゴリズム１：
入力：Ｘ＝ｘ１，．．．，ｘＴ
出力：Ｒ＝｛ｌ（１），ｌ（２），．．．｝
【数５０】
2019527440.tif 000052
【００７１】
マルチラベル分類システム
図４は、本発明の実施形態によるマルチラベル分類の装置のブロック図を示している。
【００７２】
マルチラベル分類装置４００は、入力デバイス４０１、特徴抽出器４０２、ラベル予測器４０３、バイナリマスキング４０４、ラベル選択器４０５、特徴抽出モデル４０６、シーケンス生成モデル４０７、及び出力デバイス３０８を備え、この装置において、特徴抽出モデル及びシーケンス生成モデルは、プロセッサに接続された記憶装置４０６及び４０７に記憶される。シーケンス生成モデル及び特徴抽出モデルは、ニューラルネットワークによって形成することができる。
【００７３】
マルチラベル分類装置４００は、記憶装置４０６からＢＬＳＴＭ  ＲＮＮ等の特徴抽出モデルを読み出して特徴抽出器４０２に与える。また、システムは、記憶装置４０７からＡＲＳＧ等のシーケンス生成モデルを読み出してラベル予測器４０３に与える。
【００７４】
マルチラベル分類装置４００は、入力デバイス４０１から入力データインスタンスを受信する。入力デバイス４０１は、カメラ、画像スキャナー、マイクロフォン、ハードディスクドライブ又はコンピューターネットワークとすることができる。
【００７５】
マルチラベル分類装置４００のプロセッサは、マルチラベル分類方法を実施するコンピュータープログラムを実行し、この方法においてプロセッサは、特徴抽出モデル及びシーケンス生成モデルを用いて特徴抽出及びラベルシーケンス生成を実行する。ラベルを生成するために、最終ラベル（end label）が選択されるまで、ラベル予測器４０３、バイナリマスキング４０４、及びラベル選択器４０５が繰り返し実行される。いくつかの実施形態において、ラベル予測器４０３は、再帰型ニューラルネットワークを用いてラベルを予測することができる。
【００７６】
マルチラベル分類装置４００は、生成されたラベルを出力デバイス４０８に出力する。この場合、出力デバイス４０８は、ディスプレイ、ハードディスクドライブ、又はコンピューターネットワークとすることができる。さらに、本発明のいくつかの実施形態において、出力デバイス４０８は、マルチラベル分類装置４００又はマルチラベル分類システムに含めることができる。
【００７７】
図５は、本発明のいくつかの実施形態によるマルチラベル分類システム５００のブロック図を示している。マルチラベル分類システム５００は、キーボード５１１及びポインティングデバイス／メディア５１２と接続可能なヒューマンマシンインターフェース（ＨＭＩ）５１０と、プロセッサ５２０と、記憶デバイス５３０と、メモリ５４０と、ローカルエリアネットワーク及びインターネットネットワークを含むネットワーク５９０と接続可能なネットワークインターフェースコントローラー５５０（ＮＩＣ）と、ディスプレイインターフェース５６０と、撮像デバイス５７５と接続可能な撮像インターフェース５７０と、印刷デバイス５８５と接続可能なプリンターインターフェース５８０とを備える。マルチラベル分類システム５００は、ＮＩＣ５５０に接続されたネットワーク５９０を介して電子テキスト／イメージ化文書５９５を受信することができる。記憶デバイス５３０は、マルチラベル分類モジュール２５０、シーケンス生成モデル５３１、及び特徴抽出モデル５３２を含む。ポインティングデバイス／メディア５１２は、コンピューター可読記録媒体上に記憶されたプログラムを読み出すモジュールを含むことができる。マルチラベル分類モジュール２５０、シーケンス生成モデル５３１及び特徴抽出モデル５３２は、ニューラルネットワークによって形成することができる。
【００７８】
マルチラベル分類を実行するために、キーボード５１１、ポインティングデバイス／メディア５１２を用いて、又は他のコンピューター（図示せず）に接続されたネットワーク５９０を介して、命令をマルチラベル分類システム５００に送信することができる。システム５００は、ＨＭＩ５１０を介して命令を受信し、記憶デバイス５３０に記憶されたマルチラベル分類モジュール２５０、シーケンス生成モデル５３１及び特徴抽出モジュール５３２をロードすることによってメモリ５４０に接続されたプロセッサ５２０を用いてマルチラベル分類を実行するために命令を実行する。
【００７９】
マルチラベル分類のためのシーケンス生成器のトレーニング
シーケンス生成器は、マルチラベル分類にあたって用いる前に、トレーニングデータを用いてトレーニングされる必要がある。
Ｕ個のサンプルからなるトレーニングデータセットを所与とすると、
【数５１】
2019527440.tif 000053
であり、ここで、Ｘｕは、１つの特徴ベクトル又は特徴ベクトルのシーケンスであり、これは、第ｕのデータインスタンスから抽出される。Ｒｕは、Ｘｕについてのグラウンドトゥルースラベルのセット
【数５２】
2019527440.tif 000054
であり、これは、手動で用意される。
【００８０】
目的関数が、交差エントロピーに基づいて計算される。すなわち、
【数５３】
2019527440.tif 000055
であり、
ここで、Λは、シーケンス生成器のパラメーターのセットである。ＡＲＳＧの場合において、パラメーターセットは、
【数５４】
2019527440.tif 000056
からなる。ＡＲＳＧを用いて、ｌｏｇＰ（Ｒｕ│Ｘｕ，Λ）は以下のように計算される。
【数５５】
2019527440.tif 000057
ここで、γｕｎ’は、パラメーターセットΛを用いて入力特徴ベクトルＸｕについて第ｎの反復において推測される関連確率ベクトルである。しかしながら、γｕｎ’は、確率分布であると仮定することができない。何故ならば、
【数５６】
2019527440.tif 000058
はバイナリマスキングに起因して１未満である可能性があるためである。本発明において、γｕｎ’は、以下のように、
【数５７】
2019527440.tif 000059
となるように再正規化され、
【数５８】
2019527440.tif 000060
トレーニングフェーズにおいてγｕｎ’の代わりにγｕｎ’’が用いられる。
【００８１】
ＡＲＳＧをトレーニングするために、時間的誤差逆伝播（back-propagation through time）アルゴリズムを用いて、目的関数が最小になるようにパラメーターセットΛを更新することができる。
【００８２】
ダイアログ状態追跡タスク（Dialog State Tracking Task）を用いた評価結果
話者の意図を表すラベルのセットで人間対人間の会話をアノテートしている、第５世代ダイアログ状態追跡チャレンジ（ＤＳＴＣ５：5th Dialog State Tracking Challenge）タスクを用いて、マルチラベル分類方法２００を評価した。全ての会話はシンガポール観光についてのものであり、これらの会話において、観光ガイドと観光客とがシンガポール観光の計画を立てている。
【００８３】
このタスクにおいて、会話は、既にテキスト化され、サブダイアログに分割されている。システムは、各サブダイアログのテキスト文書について適切なラベルを発見しなければならない。各サブダイアログは、平均して６．５個の発話を含み、１個〜５個のラベルでアノテートされている。本発明者らは、トレーニングデータにおいて、最も一般的な２００個のラベル、すなわち、Ｍ＝２００を用いた。このラベルセットは、トレーニングセット内のスロット値対の８０％をカバーし、テストセット内の７８％をカバーする。
【００８４】
各ラベルは、「ＡＣＣＯＭＯＤＡＴＩＯＮ：Ｈｏｔｅｌ（宿泊：ホテル）」、「ＩＮＦＯ：Ｐｒｉｃｅｒａｎｇｅ（情報：価格帯）」、「ＡＴＴＲＡＣＴＩＯＮ：Ｚｏｏ（アトラクション：動物園）」、及び「ＦＲＯＭ：Ｃｈａｎｇｉ  Ａｉｒｐｏｒｔ（出発地：チャンギ国際空港）」等のスロット値対からなる。
【００８５】
特徴抽出にあたって、本発明者らは、本明細書に記載したようにＢＬＳＴＭに基づく一般的な方法を用いた。また、本発明者らは、全ての方法において注目機構を用いたが、ＢＲ方法及びＣＣ方法では、バイナリ関連ベクトルを出力するフィードフォワードネットワークが用いられている。ＣＣ方法では、各予測された関連ベクトルは、Ｍ個のラベルにわたって繰り返しネットワークにフィードされる。本発明の特徴抽出器及びＡＲＳＧは、｜Ｖ｜＝５６３９、Ｐ＝５０、Ｊ＝１００、Ｚ＝１００、Ｋ＝５０、Ｍ＝２００として設計した。ＢＲ方法及びＣＣ方法では、フィードフォワードネットワークは、１００個のユニットを有する２つの隠れ層を有した。
【００８６】
図６は、バイナリ関連度（ＢＲ）方法、分類器チェーン（ＣＣ）、及び本発明を用いた、Ｆスコアにおけるマルチラベル分類性能及び推測フェーズにおける計算時間を示している。Ｆスコアは、以下のように計算される、適合率及び再現率の調和平均である。
【数５９】
2019527440.tif 000061
ここで、ＴＰは、真陽性（true positives）の数値、すなわち、正しく検出されたラベルの数であり、ＦＰは、偽陽性（false positives）の数値、すなわち、誤って検出されたラベルの数であり、ＦＮは、偽陰性（false negatives）の数値、すなわち、グラウンドトゥルースラベルにおける検出されていないラベルの数である。一般に、Ｆスコアが高いほど、より良好なシステムを示している。
【００８７】
図６は、ＤＳＴＣ５上の評価結果の一例である。計算時間は、Ｉｎｔｅｌ（登録商標）Ｘｅｏｎ（登録商標）プロセッサＥ５２６９０  ｖ３、１２Ｃｏｒｅ、２．６ＧＨｚ及びシングルＧＰＵ（ＮＶｉｄｉａ  Ｔｉｔａｎ  Ｘ）を有するコンピューター上で測定した。実験において、プログラムは、単一プロセスとして実行し、大半の行列及びベクトル演算は、ＧＰＵ上で実行される。図６における各計算時間は、データインスタンス、すなわち、サブダイアログあたりの平均処理時間を示している。
【００８８】
本発明の方法は、ＦスコアにおいてＢＲ方法及びＣＣ方法より優れていた。ＢＲ方法は他の方法よりも高速であるが、Ｆスコアは、遥かに低い（すなわち、０．１５５）。ＣＣ及び本発明は、同等のＦスコア、それぞれ０．３４２及び０．３６７を有するが、本発明は、ＣＣ方法よりも著しく高速であり、すなわち、本発明の推測時間は１．３２４であり、一方ＣＣ方法の推測時間は１４．７２９である。このように、本発明の方法及びシステムは、より高いラベリング精度及びより高速の推測プロセスの双方を達成した。
【００８９】
本発明の上記の実施形態は数多くの方法のいずれかにおいて実現することができる。例えば、それらの実施形態は、ハードウェア、ソフトウェア又はその組み合わせを用いて実現することができる。ソフトウェアにおいて実現されるとき、そのソフトウェアコードは、単一のコンピューター内に設けられるにしても、複数のコンピューター間に分散されるにしても、任意の適切なプロセッサ、又はプロセッサの集合体において実行することができる。そのようなプロセッサは集積回路として実現することができ、集積回路コンポーネント内に１つ以上のプロセッサが含まれる。しかしながら、プロセッサは、任意の適切な構成の回路を用いて実現することができる。
【００９０】
また、本発明の実施形態は方法として具現することができ、その一例が提供されてきた。その方法の一部として実行される動作は、任意の適切な方法において順序化することができる。したがって、例示的な実施形態において順次の動作として示される場合であっても、例示されるのとは異なる順序において動作が実行される実施形態を構成することもでき、異なる順序は、いくつかの動作を同時に実行することを含むことができる。
【００９１】
請求項要素を変更するために特許請求の範囲において「第１の」、「第２の」のような序数の用語を使用することは、それだけで、或る請求項要素が別の請求項要素よりも優先度が高いこと、優位であること、若しくは上位にあることを、又は方法の動作が実行される時間的な順序を暗示するのではなく、請求項要素を区別するために、或る特定の名称を有する１つの請求項要素を（序数用語を使用しなければ）同じ名称を有する別の要素から区別するラベルとして単に使用される。
【図１】
2019527440.tif 000062
【図２】
2019527440.tif 000063
【図３】
2019527440.tif 000064
【図４】
2019527440.tif 000065
【図５】
2019527440.tif 000066
【図６】
2019527440.tif 000067
【手続補正書】
【提出日】平成31年1月29日(2019.1.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチ関連ラベルを生成する方法であって、
特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、
ラベル予測器によって、前記特徴ベクトルに基づいて関連度スコアを有する複数の関連ラベルを含む関連ラベルベクトルを求めるステップであって、前記関連ラベルの前記関連度スコアのそれぞれは、前記入力データのコンテンツに対する関連確率である、ステップと、
先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新するステップと、
前記関連ラベルから前記事前選択ラベルを除外するように前記関連ラベルベクトルが更新されるように、前記更新されたバイナリマスキングベクトルを前記関連ベクトルに適用するステップと、
前記更新された関連ラベルベクトルの前記関連度スコアに基づいて前記更新された関連ラベルベクトルから関連ラベルを選択するステップと、
を含む、方法。
【請求項２】
前記関連ラベルを蓄積して、マルチ関連ラベルのセットを生成すること、
を更に含む、請求項１に記載の方法。
【請求項３】
前記蓄積することは、最終ラベルが選択されるまで続行される、請求項２に記載の方法。
【請求項４】
前記更新されたバイナリマスキングベクトルを前記適用するステップは、前記事前選択ラベルの前記関連度スコアを予め設定された小さな定数に設定する、請求項１に記載の方法。
【請求項５】
前記選択するステップにおいて、前記更新された関連ラベルベクトルの前記関連ラベルにおいて最も高いスコアを有する前記関連ラベルが選択される、請求項１に記載の方法。
【請求項６】
前記ラベル予測器は、前記求めるステップにおいて、再帰型ニューラルネットワークを利用する、請求項１に記載の方法。
【請求項７】
前記選択するステップにおいて累積ラベル情報を生成して前記ラベル予測器に送信すること、
を更に含む、請求項１に記載の方法。
【請求項８】
前記事前選択ラベルは、先行のラベル選択において選択されていた前記関連ラベルである、請求項１に記載の方法。
【請求項９】
前記選択するステップは、前記マスキングすることの後に実行される、請求項１に記載の方法。
【請求項１０】
前記関連度スコアは、再帰型ニューラルネットワークを用いることによって計算される、請求項１に記載の方法。
【請求項１１】
前記選択するステップにおいて、前記関連ラベルは、前記関連ベクトルにおけるマスキングされていないラベルの中で最も高い関連度スコアを有する、請求項１に記載の方法。
【請求項１２】
前記マスキングすることは、前記バイナリマスキングベクトルを用いることによって実行される、請求項１に記載の方法。
【請求項１３】
マルチ関連ラベルを生成するシステムであって、
入力デバイスから入力データを受信する入力インターフェースと、
前記入力インターフェース、及びアルゴリズムモジュールのコードを記憶するメモリに接続されたプロセッサと、
を備え、
前記プロセッサは、前記入力データに応答して、前記アルゴリズムモジュールの命令に従って複数のステップを実行し、
前記複数のステップは、
特徴抽出器によって入力データを含む入力ベクトルから特徴ベクトルを抽出するステップと、
ラベル予測器によって、前記特徴ベクトルに基づいて関連度スコアを有する複数の関連ラベルを含む関連ラベルベクトルを求めるステップであって、前記関連ラベルの前記関連度スコアのそれぞれは、前記入力データのコンテンツに対する関連確率である、ステップと、
先行のラベル選択において選択されていた事前選択ラベルをマスキングすることによってバイナリマスキングベクトルを更新するステップと、
前記関連ラベルから前記事前選択ラベルを除外するように前記関連ラベルベクトルが更新されるように、前記更新されたバイナリマスキングベクトルを前記関連ベクトルに適用するステップと、
前記更新された関連ラベルベクトルの前記関連度スコアに基づいて前記更新された関連ラベルベクトルから関連ラベルを選択するステップと、
を含む、システム。
【請求項１４】
前記複数のステップは、前記関連ラベルを蓄積して、マルチ関連ラベルのセットを生成するステップ、
を更に含む、請求項１３に記載のシステム。
【請求項１５】
前記蓄積することは、最終ラベルが選択されるまで続行される、請求項１４に記載のシステム。
【請求項１６】
前記選択するステップにおいて、前記更新された関連ラベルベクトルの前記関連ラベルにおいて最も高いスコアを有する前記関連ラベルが選択される、請求項１３に記載のシステム。
【請求項１７】
前記複数のステップは、前記選択するステップにおいて累積ラベル情報を生成して前記ラベル予測器に送信するステップ、
を更に含む、請求項１３に記載のシステム。
【請求項１８】
前記事前選択ラベルは、先行のラベル選択において選択されていた前記関連ラベルである、請求項１３に記載のシステム。
【請求項１９】
前記関連度スコアは、再帰型ニューラルネットワークを用いることによって計算される、請求項１３に記載のシステム。
【請求項２０】
前記選択するステップにおいて、前記関連ラベルは、前記関連ベクトルにおけるマスキングされていないラベルの中で最も高い関連度スコアを有する、請求項１３に記載のシステム。
【国際調査報告】
2019527440.tif 000068
2019527440.tif 000069