SpaCy

spaCy ( ) は、高度な自然言語処理を行うためプログラミング言語PythonとCythonで書かれたオープンソースソフトウェア・ライブラリである Choi et al. (2015). It Depends: Dependency Parser Comparison Using A Web-based Evaluation Tool. 。このライブラリはMITライセンスの下で公開されており、現在、英語、ドイツ語、スペイン語、ポルトガル語、フランス語、イタリア語、オランダ語に対する種々の解析処理と多言語固有表現抽出のための統計的ニューラルネットワークモデル、また、その他様々な言語に対する字句解析モデルを提供している。

教育や研究に広く使用されているNLTKとは異なり、spaCyは製品用途のソフトウェアを提供することに重点を置いている。バージョン1.0の時点で、spaCyはTensorFlow、Keras、scikit-learnやPyTorch等のよく知られた機械学習ライブラリによって訓練された統計モデルが使用できるディープラーニングのためのワークフローをサポートしている。spaCyの機械学習ライブラリであるThincが、個別のオープンソースPythonライブラリとして公開されている。2017年11月7日にバージョン2.0がリリースされた。品詞タグ付け、構文解析、固有表現抽出のための畳み込みニューラルネットワークモデルや、およびモデルの訓練と更新、カスタム処理パイプラインの構築周りのAPIの改善を含んでいる。

 主な特徴 
 非破壊的な字句解析 
 固有表現抽出 
 25以上の言語の字句解析サポート 
 8言語の統計モデル 
 事前学習済みの単語ベクトル 
 品詞タグ付け 
 ラベル付き依存構文解析 
 統語ドリブンの文分割 
 テキスト分類 
 構文木および固有表現用のビルトインビジュアライザ 
 ディープラーニング 

 拡張機能とビジュアライザ 
代替文=Dependency parse tree visualization generated with the displaCy visualizer|サムネイル|500x500ピクセル| displaCyビジュアライザで生成された依存解析木の可視化 
spaCyには、無料のオープンソースライブラリとして利用できるいくつかの拡張機能とビジュアライザが付属している。 

 Thinc: CPUによる使用とテキスト入力に対するディープラーニングに最適化された機械学習ライブラリ。 
 sense2vec: Word2vecとsense2vecに基づいて、単語の類似性を計算するためのライブラリTrask et al. (2015). sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings 。 
 displaCy: JavaScript、CSS、SVGで構築されたオープンソースの依存構文木のビジュアライザ。 
 displaCyENT: JavaScriptとCSSで構築されたオープンソースの固有表現ビジュアライザ。 

 脚注 

 関連項目 
 自然言語処理 
 自然言語処理ツールキットのリスト 
 NLTK 

 外部リンク 


Category:Pythonライブラリ
Category:未査読の翻訳があるページ