XGBoost

XGBoostは、 C++、Java、Python、R、Julia、Perl 、Scala用の正則化勾配ブースティングフレームワークを提供するオープンソースソフトウェアライブラリ。
Linux、Windows、macOSで動作する。
プロジェクトの説明によると、「スケーラブルでポータブルな分散型勾配ブースティング（GBM、GBRT、GBDT）ライブラリ」を提供することを目的としている。
単一のマシンだけでなく、分散処理フレームワークであるApache Hadoop、Apache Spark、Apache Flink、Daskでも動作する。
機械学習コンテストの優勝チームの多くが選択するアルゴリズムとして、人気と注目を集めている。
同様に勾配ブースティングに基づくアルゴリズムとして、LightGBMとCatBoostが存在する。
歴史.
XGBoostは、Distrubuted (Deep) Machine Learning Community (DMLC) グループの一員であるTianqi Chen氏の研究プロジェクトとしてスタートした。当初は、libsvmの設定ファイルで設定可能なターミナル・アプリケーションだった。 Higgs Machine Learning Challenge で優勝した際に使用されたことで、機械学習コンテストの世界で広く知られるようになった。その後すぐにPythonとRのパッケージが作られ、Java、Scala、Julia、Perl、その他の言語のパッケージ実装ができた。これにより、XGBoost はより多くの開発者に利用されるようになり、Kaggleコミュニティでも人気を博し、多くのコンペティションで利用されている。
すぐに他の多くのパッケージと統合され、それぞれのコミュニティでの使用が容易になった。
Pythonユーザーにはscikit-learn、Rユーザーにはcaretパッケージと統合された。
また、抽象化されたRabitとXGBoost4Jを使って、Apache Spark、 Apache Hadoop、Apache FLINK などのデータフローフレームワークに統合することもできる。XGBoostは、OpenCL for FPGAでも利用できる 。
XGBoostの効率的でスケーラブルな実装は、Tianqi ChenとCarlos Guestrinによって発表された。
特徴.
XGBoostは、他の勾配ブースティングアルゴリズムとは異なる、以下の様な特徴を持っている。
アルゴリズム.
XGBoostは、関数空間でニュートンラフソンとして動作する。関数空間で勾配降下法として機能する勾配ブースティングとは異なり、損失関数に2次テイラー近似を使用してニュートンラフソン法との関連性を持たせている。
一般的な非正則化 XGBoost アルゴリズムは次の通り。
Input: training set formula_1, a differentiable loss function formula_2, a number of weak learners formula_3 and a learning rate formula_4.
Algorithm: