[まとめ記事] Elasticsearch Machine Learningに関するブログ一覧

# このブログは何？
Elastic社のブログ（https://www.elastic.co/blog/ )にあるElastic (Elaticsearch)のMachine Learning 機能に関しての過去のブログ記事をまとめてみました。2023年3月現在からMachine Learning機能が登場した2017年あたりまでの記事を集計しています。

なお、Machine Learningの製品ドキュメントは以下となりますが、製品の基本的なことや詳細な部分はこちらを先に見ると良いでしょう。
https://www.elastic.co/guide/en/machine-learning/current/index.html

上記のドキュメントで多くの場合十分な情報なのかもしれませんが、読み物として詳細すぎる部分があって読みにくいと感じる部分があります。それに対してブログとしての解説記事はもう少し読みやすいものになっており、うまく両者を使うと良いと思います。

**昔の記事も含まれますので、最新の製品バージョンでは多少異なる可能性があります。その点、ご了承ください**
また、今回は異常検知などの監視、分析の面での記事を集めており、NLPといったサーチに関するMachine Learningは本記事の集計の対象外としています。

## Anomaly Detectionのスコアリングについての解説記事

製品ドキュメントにも少し書いてありますが、ブログを読むともう少し理解が深まると思います。
[Documentation: Anomaly Score Explanation](https://www.elastic.co/guide/en/machine-learning/current/ml-ad-explain.html)

[(2017年11月) 機械学習の異常スコアリングとElasticsearchの仕組み](https://www.elastic.co/jp/blog/machine-learning-anomaly-scoring-elasticsearch-how-it-works)
[(2018年11月) Changes to Elastic Machine Learning Anomaly Scoring in 6.5](https://www.elastic.co/blog/changes-to-elastic-machine-learning-anomaly-scoring-in-6-5)
[(2023年1月) Explaining anomalies detected by Elastic machine learning](https://www.elastic.co/blog/explaining-anomalies-detected-by-elastic-machine-learning)

## ジョブ作成方法について補足記事

初めてのユーザーはまずこちらの製品ドキュメントを見て異常検知のジョブ作成をしてみてください。
[Documentation: Run anomaly detection jobs](https://www.elastic.co/guide/en/machine-learning/current/ml-ad-run-jobs.html)
[Documentation: Getting Started with Anomaly Detection](https://www.elastic.co/guide/en/machine-learning/8.6/ml-getting-started.html)

以下、補足として読む感じだと思います。全て見る必要はなく、知りたいところから見てみてください。

[(2017年4月 動画) Machine Learning Lab 1 - Single Metric Jobs](
https://www.elastic.co/videos/machine-learning-tutorial-creating-a-single-metric-job)
[(2017年5月 動画) Machine Learning Lab 2 - Multi Metric Jobs](https://www.elastic.co/videos/machine-learning-tutorial-creating-a-multi-metric-job)
[(2017年5月 動画) Machine Learning Lab 3 - Detect Outliers in a Population](https://www.elastic.co/pt/videos/machine-learning-lab-3-detect-outliers-in-a-population)
[(2018年2月記事) Scheduled Events and the Amorous Anomaly
](https://www.elastic.co/blog/scheduled-events-and-the-amorous-anomaly-elasticsearch-machine-learning)
[(2017年7月記事) Explaining the Bucket Span in Machine Learning for Elasticsearch](https://www.elastic.co/blog/explaining-the-bucket-span-in-machine-learning-for-elasticsearch)
[(2018年9月6日記事) How to Capture Domain Knowledge in Elastic Machine Learning Jobs with Custom Rules](
https://www.elastic.co/jp/blog/how-to-capture-domain-knowledge-in-elastic-machine-learning-jobs-with-custom-rules)
[(2018年8月記事) How to Optimize Elasticsearch Machine Learning Job Configurations using Job Validation](https://www.elastic.co/blog/how-to-optimize-elasticsearch-machine-learning-job-configurations-using-job-validation)

## Anomaly Detection結果の確認方法

製品ドキュメントとしては以下となりますが、この辺りはブログのほうが詳しく書いてあるケースがあります。
[Documentation: View anomaly detection job results](https://www.elastic.co/guide/en/machine-learning/current/ml-ad-view-results.html)

[(2023年1月記事) Elasticの機械学習によって検出された異常の説明](https://www.elastic.co/jp/blog/explaining-anomalies-detected-by-elastic-machine-learning)
[(2019年7月記事) Find influencers faster with the machine learning Anomaly Explorer query bar](https://www.elastic.co/jp/blog/find-influencers-faster-with-the-machine-learning-anomaly-explorer-query-bar)
[(2019年７月記事) Find influencers faster with the machine learning Anomaly Explorer query bar](https://www.elastic.co/blog/find-influencers-faster-with-the-machine-learning-anomaly-explorer-query-bar)
[(2019年4月記事) Elastic Machine Learningの注釈機能](https://www.elastic.co/jp/blog/augmenting-results-with-user-annotations-for-elastic-machine-learning)
[(2018年6月記事)Filtering Input Data to Refine Machine Learning Jobs](https://www.elastic.co/blog/filtering-input-data-to-refine-machine-learning-jobs)

## ユースケース: セキュリティ関連
セキュリティでElastic M/Lをどう使えるか、という内容。記事によっては内容が細かいものもあります。セキュリティ検知ルールとしてのM/Lジョブは最近のElastic Security機能に組み込まれ済みものがあるので、まずそちらを先に確認すると良いでしょう。
[Documentation: Elastic Security - Anomaly Detection with machine learning](https://www.elastic.co/guide/en/security/8.6/machine-learning.html)

[(2023年11月記事) Detecting account compromise with UEBA detection packages](https://www.elastic.co/jp/blog/detecting-account-compromise-ueba-detection-packages)
[(2023年2月記事) Detecting Lateral Movement activity: A new Kibana integration](https://www.elastic.co/blog/detecting-lateral-movement-activity-a-new-kibana-integration)
[(2022年3月記事) 46 days vs. 16 minutes: Detecting emerging threats and reducing dwell time with machine learning](https://www.elastic.co/blog/46-days-vs-16-minutes-detecting-emerging-threats-and-reducing-dwell-time-with-machine-learning)
[(2021年3月記事) Detecting threats in AWS Cloudtrail logs using machine learning](https://www.elastic.co/blog/detecting-threats-in-aws-cloudtrail-logs-using-machine-learning)
[(2019年4月記事) Analysing Linux auditd anomalies with Auditbeat and machine learning](https://www.elastic.co/blog/analysing-linux-auditd-anomalies-with-auditbeat-and-elastic-stack-machine-learning)
[(2021年7月記事) Detecting unusual network activity with Elastic Security and machine learning](https://www.elastic.co/blog/detecting-unusual-network-activity-with-elastic-security-and-machine-learning)
[(2021年5月記事) ProblemChild: Detecting living-off-the-land attacks using the Elastic Stack](https://www.elastic.co/blog/problemchild-detecting-living-off-the-land-attacks)
[(2021年3月記事) Detecting rare and unusual processes with Elastic machine learning](https://www.elastic.co/blog/detecting-rare-unusual-processes-with-elastic-machine-learning)
[(2021年3月記事) Using Elastic machine learning rare analysis to hunt for the unusual
](https://www.elastic.co/blog/using-elastic-machine-learning-rare-analysis-to-hunt-for-the-unusual)
[(2020年7月記事) Machine learning in cybersecurity: Detecting DGA activity in network data](https://www.elastic.co/blog/machine-learning-in-cybersecurity-detecting-dga-activity-in-network-data)
[(2020年2月記事) Discovering anomalous patterns based on parent-child process relationships](https://www.elastic.co/blog/discovering-anomalous-patterns-based-on-parent-child-process-relationships)
[(2017年5月記事) 実例: Machine LearningとElasticsearchをセキュリティ分析に利用する](https://www.elastic.co/jp/blog/using-machine-learning-and-elasticsearch-for-security-analytics-deep-dive)
[(2018年10月記事) Elastic Stack、Wazuh、IDSで実践するセキュリティ分析](https://www.elastic.co/jp/blog/improve-security-analytics-with-the-elastic-stack-wazuh-and-ids)
[(2017年8月記事) Integrating Elasticsearch with ArcSight SIEM - Part 6 - Detecting Unusual Processes with X-Pack Machine Learning](https://www.elastic.co/blog/integrating-elasticsearch-with-arcsight-siem-part-6)

## 教師あり学習関連
教師なし学習のAnomaly Detectionと比べ、こちらはユースケースが少なめです。あるいはサーチのユースケースで使われるかもしれません。内容も上級者向けになってます。
[(2023年2月記事) Cooking up machine learning models: A deep dive into the supervised learning pipeline](https://www.elastic.co/blog/machine-learning-models-supervised-learning-pipeline)
[(2020年10月記事)  教育、評価、監視、推論 ― エンドツーエンドなElastic Stackの機械学習](https://www.elastic.co/jp/blog/train-evaluate-monitor-infer-end-to-end-machine-learning-in-elastic)
[(2020年7月記事)  Using Elastic supervised machine learning for binary classification](https://www.elastic.co/blog/using-elastic-supervised-machine-learning-for-binary-classification)
[(2020年4月記事)  Using classification-based supervised learning in Elasticsearch to curate your movie queue](https://www.elastic.co/blog/using-classification-in-elasticsearch-to-curate-your-movie-queue)
[(2020年4月記事)  Benchmarking binary classification results in Elastic machine learning](https://www.elastic.co/jp/blog/benchmarking-binary-classification-results-in-elastic-machine-learning/)
[(2020年4月記事)  Feature importance for data frame analytics with Elastic machine learning
](https://www.elastic.co/blog/feature-importance-for-data-frame-analytics-with-elastic-machine-learning)


## ユースケース: オブザーバビリティ関連

まずいくつかオブザーバビリティ観点で製品に組み込まれているM/L機能があります。以下の製品ドキュメントあたりに載っています。
https://www.elastic.co/guide/en/machine-learning/current/ootb-ml-jobs.html
https://www.elastic.co/guide/en/observability/8.6/categorize-logs.html
https://www.elastic.co/guide/en/observability/8.6/inspect-log-anomalies.html#inspect-log-anomalies
https://www.elastic.co/guide/en/observability/8.6/inspect-metric-anomalies.html
https://www.elastic.co/guide/en/observability/8.6/inspect-uptime-duration-anomalies.html
https://www.elastic.co/guide/en/kibana/8.6/service-maps.html

その他、以下は参考にできるブログ記事です。
[(2023年1月記事) Using AIOps for automation and efficiency in observability and IT operations](https://www.elastic.co/blog/aiops-use-cases-observability-operations)
[(2023年1月記事) Root cause log analysis with Elastic Observability and machine learning](https://www.elastic.co/blog/reduce-mttd-ml-machine-learning-observability)
[(2023年2月記事) Easily analyze AWS VPC Flow Logs with Elastic Observability](https://www.elastic.co/blog/vpc-flow-logs-monitoring-analytics-observability)
[(2022年9月記事) AIOpsビギナーズガイド](https://www.elastic.co/jp/blog/what-is-aiops-observability)
[(2020年8月記事)　Alerting and anomaly detection for uptime and reliability](https://www.elastic.co/blog/alerting-and-anomaly-detection-for-uptime-and-reliability)
[(2018年11月記事） ユーザーエクスペリエンスの向上を実現させたGoDaddyのMachine Learning活用術](https://www.elastic.co/jp/blog/improving-the-godaddy-user-experience-with-elastic-machine-learning)
[(2017年9月記事) Machine Learning for Nginx Logs - Identifying Operational Issues with Your Website](https://www.elastic.co/blog/machine-learning-for-nginx-logs)

## ユースケース: ビジネスデータ分析
少なめですが、いくつか一般的なデータ分析のユースケースでの記事があります。
[(2019年8月記事) 機械学習を使用してMeetupデータを分析する](https://www.elastic.co/jp/blog/using-elastic-machine-learning-to-analyze-meetup-data)
[(2019年2月記事) Managing My Type 1 Diabetes with Elastic Machine Learning](https://www.elastic.co/blog/managing-my-type-1-diabetes-with-elastic-machine-learning)
[(2022年9月記事) Introduction to custom machine learning models and maps](https://www.elastic.co/blog/introduction-to-custom-machine-learning-models-and-maps)
[(2023年2月記事) Unlocking insights: How to analyze Strava data with Elastic AIOps](https://www.elastic.co/blog/how-to-analyze-strava-data-elastic-aiops)
(2023年4月記事）[The impact of absolute values vs. percentages on effective machine learning]
(https://www.elastic.co/jp/blog/absolute-values-percentages-machine-learning)

## Forecasting機能関連
[(2018年４月記事) Recap: Elasticsearch Machine Learning Forecasting on Time Series Data](https://www.elastic.co/blog/recap-elasticsearch-machine-learning-forecasting-on-time-series-data)
[(2018年1月記事) Elasticsearchの機械学習でオンデマンド予測を実行する](https://www.elastic.co/jp/blog/elasticsearch-machine-learning-on-demand-forecasting)

## Machine Learning機能のインフラ管理面関連
[(2017年12月記事) Smarter Machine Learning Job Placement in Elasticsearch](https://www.elastic.co/blog/smarter-machine-learning-job-placement-in-elasticsearch)
[(2018年8月記事) Sizing for Machine Learning with Elasticsearch](https://www.elastic.co/blog/sizing-machine-learning-with-elasticsearch)

## 業界に特化した記事
[(2020年6月記事) Elastic Stackで構築する通信オブザーバビリティ - 音声トラフィックデータを監視する](https://www.elastic.co/jp/blog/telecommunications-observability-elastic-stack-monitoring-voice-traffic-data)