Amazon OpenSearch は先ごろ履歴データの異常検出サポートを導入した。この機械学習ベースの機能は、OpenSearch データの傾向、パターン、季節性を特定するのに役立つ。
AWS のソフトウェアエンジニアである Tyler Ohlsen 氏は、顧客がどのようにインサイトを導き出しアプリケーションを改善するためのアクションを実行するかを説明している:
異常検出を活用して、さまざまな方法で大量のログを分析できます。一部の分析アプローチでは、アプリケーションモニタリング、イベント検出、不正検出などのリアルタイム検出が必要です。他にも、過去のデータを分析して傾向とパターンを特定し、根本原因を特定して、将来それらが再び発生するのを防ぐことが含まれます。
この異常検出は、Random Cut Forest (RCF) アルゴリズム v2.0 を使用して、ほぼリアルタイムに自動的に異常を検出する。この新しい機能によりリアルタイム分析と履歴分析の両方で異常検出を使用して OpenSearch ダッシュボードに統一されたフローが導入される。RCF アルゴリズムは、着信データストリームのスケッチし、着信データポイントの異常グレードと信頼スコア値を計算し、その値を使用して異常と通常の変動を区別してモデル化する。
出典: https://opensearch.org/docs/latest/monitoring-plugins/ad/index/
元はストリーミングデータのために Amazon で作成されたが、RCF アルゴリズムの新しい実装が密度推定、データ補完、および予測のために開発された。AWS の VPで著名なエンジニアである Matthew Wilson 氏は付け加えている:
この Random Cut Forest アルゴリズムは OpenSearch とは別のオープンソースソフトウェアです。Java と Rust の両方の実装を確認してください。3.0 の実装で行われる拡張に向けた進捗状況も追跡できます。
OpenSearch でストリーミング分析の方法の説明で、AWS のプリンシパルサイエンティストである Sudipto Guha 氏と、Amazon のシニアソフトウェアエンジニアである Joshua Tokle 氏は書いている:
異常検出は、典型的な検索問題です。典型的なユースケースは、カーディナリティの高いデータセットに対応します。ここでは、一部の属性がデータを多数の個別のそして潜在的に比較できない時系列に分割し、それらの各時系列を同時に監視します。異常は多くの場合、各時系列に固有の過去のデータのコンテキストでのみ説明可能です。
この新機能は、Elasticsearch の Apache 2.0 ライセンスのディストリビューションの AWS によるフォークの1年間の OpenSearch バージョン 1.1 の改善点の1つだ。新しいバージョンでは、OpenSearch クラスタをさまざまなサーバ、データセンタ、およびリージョンにデプロイするために Bucket Level Alerting (集計に対して評価するポリシー)、および Cross-Cluster Replication (CCR) が導入された。
異常検出 OpenSearch プラグインと異常検出 OpenSearch ダッシュボードプラグインは GitHub が利用可能だ。