AI・デジタルツイン・データ基盤Forum
Elasticsearch
プリンシパルソリューションアーキテクト
古久保 武雄 氏
ITインフラが複雑化し、監視すべきログやメトリクスのデータ量が増えたことで、システム障害時の原因の切り分けが難しくなっている。IT運用の省力化には生成AIが有効だが、AIモデルは学習済みの知識からしか答えてくれない。ログをもとに運用手順書などのナレッジデータを検索して生成AIに回答させる方法を解説するとともに、Elasticの強みである検索技術が生成AIにもたらす具体的なメリットを説明する。
Elasticsearch
古久保 武雄 氏
昨今、クラウド導入などを背景にITインフラの複雑化で、ログなどの監視データが増え、障害発生時の切り分けが難しくなっている。この課題を解決するのに生成AIが役立つ。生成AIを上手に使えば、ログから障害を見つけ、障害を修復する知識を検索し、解決策を分かりやすく提示してくれる。
ただし、生成AIで使っている汎用のAIモデルだけでは、IT運用に役立つシステムは実現できない。役立つシステムの中核となるのは、運用知識を検索するための検索エンジンである。これに加えて、社内の運用知識を生成AIから活用できるようにする仕組みも必要になる。これらを提供している会社が、Elastic(日本法人はElasticsearch)である。
Elasticは、検索エンジンプラットフォームを提供し、また検索エンジンを搭載したAIを安全に活用して、膨大なデータから瞬時にインサイトを引き出すことで、お客様の事業や従業員の潜在能力を引き出す製品を展開している。もともとはオープンソース(OSS)の検索エンジンをリリースしており、有償版の機能をサポートする形で2012年に会社を設立した。「弊社は検索から始まっており、検索や分類の技術に強いところがポイントです。この特徴が、生成AIによる社内データの活用に向いているのです」と、日本法人(Elasticsearch)の古久保武雄氏は強調する。
Elasticは、検索エンジンソフトウエアの「Elasticsearch」を中核に、生成AIシステムなどの構築に向いたソフトウエアツールを一通りそろえている。データ可視化ツールの「Kibana」や、外部システムのログなどを取り込むデータ統合ツールの「Integrations」などである。これらのツール群を組み合わせたソフトウエアスタックは「Elastic Stack」(ELK Stack)と呼ばれる。
生成AIをITの運用に適用する前提として、IT運用が複雑化している事情がある。インフラはオンプレミスからクラウドサービスに移り、DevOpsによってシステムの開発工程と運用工程が重なり、機能のマイクロサービス化やコンテナによる実装が広がっている。
運用管理の対象が拡大し、また細かく対応することが必要となったことで、監視すべきログやメトリクスの分量も増えている。監視のポイントも、エンドユーザーが体感するレスポンスの監視、アプリケーション性能の監視、ネットワークやサーバーの稼働監視、システムが出力するログの監視など多岐にわたっている。
「監視データが増えたことで、システムに障害が発生した際の切り分けが難しくなっています」と古久保氏は指摘する。ログの分量が多いので、障害の原因を探すのが難しい。「大量のアラートに慣れてしまい、これらを無視するようになり、本当の障害が発生したことに気付かずに対応が遅れてしまいます」(古久保氏)。
システム運用を省力化する手段として、生成AIの大規模言語モデル(LLM)を活用するアイデアが出てきたが、AIには「学習していない知識は分からない」という弱点がある。AIは、ユーザーが運用しているシステムの構成を知らないし、システムが出力するログのフォーマットも知らない。
生成AIに渡せるデータの分量にも限りがある。障害発生前後のログをすべて渡せるわけではない。セキュリティ面では、生成AIに渡すデータを匿名化する需要もある。生成AIが出力した回答に嘘が入り込むリスクもある。
こうした事情を受け、検索技術の重要性が高まっていると古久保氏は言う。ログや運用知識などのデータから必要な情報だけを検索によって抽出し、これを生成AIに渡せるからである。