GPTs (Generative Pretrained Transformers) based on Large Language Models are great for a lot of challenges. But they're not trained to find outliers within your log data.
In this brief, informative, and useful session, Christopher Crowley will discuss the concept of a variational autoencoder, then show how you could implement this to train an autoencoder based on your logs.
After training on your log information, you would then implement the concept to look for outliers within your log data, to surface weird things to analysts for review.
There will be about 20 minutes of theory, and about 30 minutes of practical demonstration using a jupyterlab notebook, python, and tensorflow.
Even if you're not a programmer, this will be a worthwhile session to understand what's possible with machine learning and your own log information.
ログの機械学習における異常検知
大規模言語モデル (LLM)に基づくGPT(Generative Pretrained Transformers)は、多くの課題に対して優れた性能を発揮します。しかし、ログデータ内の異常値を見つけるためのトレーニングはされていません。
この簡潔で有益なセッションでは、Christopher Crowleyが変分オートエンコーダーの概念について説明し、ログに基づいてオートエンコーダーを訓練する方法を紹介します。
ログ情報をトレーニングした後、ログデータ内の外れ値を検出し、アナリストが確認すべき異常な事象を浮かび上がらせる方法を解説します。
約20分の理論説明と、JupyterLab notebook、Python、TensorFlowを使った約30分の実践的なデモンストレーションを行います。
プログラマーの方以外にも、機械学習とログ情報で何ができるか理解するのに有意義なセッションになるでしょう。