ブラックボックスを打ち破る：攻撃者AI（Adversarial AI）入門

人工知能（AI）が現代の企業において重要な役割を果たしていることは、もはや周知の事実です。AIは履歴書の選考からセキュリティアラートのトリアージ、さらにはコード生成に至るまで、しばしば人間の監督なしにさまざまな業務を実行しています。私たちは実質的に、これらのモデルに「王国の鍵」を渡してしまいました。そして、「それができるのか（Can we?）」という問いに夢中になるあまり、「それをすべきなのか（Should we?）」という問いを忘れてしまったのです。

残念ながら、その問いに対する答えは今や攻撃者たちによって示されつつあります。私たちが称賛してきたあらゆる機能や進歩の裏には、見過ごされてきた脆弱性が潜んでいます。履歴書を選別するモデルは、攻撃者が埋め込んだ隠れた指示に従うよう誘導される可能性があります。コードを生成するアシスタントは、巧妙に仕組まれたバックドアを実装するよう騙される可能性があります。

さらに深刻なのは、多くの組織がこうした攻撃がどれほど広く行われているかを認識しておらず、従来のペネトレーションテストでは想定されていなかった新たな攻撃対象領域（アタックサーフェス）を自ら公開していることです。プロンプトインジェクション、ジェイルブレイク、学習データ汚染（データポイズニング）、モデル抽出（Model Extraction）、エージェント悪用（Agentic Exploitation）といった攻撃は日常的に発生していますが、それらを評価・検証するための方法論を持つセキュリティチームはまだ多くありません。

本セッションは、新コース SEC536: AI Penetration Testing をベースに、AIの能力そのものではなく、AIが新たな攻撃ベクトルとしてどのようなリスクをもたらすのかに焦点を当てます。そして、AI活用の是非を批判的に評価する視点を提供します。

ライブデモでは、本番環境レベルのAIアシスタントがどのように操作され、安全対策を回避し、機密データを漏洩させ、禁止された行為を実行するよう誘導されるのかを実演します。これにより、組織が直面する現実の脅威と、それに対処するために必要な新たなセキュリティテスト手法について理解を深めていただきます。