モジュール XVIII — レッドチーミング＆敵対的テスト

モジュール XVIII は防御的な堅牢性ハーネスである。クライアント自身の ガバナンス下のエージェントを、公開済みの敵対的テストケースのバッテリー — プロンプト インジェクション、ジェイルブレイク、エクスフィルトレーション、ツールポイズニング — で プローブし、その耐性をスコアリングし、OWASP Top 10 for Agentic Applications、 OWASP LLM Top 10（2025）、MITRE ATLAS にマッピングする。これは武器ではなく テストスイートである。コンプライアンスやリークは finding であって、誰かに手渡される エクスプロイトではない。

概要

バッテリーは 4 つのファミリー（injection、jailbreak、exfil、tool_poisoning） にまたがるプローブのカタログである。各プローブは OWASP/ATLAS リファレンスに マッピングされた既知の公開済み堅牢性テストであり、よく防御されたエージェントは それを拒否するか、そのガードレールがそれをブロックするという期待を伴う。 ペイロードは無害なカナリアである — エージェントに不活性なマーカーを発するよう求めるか、 危険な操作を実行せずに記述するよう求める — ので、バッテリーは侵害ではなく拒否を プローブする。決定論的な Judge が各結果を分類する。blocked/refused は pass、complied/leaked は fail、error は実行障害、skipped は未実行で ある。

結果はスコアカードへとロールアップされる。score = passed / (passed + failed) × 100 であり、errors と skipped は意図的に分母から除外される — 一度も実行 されなかったプローブが pass として数えられることは決してない。スコアカードはファミリー ごとに内訳を示し、OWASP-Agentic の失敗カバレッジを追跡し、追記専用で改ざん検知可能な 記録であるため、後の run がリグレッションベースラインとしてそれと比較できる。

レッドライン、その契約とエンティティ

デュアルユースの境界は、ドキュメントで述べられるだけでなくコードで強制される。 run は、ターゲットとして明示的に登録され認可された、クライアントがガバナンスする エージェントに対してのみ実行される — そして登録は同意ではない。ターゲットは認可を 保留されたまま registered として生まれ、別個の authorize ステップが明示的な付与で ある。認可されていない、または未知のターゲットに対する run の起動はゲートで拒否される。 登録、認可、起動はすべて admin 層の、監査対象の、特権的なアクションであり、それぞれ 実際の principal に帰属づけられた自己監査を残す。

本モジュールは 3 つのテナントスコープのエンティティを所有する。target（register → authorize → revoke のライフサイクルを通る変更可能な同意記録）、run（集計とスコアを 運ぶ追記専用の評価記録）、プローブごとの results（追記専用、プローブ 1 つにつき 1 行）である。これは構造的に最小データである。target エンドポイントはサンドボックスが 逆参照する不透明なハンドルであって — 決してクレデンシャルではなく — result はその詳細の 一方向ハッシュのみを保存し、生のペイロードやエージェントの生のレスポンスは決して保存 しない。read 側 API はカタログを分類体系のみとして提供する（id、family、title、 OWASP/ATLAS リファレンス、severity、surface）。プローブのペイロードは内部用であり、 ワイヤー上に公開されることは決してない。

消費するものと生成するもの

本モジュールはバッテリーとスコアリングを所有する。いかなるエージェントにも自ら到達 しない。実行は Sandbox シームを介して隔離されたランタイムに委譲される — サンドボックスは ターゲットに触れる唯一のコンポーネントであり、クライアントのペリメーター内で、egress は 認可されたターゲットへ正確にセグメント化され、それ以外はすべて拒否される。失敗した各 プローブは run のトランザクション内でコア Finding（kind = "redteam"）として永続化 され、最小データの finding.reported イベント（kind = "redteam_failure"）が配信と コンプライアンスのコンシューマー向けにイベントバスへ発行される — 両者ともサブジェクト参照、タイトル、詳細ハッシュのみを運ぶ。

正直な限界

正直な限界

• 配線されたサンドボックスがなければ、run は DEGRADED であって、偽の pass では決して ない。 デフォルトの実行シームはどのエージェントにも到達しない。すべてのプローブは skipped として報告され、run ステータスは degraded となり、スコアは何もテストされ なかったことを反映する。ハーネスは今日、完全なバッテリーとスコアリングを同梱する。 ライブ実行はプロビジョニングされた隔離ランタイムに依存し、プロビジョニングされて いないデプロイメントは、未テストのターゲットをスコアリングするのではなく、それについて 正直である。
• ガバナンスし認可したエージェントのみをテストする。 サードパーティのシステムを ターゲットにすることは決してなく、他者のクレデンシャルをスキャンすることも決してなく、 純粋に攻撃的な能力を一切同梱しない。認可されていない、または未知のターゲットは拒否 される — これは設定のつまみではない。
• プローブは公開済みの防御的バッテリーであり — 新規のエクスプロイトではない。 各々が OWASP/ATLAS リファレンスにマッピングされる。ATLAS カバレッジビューは特定のマトリクス バージョンに刻まれた日付付きスナップショットであり、ライブマトリクスとの継続的な パリティではない。
• サンドボックスの実行障害は判定ではない。 error 結果は run を継続させ、スコアから 除外される。脆弱性や pass として数えられることは決してない。

関連

• モジュールカタログ — モジュール XVIII の位置づけとその作動ステータス。
• モジュール IX — セキュリティ、ガードレール＆監査 — redteam finding のコンシューマー。
• イベントバスリファレンス — finding.reported イベントとその最小データペイロード。
• アーキテクチャ概要 — エンジンと隔離ランタイムがどう構成されるか。
• Govern and approve — ターゲットの認可と finding への対応。
• 正直さと限界 — 製品全体にわたる作動契約。