モジュール XVII — エージェントシミュレーション＆テストサンドボックス

モジュール XVII はテストサンドボックスである。隔離された一時的な環境で エージェントシナリオを実行し、履歴セッションを決定論的にリプレイし、デプロイ前に 2 つのバリアントを比較する。これはモジュール XII（evals）の姉妹であり — XVII は 隔離して実行し出力を生成する、XII はその品質を計測する — 両者は疎結合で、 どちらも他方を import しない。本ページは、サンドボックスが今日できることとその正直な 限界のリファレンスである。

概要

サンドボックスはオペレーターが作成したシナリオをカタログ化する。ステップ入力の シーケンスに加え、実行が触れることを許されるツールとリソースのモックされたレスポンスで ある。シナリオは合成フィクスチャである — シークレットなし、本番ハンドルなし — 永続化 される前にクランプされる。これに対して 3 つのフローが実行される。

• シナリオシミュレーション — シナリオのステップをそのモックに対して実行し、 ステップごとの出力を生成する（オプションで evals スイートに対してスコアリング）。
• リプレイ — 履歴セッションの入力タイムラインを再構築し、モックに対して決定論的に 再実行する。同じ入力が同じ出力を生む。
• デプロイ前後比較 — 同じシナリオをベースラインと候補バリアントに対して実行し、 両者をスコアリングし、差分とともに判定（improved / regressed / unchanged / inconclusive）を記録する。

エンティティと隔離保証

本モジュールは 4 つのエンティティを所有する。変更可能な scenario、変更可能な run（running → 終端）、追記専用のステップごとの output、追記専用の デプロイ前後 comparison である。各 run は、どの runner がそれを実行したか、その runner が isolated であったか、一時状態が destroyed であったか、ステップごとの カウント、そして — scorer が配線されていれば — スイート、スコア、合否判定を記録する。

隔離はワイヤーの性質であり、単なる主張ではなく run ごとに証明される。デフォルトの インプロセス runner は構造的に隔離されている。step-and-mock の仕様のみを受け取り、 ストア、ネットワーク、いかなるシークレットへのハンドルも持たない。モックに存在しない リソースを要求するステップは決定論的な mock-miss マーカーを生み、実リソースに決して 到達しない。状態は呼び出し内に存在し戻り時に破棄されるので、run は destroyed を 記録する。オペレーターのプロビジョニング下では、OS レベルランタイムが同じ インターフェイスの背後に立つ — 一時的で堅牢化され egress を制御されたインスタンスで、 そのバックエンド（gVisor または Firecracker microVM）はポリシーによって選択され、 プリフライトでゲートされる。各 run は実際のバックエンドとその isolated フラグを記録 するので、劣化したバックエンドやポータブルなバックエンドは可視であり監査可能であって、 決して隠されない。

消費するものと生成するもの

サンドボックスはイベントバスに発行しない。他のモジュールがこれに結合することなく読む 永続化された証跡を生成する。その出力は、コンポジションルートでのみ配線される アダプターを通じてモジュール XII によってスコアリングされる — 2 つの姉妹は import では なく薄いポート契約を共有する。そのデプロイ前後比較は、デプロイメントモジュールが プロモーションをゲートするために読む決定証跡であり、XII が追跡するリグレッション ベースラインに供給される。run、リプレイ、比較の起動は、特権的でテナントスコープの 監査対象アクションである（run は editor 以上、deploy 比較は admin の決定）。

正直な限界

• デフォルトのランタイムは合成専用である。 オペレーターが OS レベルランタイムを プロビジョニングしない限り、インプロセスのモック runner がバックエンドである。これは 構造的に隔離されているがモックに対してのみ実行されるので、実ターゲットに到達できず、 ライブインフラに対する敵対的プローブを支えることもできない（モジュール XVIII は ランタイムがプロビジョニングされるまで独自の安全なデフォルトを保つ）。これは劣化では なく正直であり — デフォルトのデプロイメントは完全に機能する。
• プロビジョニング済みだが能力不足の場合は fail-closed する。 OS レベルの隔離が 要求され、ホストにそのプリミティブが欠けている場合、エンジンは同じものを配線し、 各 run は fail-closed する — 合成 runner へ黙って降格することも、microVM を偽装 することも決してない。隔離のないホスト上の run は、保護されたものとしてではなく、 隔離されていないものとして記録される。
• scorer が配線されていない ⇒「executed, not scored（実行済み、未スコア）」。 scorer アダプターなしでスイート参照を運ぶ run は、実行済みだが未スコアとして記録される — 決して黙った合格ではない。
• リプレイはギャップについて正直である。 history ソースが順序付きのタイムラインを 再構築できない場合、リプレイはステップゼロで degraded として報告され、捏造されること はない。
• 合成データ生成は存在しない。 これは文書化された post-v1 の拡張ポイントにすぎない。 本モジュールはジェネレーターを同梱せず、そのためのルートを公開せず、サンプルをゼロしか 生成しない。

関連

• モジュール XII — 品質、evals＆テスト — 出力をスコアリングする姉妹。
• モジュールカタログ — XVII の位置づけと Govern/Actuate の区分。
• アーキテクチャ概要 — Intelligence レイヤー。
• Govern and approve — デプロイ前後の判定への対応。
• 正直さと限界 — 製品全体にわたる deny-closed のシーム。