Olivares AI と LLM ゲートウェイ・オブザーバビリティの比較（LiteLLM、Langfuse）
よくある、理にかなったセルフホスト型スタックは、LLM ゲートウェイ（たとえば LiteLLM）とLLM オブザーバビリティプラットフォーム（たとえば Langfuse）を 組み合わせます。これをお持ちなら、そもそもコントロールプレーンが必要なのかと 当然問うかもしれません。このページはそれに誠実に答えます——答えがノーである ケースも含めて。
そのスタックが得意とすること（これにはそれを使う）
Section titled “そのスタックが得意とすること（これにはそれを使う）”- LiteLLM — 多数のプロバイダーの前に立つ、統一された OpenAI 互換のゲートウェイ： ルーティング、フォールバック、リトライ、仮想キー、キーごとの予算とレート制限、 そして通過するモデル呼び出しのコスト計上。
- Langfuse — LLM エンジニアリングとオブザーバビリティ：リクエスト／レスポンスの トレース、プロンプトの管理とバージョニング、評価、データセット、そしてチェーンを デバッグするための開発者向け UI。
問題が*「アプリの LLM 呼び出しを計装し、プロンプトをデバッグし、単一のエンドポイント からモデルアクセスを管理する」*ことなら、このスタックは優れていてセルフホスト可能です。 それを行うのにコントロールプレーンは必要ありませんし、私たちもそうであるかのように 装いません。
Olivares AI が構造的に異なる点
Section titled “Olivares AI が構造的に異なる点”| 観点 | LLM ゲートウェイ + オブザーバビリティ | Olivares AI |
|---|---|---|
| 関心の単位 | モデル呼び出し（prompt → completion） | エージェントと、それが読み書きするすべてのリソース——DB、オブジェクトストア、MCP、ツール、ファイル |
| 観測点 | リクエストパス内（プロキシ/SDK）；アプリが送るものを見る | 帯域外、read-first；テレメトリ、ネイティブ監査、カーネルのバックストップを観測する——データパスに入ることは決してない |
| 真実の源 | アプリ/プロキシが報告するもの | 自己申告のテレメトリをシステム自身の台帳と突き合わせて裏付けるもの——pgAudit（読み取り対書き込み）、CloudTrail（オブジェクトアクセス）、eBPF バックストップ |
| 核心の問い | 「このプロンプトは何をして、いくらかかったか？」 | 「このエージェントは誰も付与していないアクセスを使っているか？」——Permitted-vs-Observed ドリフト |
| エンフォースメント | ゲートウェイはモデル呼び出しをゲートできる（キー、予算） | アクションとリソースアクセスに対する deny-closed のゲート：承認、Claude Code フック PEP、MCP ツールゲーティング、キルスイッチ |
| 監査の成果物 | デバッグ用のトレース／ログ | 追記専用、ハッシュチェーン、Ed25519 署名付き台帳、ボックス外で検証可能、OSCAL 証跡パッケージとしてエクスポート可能 |
| デプロイのポスチャ | セルフホスト可能 | セルフホストまたはエアギャップ；データプレーンが境界の外に出ることはない；AGPL、ソース提供 |
決定的な違いはグラウンドトゥルースです。オブザーバビリティのトレースは、 アプリケーションが何をしたと言ったかを教えてくれます。エージェントが、トレースに 一度も現れなかったテーブルに到達したことは教えてくれません。Olivares AI は協調的な シグナルをデータプレーンと突き合わせて検証するので、「エージェントが何に触れたか」は 自己申告ではなく裏付けの取れた事実になります。なぜそれが私たちの 3 つのレーンの最初に 来るのかは、アナリストの語彙を 参照してください。
「or」ではなく「and」——私たちはあなたのテレメトリを取り込む
Section titled “「or」ではなく「and」——私たちはあなたのテレメトリを取り込む”Olivares AI はあなたのゲートウェイやトレーシングツールの代替ではなく、それらが 占めるリクエストパスに入りたいとも思っていません。私たちは同じシグナルを消費します。 コントロールプレーンは OpenTelemetry GenAI のセマンティック規約のスパンを取り込みます。 これらのツールが発し、消費するのと同じ gen-ai テレメトリです。したがって、健全な 構成は次のとおりです。
- LiteLLM をモデルゲートウェイとして、Langfuse を開発者向けのトレーシングと プロンプト作業に使い続けます。
- OTel gen-ai ストリームを、裏付けソースの 1 つとして Olivares AI に向け、その上で アクセスマップ、ドリフト検出、台帳が estate 全体のガバナンスレイヤーを担うようにします。
→ OpenTelemetry GenAI を取り込む · Claude Code 向けエンタープライズ OTel
Olivares AI を選ぶべきでない場合
Section titled “Olivares AI を選ぶべきでない場合”誠実さは双方向に働きます。次の場合、このコントロールプレーンはおそらく不要です。
- 唯一の目的が、1 つか 2 つのアプリで LLM 呼び出しをトレースしデバッグすることと、 プロンプトプレイグラウンドである——その場合は Langfuse 単体のほうが適しています。
- 予算とフェイルオーバーを備えたマルチプロバイダーゲートウェイが必要なだけ—— それは LiteLLM の仕事であり、私たちはそのパターンを再実装せず統合します。
- ガバナンスすべき estate がない：単一のサービス、単一のモデル、データベース／ オブジェクトストア／MCP に触れるエージェントがなく、監査や規制上の義務もない。
Olivares AI がその価値を発揮するのは、問いが*estate 全体かつ敵対的（adversarial）*に なるときです。どのエージェントが存在するか、それぞれが実際に何に到達できるか、 アクセスはどこでポリシーから逸脱しているか、それを監査人に証明できるか、悪意ある アクションを deny-closed で止められるか——しかもその全体像を他者のクラウドに送る ことなく。