エージェント評価基盤の主要3ツールを機能別に比較。2026年8月時点の公開情報にもとづく。
3つとも「エージェントの実行を記録し、閲覧し、評価する」という同じ領域の製品ですが、出自が違うため得意分野が分かれています。
| Arize Phoenix | LangSmith | Langfuse | |
|---|---|---|---|
| 提供元 | Arize AI | LangChain | Langfuse 2026年1月にClickHouseが買収 |
| 出自・設計思想 | 評価が起点。RAG品質の評価テンプレートを備え、開発時はJupyterで回し本番トレースを還流させる | LangChain/LangGraphの開発体験の延長。プロンプト反復と実験管理が中核 | フレームワーク非依存の記録基盤。OpenTelemetryをネイティブに採用 |
| 一言でいうと | 手元で始める評価特化 | LangChain前提の統合開発環境 | 自己ホストできる記録基盤 |
3ツールともOpenTelemetry(OTLP)でトレースを受け取れます。「LangSmithだけ別の規格」ということはありません。ただしspan構造は共通でも、属性の命名規約(semantic conventions)は各社で方言があります。
| Phoenix | LangSmith | Langfuse | |
|---|---|---|---|
| OTLP受信 | 対応 | 対応 APIがOTLPを直接受け付ける(JSON/Protobuf) |
対応 OTelネイティブ設計 |
| 主に使う属性規約 | OpenInference (Arize系) |
OpenLLMetry (Traceloop系) |
OTel準拠 複数規約を受け入れ |
OTel公式GenAI規約gen_ai.* |
2026年時点で実験的ステータス(1.0未達)。各社とも安定化後の対応を表明。移行期は OTEL_SEMCONV_STABILITY_OPT_IN で新旧併記が可能 |
||
◎ 中核機能 / ○ あり / — なし・限定的
| 機能 | Phoenix | LangSmith | Langfuse |
|---|---|---|---|
| トレース閲覧 span単位の木構造表示 |
◎ | ◎ | ◎ |
| 評価テンプレート RAG品質・毒性・根拠性など |
◎ 豊富。設計の中心 | ○ | ○ LLM-as-judge・コード評価器 |
| データセット管理 ゴールド事例の蓄積 |
○ | ◎ | ◎ |
| 実験の比較 プロンプト変更前後の差分 |
○ | ◎ 日常的な反復に最適化 | ○ |
| プロンプト管理 版管理・本番配信 |
— | ◎ | ◎ |
| 人手アノテーション 本番出力へのラベル付け |
○ | ◎ | ◎ |
| 本番トラフィックの監視 オンライン評価・警報 |
○ | ◎ | ◎ |
| Jupyterでの開発利用 | ◎ ノートブックが主戦場 | ○ | ○ |
| フレームワーク非依存 | ◎ | ○ LangChain系で本領 | ◎ |
| Phoenix | LangSmith | Langfuse | |
|---|---|---|---|
| ライセンス | オープンソース | 商用(SDKのみOSS。バックエンド・UI・保存層は非公開) | コアはMIT |
| 自己ホスト | 容易 単一サービス。pip または コンテナで起動 |
限定的 | 本格運用可 Postgres+ClickHouse+Redis+S3。利用量・座席の制限なし |
| 無料枠 | 自己ホストは無料 | 無料枠あり | 月5万ユニットまで無料 |
| 有料プラン 2026年時点の公開価格 |
商用版はArize AXへ | 座席あたり課金(〜$39/人) | Core $29/月、Pro $199/月 超過は10万ユニットあたり$8 |
| 大規模時の費用感 月100万イベントの試算例 |
自己ホストなら基盤費のみ | 約$2,514/月 | 約$101/月 |
| 認証・コンプライアンス | 自己ホスト時は自社管理 | 商用SaaS相当 | SOC 2 Type II / ISO 27001 / GDPR (Pro以上で報告書提供) |
価格は変動するため、採用検討時は各社の公式ページで再確認すること。
アカウント登録なしにローカルで起動でき、評価テンプレートが揃っている。小規模な立ち上げでは最も摩擦が少ない。プロンプト管理などの製品機能は薄いので、開発ライフサイクル全体を載せる用途には向かない。
実行フレームワークがLangChain系なら統合の手間が最小で、プロンプトの日常的な反復・実験比較の体験が最も洗練されている。反面、バックエンドが非公開で自己ホストは限定的、大規模時の費用も高くなりやすい。
コアがMITで、利用量や座席の制限なく本格的に自己ホストできる。OTelネイティブでフレームワークを選ばず、単価も明快。大規模になるほど費用面の優位が出る。運用する基盤(Postgres/ClickHouse/Redis/S3)を自分で持つ覚悟は要る。
本プロジェクトでは、これらの製品が提供する機能の一部を手書きで実装しています。対応関係を並べると、製品が何を肩代わりしてくれるのかが見えます。
| 本プロジェクトの実装 | 製品での相当機能 |
|---|---|
agent.py のspan記録 | 各ツールのSDK/自動計装 |
| JSON Linesの記録＋Phoenix表示 | トレース閲覧(3ツールとも中核機能) |
stage0/questions.json(ゴールド15問) | データセット管理 |
grader.py＋run_eval.py | 評価器・スコア記録 |
scoreboard.py | ダッシュボード |
stage5/judge_calibration.py | アノテーション＋judge較正(製品側も発展途上の領域) |
stage3/ci_check.py | CI連携 |
自作した理由は、製品を使わずに済ませるためではなく骨組みを理解するためです。一度自分で組んでから製品を触ると、どこが製品化されていて、どこが自分で設計すべき部分(評価器の中身・しきい値・較正セット)なのかが切り分けられます。後者は製品を導入しても消えません。