下载研究报告
CHAPTER 09 · SELECTION

综合对比与选型建议

没有全能冠军,只有匹配。先画缺口,再谈选型;先算三年 TCO,再谈功能清单。

2,393 字 5 分钟 综合判断

9.1 一张纸看完全局:七类玩家与 2026 年的所有权变化#

先看「今天谁还是独立公司」。2023-2026 年的整合,已经让很多熟悉的名字换了主人:

原品牌 2026 年状态 关键变化 对买家的含义
Optimizely 独立(Insight/Episerver 系) 2024 收购 NetSpring 补产品分析 DXP 打包,实验是其中一个模块
VWO + AB Tasty Wingify 2025 Everstone 控股 VWO;2026-09 与 AB Tasty 合并为 Wingify 两套引擎合并期,路线图与续费条款要盯紧
Split Harness FME 2024-05-29 宣布、2024-06-11 交割 从轻量工具变成交付平台的一部分
Statsig Amplitude 旗下 2025-09 OpenAI 以 11 亿美元收购;2026-05 产品/客户转给 Amplitude 「被巨头收购」不等于产品更稳,客户可能被剥离
Eppo Datadog 旗下 2025-05 被 Datadog 收购 与 Product Analytics/APM 整合,独立路线图减弱
SiteSpect Monetate 旗下 2025 被 Monetate 收购 服务端测试能力并入个性化套件
LaunchDarkly 独立 2025 收购 Highlight,转向 Guarded Releases Flag 强;实验模块有独立统计引擎(默认频率派,支持贝叶斯/序贯/CUPED/SRM),但定位仍偏「发布安全」
Cloudflare Flagship Cloudflare 2026-05 public beta 边缘 Flag,不是实验平台
AWS Evidently 已停服 2024-10 公告,2025-10-17 终止 云厂商原生实验的失败样本;AppConfig 2026-06 补实验编排,但不做统计推断
Google Optimize 已停服 2023-09-30 Web 优化时代结束,流量转向第三方

这张表本身就是选型的第一条建议:把「供应商未来 3 年是否还独立运营这个产品」纳入评分。具体日期与来源见第 1 章与第 8 章。

9.2 五条路线:没有全能冠军,只有匹配#

路线 代表 最适合 3 年 TCO 量级(DAU 1000 万,本报告测算) 主要风险
A. 一体化 SaaS Amplitude Experiment(含 Statsig)、Optimizely、Wingify 想 1-3 个月上线、数据团队不强、预算充足 1500-4300 万人民币 数据出域、按量计费失控、供应商并购
B. Warehouse-native SaaS Eppo by Datadog、GrowthBook Cloud 有数仓、指标口径复杂、要求严谨统计 1000-3000 万人民币 数据延迟、数仓成本、供应商锁定
C. 开源自建 GrowthBook、PostHog、Unleash/Flagsmith 有平台团队、强合规/私有化、愿意二次开发 1350-2000 万人民币(含 3 人团队 + 0.5 SRE) 统计/治理缺口、升级与安全运维
D. Flag 为主 + 补统计 Unleash/Flagsmith + 数仓统计;LaunchDarkly/Harness FME 可原生做实验 已有 Flag 体系、实验量不大、想渐进建设 900-1700 万人民币 纯 Flag 平台缺统计;两套系统口径不一致
E. 纯自研 字节/阿里/美团模式 超大规模、实验是核心竞争力、有稳定平台团队 1900-3300 万人民币(6-10 人团队) 周期长、统计人才稀缺、组织推广难

关键判断:

  1. A 路线适合「买时间」,不适合「买可信度」。一体化 SaaS 的统计默认值通常够用,但当你需要自定义指标、分层正交、跨业务互斥、Holdout 时,会碰到产品边界。
  2. B 路线是 2023-2026 年最重要的架构分化。它把「指标计算」留在数仓,把「实验编排 + 统计」放在平台。对已有数仓的公司,这是长期口径一致性最好的路线;代价是实时性(通常 T+15min 到 T+1)和数仓工程能力。
  3. C 路线的真实成本被严重低估。GrowthBook 能覆盖 60-70% 的标准需求,但「实验治理、超大规模分流、跨端一致性、实时指标」仍要自建;3 年人力成本通常是软件订阅费的 3-5 倍。
  4. D 路线是最被低估的务实方案。如果公司已经有 LaunchDarkly/Split,没必要推翻重来——它们已有实验与统计模块,补「曝光落数仓 + 统一指标 + 实验治理」即可;如果只有 Unleash/Flagsmith 这类纯 Flag 平台,则还要补统计服务与实验管理 UI。缺点是两套系统的实验生命周期不统一。
  5. E 路线只适合「实验是核心产品能力」的公司。纯自研的失败通常不是技术,而是「统计团队留不住、业务不信任、平台变成报表工具」。

9.3 加权 scorecard:把「感觉」变成「可辩论的数字」#

以下权重针对「DAU 千万级、多业务线、已有数仓」的互联网公司。不同公司应调整权重,但不要删掉「供应商稳定性」和「退出成本」。

维度 权重 评分要点 常见误判
统计可信度 20% 频率派/贝叶斯/序贯是否可选;CUPED、SRM、多重比较、比率指标、护栏是否产品化;文档是否给公式 只看「支持 CUPED」四个字,不看默认参数与边界
规模与性能 15% 分流 QPS、p99、配置下发延迟、多区域、降级策略、SDK 覆盖 用 POC 的 1 万 QPS 推断生产 10 万 QPS
数据架构 15% 是否支持曝光落数仓、warehouse-native、实时/批处理、指标口径治理 忽略「平台指标」与「数仓指标」的双口径
实验治理 10% 分层/互斥、Holdout、审批、RBAC、审计、生命周期、实验冻结 把「能建实验」当成「能治理实验」
Feature Flag/发布 10% Flag 生命周期、渐进发布、目标人群、自动回滚、OpenFeature 把 Flag 平台当实验平台买
集成与生态 10% 数仓、CDP、埋点、BI、OpenFeature、SDK 语言 忽略「换供应商时 SDK 替换成本」
总成本 10% 订阅/按量/私有化/人力/数仓查询成本 只算 license,不算数仓扫描与人力
供应商稳定性与退出 5% 所有权、融资、并购史、数据导出、escrow、迁移支持 假设「大厂不会停服」
中国合规/私有化 5% 数据出境、等保、信创、私有化、国内网络 把「海外 SaaS 能用」当成「能合规」

用法:每个候选打 1-5 分,加权求和;但真正的价值不在总分,而在分歧点——如果业务、数据、安全三方对同一维度的打分差异超过 2 分,说明需求没对齐,先开会,不要选型。

9.4 决策树:从「约束」出发,而不是从「功能」出发#

图 3 · 自建 / 采购 / 开源的选型决策树

这张树的三个分支点,对应三个真问题:

  1. 数据能不能出去:不能出去,就别评估海外 SaaS 的统计能力,先看私有化/开源自建。
  2. 有没有数仓口径:没有,warehouse-native 是空中楼阁;先补指标平台。
  3. 实验量级与治理复杂度:月实验 <100、无跨业务互斥,SaaS/开源足够;>100 或多业务,治理层必须自建。

9.5 供应商 shortlist:按场景,不按排名#

场景 首选 备选 不建议
3 个月上线、增长团队主导 Amplitude Experiment(含 Statsig) Optimizely、Wingify 纯自研
有数仓、要严谨统计 Eppo by Datadog、GrowthBook Cloud 自建 + GrowthBook 纯 Web 优化套件
强合规/私有化/中国网络 GrowthBook 自托管、火山引擎 DataTester 自研、PostHog 自托管 海外 SaaS
已有 Flag、只想补实验 Harness FME、LaunchDarkly(原生实验统计) Unleash/Flagsmith + 自建统计 推翻 Flag 重来
超大规模、实验是核心竞争力 自研 + 开源组件 字节 DataTester 私有化 纯 SaaS
搜索/推荐排序 Interleaving 自研 专业排序实验平台 通用 A/B 平台

谈判要点(适用于任何 SaaS):

  • 按「曝光量/实验数」而不是「MAU」计价,避免为不参与实验的用户付费。
  • 写入「控制权变更」条款:被收购/停服时,有权终止并按比例退款,供应商需提供 6-12 个月迁移支持。
  • 数据导出必须包含:实验配置、分流规则、曝光明细、指标定义、历史结论;不是只导出 CSV 报表。
  • POC 必须用真实业务指标,至少跑一个 AA test、一个 SRM 注入测试、一个比率指标实验;不要只看 demo。
  • SLA 要写清:分流服务可用性、p99 延迟、配置下发延迟、故障赔付;不要接受「99.9% 月可用」这种模糊表述。

9.6 中国企业的五个特殊考量#

  1. 数据出境:海外 SaaS 的「warehouse-native」通常仍需要把指标/曝光元数据传到境外做统计;如果数据不能出境,优先私有化或国内云。
  2. 私有化的真实成本:不是「装一个软件」,而是「一套需要持续升级、监控、备份、安全补丁的分布式系统」;至少预留 2-3 名运维/平台工程师。
  3. 国内网络与 SDK:海外 SDK 的 CDN、DNS、证书在國內可能不稳定;分流服务不可用时的 fail-open 策略必须提前设计。
  4. 等保/信创:国企/金融客户常要求等保三级、信创适配;开源方案要评估国产数据库/中间件兼容性。
  5. 组织现实:国内很多公司的「实验平台」由数据团队主导,但流量与发布权限在工程团队;选型时必须让双方共同签字,否则上线后没人维护。

本章结论:对 DAU 千万级、已有数仓的公司,最务实的路线不是「买一个全能平台」,而是 「自建分流与治理 + 采购/复用 warehouse-native 统计 + 用 OpenFeature 解耦 SDK」。这条路线 3 年 TCO 通常在 1000-2000 万人民币,比纯自研低 50% 以上,比纯 SaaS 更可控。

NOTE本页内容来自《AB 测试平台全网竞品与方案调研》2026-10 版。价格、融资与产品状态以文中标注日期为准;采购前请以供应商最新报价与合同为准。