十个判断,先看结论。
FIELD NOTES / 01—1001市场没有全能冠军,选型必须先画「缺口图」
市场至少分成七类玩家:Web 优化套件、企业个性化套件、Feature Flag/交付、现代实验平台、云厂商/边缘原生、开源自建、中国大厂自建/对外输出。每类只覆盖「决策/分流/指标/统计/治理」中的几层。拿一张功能清单横向打勾,是最容易选错的起点。
022023-2026 的关键词是「整合」,而且被收购不等于更安全
Harness 宣布收购 Split(2024-05-29 宣布、06-11 交割)、Datadog 收购 Eppo(2025-05)、OpenAI 以 11 亿美元收购 Statsig(2025-09),随后 Statsig 的产品与客户在 2026-05 转给 Amplitude;VWO 与 AB Tasty 在 2026-09 统一为 Wingify;SiteSpect 并入 Monetate。停服侧,Google Optimize(2023-09-30)与 AWS CloudWatch Evidently(2025-10-17)退出。收购方要的往往是团队与内部能力,不一定是继续经营这个 SaaS。 选型必须评估数据导出、SDK 替换与「控制权变更」条款。
03统计引擎的差异不在「方法名」,而在默认参数与产品化程度
几乎每家都宣称支持频率派、贝叶斯、序贯、CUPED;真正拉开差距的是:默认用哪种方法、是否允许 peeking、多重比较怎么校正、比率/分位数指标怎么算、SRM 能否自动定位、护栏指标是否内置、结果是否可解释。「支持 CUPED」不等于「CUPED 实现正确」,更不等于「业务方看得懂」。
04Warehouse-native 是 2023-2026 最重要的架构分化
Eppo、GrowthBook 把指标计算下推到客户数仓,解决「数据不出域、口径统一、不重复建管道」三个问题;Statsig 等自建事件管道,强调实时与开箱即用。前者适合数据成熟、指标复杂的公司,后者适合追求上线速度、实时性强的团队。没有数仓口径的公司,上 warehouse-native 是空中楼阁。
05Flag 与 Experiment 在融合,但「发布安全」与「因果推断」仍是两种产品
Harness FME、Statsig、Eppo、GrowthBook 把 Flag 与实验放在同一套 SDK/曝光上;LaunchDarkly 转向「Guarded Releases」(按护栏指标自动回滚),但它同时有独立的实验统计引擎(默认频率派,支持贝叶斯/序贯/CUPED/SRM),只是产品定位仍偏发布安全;Cloudflare Flagship 则只做 Flag、不做统计。融合是产品趋势,不是行业标准。 组织上应「同一数据模型、不同权限与流程」,不要把发布事故和实验结论绑在一起。
06中国大厂的强项是「规模 + 业务耦合」,但公开资料严重不足
字节(内部 Libra / 对外火山引擎 DataTester)、阿里(淘天/阿里妈妈/阿里云多条线)、腾讯(业务自建为主)、美团/滴滴/百度(交易与双边市场实验)都有成熟实践,但公开的架构、统计方法、实验数量远少于海外。对外产品与内部平台不能划等号;很多能力只存在于演讲和招聘 JD 中,报告已逐条标注「待核实」。
07开源已能覆盖 60-70% 的标准需求,但「最后一公里」仍要自建
GrowthBook 覆盖实验编排、频率派/贝叶斯、CUPED、SRM、warehouse-native;PostHog 强在「分析 + 实验 + 回放」一体;Unleash/Flagsmith 强在 Flag。但实验治理、超大规模分流、跨端一致性、实时指标、中国私有化仍需自建。GitHub star 严重误导:PostHog 40k star 来自产品分析,FeatureProbe 1.6k star 但已停更两年。
08自建的真实成本不是服务器,而是「统计 + 指标 + 组织」
一个 6-10 人的平台团队,3 年人力成本通常在 1900-3300 万人民币(按 80 万/人年);开源自建(3 人 + 0.5 SRE)约 1350-2000 万,但需要接受统计与治理的二次开发。省钱的不是「不用买软件」,而是「不重复造轮子」。
09采购的核心不是买功能,而是买「可信度 + 退出能力」
实验平台的资产是实验元数据(定义、分层、Holdout、曝光、指标口径、历史结论),不是 UI。合同必须写入:数据导出范围、迁移支持期、控制权变更终止权、SLA(分流 p99、可用性、配置下发延迟)、按曝光/实验计价而非纯 MAU。不能带走的实验记录,等于没有。
10AI 让实验对象从 UI 变成模型,但方法论还没跟上
2025-2026 年厂商都在讲「AI 实验」:LLM Trace/Evals、prompt/模型版本对比、Agent 行为评估。已落地的是「用 AI 辅助写假设/生成变体/解释结果」;真正的新统计问题是「非确定性输出、会话/请求级随机化、延迟与成本护栏、LLM-as-judge 偏差」。目前多数是厂商叙事,缺少公开的方法论与可复现基准。