Skip to content
Geo Experiments · 2025年5月20日 · 约 2 分钟

关于 DMA 测试的一些想法

设计真正能用的地理实验:从一线 DMA 测试经验里学到的事。

DMA(Designated Market Area,指定市场区域)测试是衡量营销增量最有力的工具之一。但也特别容易做错。这里是我自己一路踩坑换来的几点。

为什么 DMA 测试重要

不像用户级归因,DMA 测试可以捕捉到:

  • 需要几周才显现的品牌效应
  • 跨设备转化
  • 口碑与社交溢出
  • 从认知到购买的完整漏斗

正因如此,我反复回到这个工具,尽管它复杂。

常见陷阱

1. DMA 数量不够

地理实验的统计功效来自地理单元数,不是总用户数。只有 20 个 DMA,你需要极大的效应才能显著。

经验法则:至少 50 个,理想 100+。这会限制你能测的渠道,但弱功效实验比不做还糟。

2. 市场间的溢出

消费者会出差旅行,数字广告跨边界。如果你的”对照”市场被处理组污染,估计就会偏向零。

缓解:设缓冲带、排除边境区域、或显式建模溢出。这件事我已经学会偏执。

3. 忽视季节性

营销效应随季节变化。11 月跑的测试几乎告诉不了你 2 月会怎样。

最佳实践:跑足够长以覆盖至少一个完整周期,或用能容纳季节性的时间序列方法。

更好的打法:合成控制

相比简单的处理 vs. 对照比较,合成控制法用加权组合来构造一个”合成”的控制市场,使其在干预前最贴合处理市场。

它能处理:

  • 市场间异质性
  • 地区各异的趋势
  • 噪声大的结果数据

我在地理测试里用合成控制的效果比朴素 DiD 好得多。

关键收获

  1. 市场数 > 每市场的用户数
  2. 从一开始就为溢出做设计
  3. 预注册能防止 p-hacking
  4. 合成控制常常胜过简单 DiD
  5. 上线前务必做功效分析

跳过功效分析,等于提前预定一个”不显著”的结论。