DMA(Designated Market Area,指定市场区域)测试是衡量营销增量最有力的工具之一。但也特别容易做错。这里是我自己一路踩坑换来的几点。
为什么 DMA 测试重要
不像用户级归因,DMA 测试可以捕捉到:
- 需要几周才显现的品牌效应
- 跨设备转化
- 口碑与社交溢出
- 从认知到购买的完整漏斗
正因如此,我反复回到这个工具,尽管它复杂。
常见陷阱
1. DMA 数量不够
地理实验的统计功效来自地理单元数,不是总用户数。只有 20 个 DMA,你需要极大的效应才能显著。
经验法则:至少 50 个,理想 100+。这会限制你能测的渠道,但弱功效实验比不做还糟。
2. 市场间的溢出
消费者会出差旅行,数字广告跨边界。如果你的”对照”市场被处理组污染,估计就会偏向零。
缓解:设缓冲带、排除边境区域、或显式建模溢出。这件事我已经学会偏执。
3. 忽视季节性
营销效应随季节变化。11 月跑的测试几乎告诉不了你 2 月会怎样。
最佳实践:跑足够长以覆盖至少一个完整周期,或用能容纳季节性的时间序列方法。
更好的打法:合成控制
相比简单的处理 vs. 对照比较,合成控制法用加权组合来构造一个”合成”的控制市场,使其在干预前最贴合处理市场。
它能处理:
- 市场间异质性
- 地区各异的趋势
- 噪声大的结果数据
我在地理测试里用合成控制的效果比朴素 DiD 好得多。
关键收获
- 市场数 > 每市场的用户数
- 从一开始就为溢出做设计
- 预注册能防止 p-hacking
- 合成控制常常胜过简单 DiD
- 上线前务必做功效分析
跳过功效分析,等于提前预定一个”不显著”的结论。