pm-abtest

Solid

Use when: 需要验证产品优化效果、进行数据驱动的A/B实验决策、评估功能改动的因果影响 Do NOT use when: 改动无法量化测量、样本量不足、不需要严格统计验证

Testing & QA 69 stars 8 forks Updated 2 days ago MIT

Install

View on GitHub

Quality Score: 87/100

Stars 20%
61
Recency 20%
100
Frontmatter 20%
70
Documentation 15%
100
Issue Health 10%
80
License 10%
100
Description 5%
100

Skill Content

## Preamble ```bash echo "🧪 A/B测试工具已启动" # 检查数据指标体系 if [ -f "docs/02-方案设计/数据指标体系.md" ]; then echo "✅ 数据指标体系 - 已找到" else echo "⏳ 数据指标体系 - 未找到" fi ``` --- ## 写入时边界 只讨论时不写文件,启动检查不创建目录。用户要求保存产物时,先确认当前产品、精确输出路径及已有文件的覆盖/追加选择;确认后**仅在实际 Write 前**创建该输出文件的父目录。完整安装可参见 `skills/_shared/artifact-policy.md`,单独安装本 skill 也按本段执行。 --- ## 跨 Agent 交互规则 当流程要求与用户交互时: 1. 如果当前环境支持 AskUserQuestion,使用 AskUserQuestion(最佳体验)。 2. 如果当前环境不支持 AskUserQuestion,必须用普通聊天消息提出同样问题。 3. 一次只问一个问题。 4. 提问后必须停止当前回合,等待用户回答(STOP and WAIT)。 5. 不得在用户回答前生成文档、写入 docs。 6. 已有 docs 文件不能替代本轮用户回答。 --- ## 执行流程 ### 步骤 1: 定义测试假设 使用 AskUserQuestion 询问: > 🎯 A/B测试假设设定 > > A/B测试需要明确的假设。请描述: > > **测试背景**:为什么要进行这次测试? > *示例:注册转化率低于行业平均水平(2% vs 行业5%)* > > **测试假设**:如果{改变什么},那么{预期结果},因为{原因}。 > *示例:如果将注册按钮从页面底部移到顶部,那么注册转化率将提升20%,因为用户更容易看到按钮。* > > 请描述您的测试假设: 记录到变量 `TEST_HYPOTHESIS` --- ### 步骤 2: 设计实验方案 > 🔬 实验方案设计 > > **实验变量**: > - 对照组(Control):当前版本(现状) > - 实验组(Treatment):{改动描述} > > **关键指标**: > - 核心指标(Primary):{指标名称} - 直接影响业务结果 > - 辅助指标(Secondary):{指标名称} - 帮助理解变化原因 > - 护栏指标(Guardrail):{指标名称} - 确保不损害用户体验 > > **示例(注册按钮测试)**: > - 核心指标:注册转化率 > - 辅助指标:点击率、页面停留时长 > - 护栏指标:页面跳出率、用户满意度 > > 请确认关键指标: > > A) 指标合理,继续下一步 > B) 需要调整核心指标 > C) 需要补充辅助指标 --- ### 步骤 3: 样本量计算 > 📊 样本量计算 > > 需要的参数: > > | 参数 | 说明 | 输入 | > |------|------|------| > | 基准转化率 | 对照组当前指标值 | [X]% | > | 最小可检测提升 | 期望的最小提升幅度 | [X]% | > | 显著性水平(α) | 通常设为5%(0.05) | 0.05 | > | 统计功效(1-β) | 通常设为80%(0.8) | 0.8 | > > **估算结果**: > > - 所需样本量(每组):约[X]个用户 > - 总样本量:约[X]个用户 > - 预估测试周...

Details

Author
konglong87
Repository
konglong87/superPM
Created
6 months ago
Last Updated
2 days ago
Language
JavaScript
License
MIT

Bundled in these plugins

Similar Skills

Semantically similar based on skill content — not just same category

Web & Frontend Listed

pm-experiment-designer

A/B 实验设计 Skill。从实验目标出发,输出完整的实验方案(假设、分组、指标体系、样本量估算、止损规则、判定规则)。 触发条件:用户提到"A/B 测试"、"AB 实验"、"实验设计"、"对照实验"、"分流实验"、"灰度方案"、"实验方案"、"样本量计算"、"显著性检验"、"实验评估"、"p值"、"置信区间"、"MDE"、"统计功效"、"实验周期"、"止损规则"等关键词。 也适用于:用户提供了实验目标/可改动点/数据量级/周期限制要求产出实验方案;用户要求评估现有实验设计是否合理;用户要求制定实验判定标准和决策规则。 典型输入:实验目标 + 可改动点 + 当前数据量级 + 可接受实验周期。 不适用于:纯数据分析(用 pm-analytics)、纯埋点设计(用 tracking-spec-writer)、纯PRD写作(用 pm-prd-writer)。

2 Updated 4 days ago
iDWong
Testing & QA Featured

ab-testing

When the user wants to plan, design, or implement an A/B test or experiment, or build a growth experimentation program.

46,937 Updated today
sickn33
Testing & QA Featured

ab-testing

When the user wants to plan, design, or implement an A/B test or experiment, or build a growth experimentation program. Also use when the user mentions "A/B test," "split test," "experiment," "test this change," "variant copy," "multivariate test," "hypothesis," "should I test this,"...

288 Updated 2 months ago
lingxling