很多开发者把 14 天封闭式测试当成等候室:凑够 12 名测试人员,等两周,然后申请。这种做法往往以申请被拒、再测 14 天告终,因为 Google 的正式版访问权限审核会问测试期间发生了什么,而老实的回答是“什么都没发生”。
更好的做法是把这两周当成一次有截止日期的小型 Beta 测试。本计划把测试分成几个阶段,每个阶段只有几项具体任务。前提是你已经了解 12 名测试人员、14 天要求 的基本规则;如果封闭式测试轨道还没建好,请先看 如何在 Play Console 中设置封闭式测试。
计划总览
| 时间 | 重点 | 主要任务 |
|---|---|---|
| 第 1 天之前 | 准备 | 完成应用设置任务、封闭式测试轨道、国家/地区、找好测试人员、版本通过审核 |
| 第 1–3 天 | 稳定 | 确认至少 12 人已选择加入,检查安装情况,留意崩溃 |
| 第 4–7 天 | 倾听 | 收集反馈,修复最严重的问题,发布第一次更新 |
| 第 8–11 天 | 改进 | 第二轮修复和打磨,保持人数在 12 人以上 |
| 第 12–14 天 | 准备申请 | 起草正式版访问权限申请的回答,做最后检查 |
| 第 15 天起 | 申请 | 信息中心显示满 14 天后提交申请 |
第 1 天之前:把一切准备好
计时并不是从你创建封闭式测试轨道时开始的,而是从至少 12 名测试人员选择加入之后才开始。利用开测前的时间,把所有障碍都清除掉:
- 完成 Play Console 中的应用设置任务:隐私权政策、应用访问权限、广告、内容分级、目标受众群体、数据安全和商品详情。
- 创建封闭式测试轨道,并选中测试人员所在的每一个国家/地区。
- 准备至少 15 名测试人员,而不是刚好 12 名,可以用 Google Groups 群组或电子邮件列表来管理。如果人手不够,请看 去哪里找 12 名测试人员。
- 上传版本并提交审核。 只有 Google 批准了封闭式测试版本之后,测试链接才对测试人员有效,审核可能需要几个小时到几天不等。
- 提前写好给测试人员的说明,让他们一次就能加入成功。我们写了 一份可以直接复制的版本。
- 建立一份测试日志:一个简单的文档,用来记录日期、测试人数、Bug 和改动。
第 1–3 天:确认测试真的在进行
前三天决定了剩下的十一天算不算数。查看 Play Console 信息中心里的正式版访问权限清单,确认显示的已选择加入的测试人员至少有 12 名。如果显示的人数比说自己已加入的人少,现在就查清原因;常见原因见 Play Console 为什么不统计你的测试人员。
- 确认安装。 选择加入不等于已安装。请测试人员在手机装好应用后告诉你一声。
- 留意崩溃。 打开 Play Console 中的 Android vitals 和预发布报告;只在某一款机型上启动就崩溃的情况很常见,用自己的手机很容易发现不了。
- 在日志里记下起点:人数达到 12 人的日期,以及你一共有多少名测试人员。
第 4–7 天:倾听反馈,发布第一次更新
到这时,测试人员已经用过几次应用,也有了自己的看法。给每个人提一个具体的问题,比如注册流程清不清楚、哪个页面让他们困惑。具体的问题能得到回答;“有什么反馈吗?”只会换来沉默。
- 把反馈分类:崩溃、流程走不通、改进建议。
- 先修复崩溃和走不通的流程,然后向封闭式测试轨道发布新版本。
- 写好版本说明,写清改了什么、为什么改。日后它们就是你根据测试做出改进的证据。
- 第 7 天检查点:测试人数还在 12 人以上吗?如果掉下去了,今天就补招新人,别拖到第 13 天。
第 8–11 天:持续改进,保持热度
第二周往往是参与度下滑的时候。给测试人员发一条简短消息,说说你修复了什么,再请他们试一个新功能,让测试保持活跃。然后根据反馈做第二轮规模较小的改进:文案、某些屏幕尺寸上的小排版问题、缺失的空状态、加载慢的页面。
继续每一两天检查一次测试人数。这项要求看的是 最近连续 14 天,所以第 10 天掉人和第 2 天掉人同样要紧。
第 12–14 天:准备申请材料
不要等到第 14 天才开始写。根据测试日志,为正式版访问权限申请表的三个部分起草回答:你的封闭式测试、你的应用、你的正式版发布准备情况。好的回答是具体的:你如何招募测试人员,覆盖了多少台设备和哪些 Android 版本,发现并修复了哪些 Bug,第一个版本和最后一个版本之间有什么变化。
我们的 如何回答正式版访问权限申请问题 逐题做了详细说明。同时检查商品详情、屏幕截图和数据安全表单是否与当前的应用一致,因为这个版本会面向所有人发布。
第 15 天起:申请正式版访问权限
只有在信息中心确认该要求已满足 14 天后再申请;提前申请是不可能的,而自己数天数很容易差一天。在得到结果之前,让测试人员保持选择加入状态。Google 表示通常会在大约 7 天内审核完申请。
如果申请被拒,Google 会要求你继续测试后再申请。开始下一轮之前,请先阅读 正式版访问权限被拒的原因及解决方法。
如果你不想自己管理测试人员
这份计划里很大一部分是在管理测试人员:招募、确认、提醒和替换。TesterBie 可以帮你把这部分接过去。我们的真实 Android 手机各自登录独立的 Google 账号,会在 24 小时内加入你的封闭式测试,从 Google Play 安装应用,并在完整的 14 天里每天使用,另有备用手机确保人数始终在 12 人以上。发现的 Bug 会附上截图通过电子邮件发给你,为你的更新和申请提供素材。套餐价格:每个应用 13 名测试人员 14.99 美元、15 名测试人员 19.99 美元或 20 名测试人员 29.99 美元。查看套餐 或 开始测试,获取你的 Google Play 12 名测试人员。
常见问题
14 天到底从什么时候开始算?
从至少 12 名测试人员选择加入你的封闭式测试时开始。创建轨道或上传版本都不会开始计时,而且版本必须先通过 Google 审核,测试人员才能选择加入。
测试期间发布更新会让 14 天重新计算吗?
不会。向同一个封闭式测试轨道发布新版本时,测试人员会保持选择加入状态。只要测试人数保持在 12 人或以上,测试期间发布更新对 Google 来说是个好信号。
可以在第 14 天申请正式版访问权限吗?
等 Play Console 信息中心显示该要求已满足 14 天后再申请。到那时申请入口才会开放;自己数天数很容易出错。
提交申请后,测试人员还需要保持选择加入吗?
需要。在 Google 做出决定之前,请让封闭式测试继续进行,测试人员保持选择加入,以防审核会查看近期的活跃情况,或者要求你继续测试。