本篇将介绍如何有序组织体验评估，并将详细讲解本次 QMD 升级的要点、难点是如何落地执行的。
上期回顾：
设计师如何做好体验量化？收下大厂的QMD评测机制（机制篇) 秉承 58 同城“用户第一”的核心价值观，设计团队建立以基础体验指标为评估标准、发掘体验问题的评估机制，并借助内外部业务专家视角，对 58 同城各产品的重点场景进行评估，优化业务场景，从而提升各业务线的体验，而这一套评测机制就是 QMD。
阅读文章 >
我们选用质量管理工具 PDCA 来组织体验评估，做体验管理。以季度为评估周期，一个季度完成一次 PDCA 循环后，我们持续迭代评估体系，从而更好的完成下一个周期的体验评估。
一、策划 策划的主要内容就是大家很熟悉的 5W1H 了。
1. 评估目标-Why
如第一篇文章所述，新的体验评估机制，评估目标从单一的提升体验质量，调整成契合业务目标的体验质量。
参与体验评估，业务设计师的预期有：
提升产品使用体验； 提升业务核心指标。 QMD 项目组需要兼顾参与评估业务的预期，目标有：
采用可靠的评估机制，度量契合业务目标的体验，发掘影响业务目标的体验问题，确保评估结果可信、可靠并易感知； 确保按照规划周期性做体验评估、同步结论、跟进优化； 验证各个参评业务的评估指标、评估机制的可靠性。 2. 相关人员-Who
想要按照以上预期高质量的完成体验评估，离不开组织架构的支持。58UXD 设立了由交互设计师和用研工程师组成的体验管理组。由体验管理组来组织全部业务的体验考核、体验评估、体验展示、体验跟进等一系列横向体验管理项目。QMD 作为体验管理的重要工具，由体验管理组中的 QMD 项目组来牵头策划完成。有同学对 58UXD 其他体验管理工具感兴趣的话，可以在评论区留言。
明确了组织方及其职责，根据新的评估机制，还需要每个业务 6 名评估专家（2 名产品、2 名交互、2 名视觉）。QMD 项目组采取了参评业务产品、交互、视觉交叉互评的方式，由第二篇文章介绍的评分者信度保障结果的可靠性。
在新的体验评估机制下，有很多 QMD 项目组和业务 设计师 需要沟通协作的节点。为了高效运行评估机制，QMD 项目组在各个参评业务都明确了一位 QMD 对接人。
各个角色的职责明确如下：
3. 评估业务-What
新的体验评估机制对参评业务也有了新的要求。出于可行性和投入产出比的考虑，我们根据以下 4 点，深入了解各个业务的情况，做出研判，最终确定了参评业务。
当前阶段业务对于体验的重视程度如何； 业务是否有明确的、可持续监控的目标； 业务迭代的频率如何； 业务是否已达到一定用户规模。 4. 时间规划-When
如前所述，新的体验评估机制关键节点多，时间跨度长，需要周密的规划和严谨的时间管理。
QMD 项目组是以季度为单位做周期性体验评估的，所以在季度初就会做好整个季度的规划，并严格执行。同时采用周报制来及时处理意外事件，保障项目准时完成。
另外值得提一下评估场次时间的确定，除了视评估专家的时间安排外，也需要考虑线上测评的版本是否符合业务预期，晚几天可能就到了发版时间，是否需要评估最新版，需要综合情况和业务协商。同时也要求 QMD 项目组在规划之初，就要留好类似这种情况的 buffer。
5. 评估地点-Where
确定好评估时间，就可以提前约会议室了。
然而我们在 2022 年的 Q2 和 Q4，遇到了两次因疫情大量同事远程办公的情况。如此我们需要保证线上评估或者部分同学线上评估的结果可靠性。原理如第二篇文章所述，需要保障人员可靠性、认知一致性，标准化实施方案。
6. 怎么评估-How
给到专家评估，我们需要至少准备评分工具和主观问题反馈工具。这些都需要以评估指标为基础，我们从第一篇文章了解到指标的制定原理后，各个业务的评估指标具体怎么确定呢？
首先，调整基础指标：我们知道业务的评估指标由基础指标和自定义指标构成的，我们在制定指标前需要根据新的指标体系需要，重新审视原有的基础指标。我们认为一个良好的基础指标，应该是清晰、准确、普适、易懂的；我们邀请专家对这样的指标进行评估，应该是对体验设计有指导意义的。所以对基础指标做了如下调整：评估指标由原来的一级指标改为二级指标，颗粒度更细，聚焦到具体问题；相似指标合并，二级指标由 15 个合并成 10 个；增加动效、语义等方面的评估；评估指引描述方式更直白、易理解；等等。
我们把基础指标给到业务，由业务设计师参考以下几个原则制定个性化指标体系。
GSM 模型（Goal- Signal- Metric）：方法在第一篇文章中； 反向思考：场景拆解到什么程度，可以结合业务的实际需要，由希望监控的颗粒度 有迹可循：场景的设计目标，需要是可量化、可监控的，一方面可以追踪优化效果，另一方面可以反向验证指标制定的合理性； 因地制宜：评估指标需要足够细化、贴合业务场景。比如基础指标中的“品牌”指标，在基础指标中的描述是“”，是考虑普适性的描述方式。而其在不同业务中的具体元素、形式、原则等体验要素都差别较大，所以需要额外说明当前业务的“品牌”具体需要达到什么体验要求。有些业务会额外提供一份品牌手册，供专家评估参考； 稳定性：指标体系内的元素需要在一定时间范围内保持稳定，尽量不因业务的调整而频繁变化。 有了细化的评估指标制定指引，我们向参评业务做了详尽的讲解，并充分探讨其在各个业务的可行性。业务设计师按照要求，结合实际情况，制定了由总目标、影响总目标的场景、场景的评估指标、评估指标的详细说明四个部分构成的指标体系。而后交由 QMD 项目组审核，确定无误后，由业务设计师根据模版，自行制定体验评估要用到的评分工具和主观问题反馈工具，这里我们用的分别是 58 问卷和在线协作表格。
二、评估 1. 体验评估
一切准备就绪后，就可以邀请专家来评估了。就像第二篇文章介绍的那样，为了保障评估结果的可靠性，我们对评估工具、专家、环境等都制定了标准化方案。下图是 QMD 项目组在专家评估前宣讲的评估目标、机制及评估注意事项。
2. 信度评估
专家评估后，我们就拿到了评分问卷和主观问题记录表的原始数据。首先最重要的一件事就是预处理评分数据，评估信度，完成校验闭环。我们采用的信度可靠对照关系如下：
如果第一次信度评估可靠程度不高，则需要调整数据组，重新进行信度评估，直至信度可靠。我们并非每一场体验评估都一帆风顺，在疫情期间远程体验评估时，我们就遇到了无论如何调整数据组都不能达到信度可靠的结果的情况。发现了这种情况，我们立即响应，临时邀约更多专家，快速加测了一场。欣慰的是，两场评估结果合并后，经过数据组调整，评分信度可靠。
3. 业务复议
通过第二篇文章我们知道，复议阶段的目标一是矫正部分理解有偏差的主观问题，二是让业务尽快了解 QMD 的结论，感受到其可靠可信，快速迭代优化问题。所以：
复议呈现给业务的内容有：评分、分数对比、对应的主观问题、截图等； 需要留给业务复议的反馈空间； 想要做体验评估的你，需要具备一定的数据分析基础和表格操作技巧。 4. 输出报告
报告是为了让体验评估结论更加直观、可信，便于查阅与传播。我们对报告做了一些调整：
① 评分和问题对应展示；
② 评分间差距标记更加清晰明了；
③ 增加 QMD 项目组的优化建议。希望业务重视分数洼地、不及竞品的指标对应的影响较大的主观建议。高优场景/指标/问题判断标准如下，供参考：
权重最高或较高； 和均值比差 10%/8%/5%/3%以上； 和竞品比差 10%/8%/5%/3%以上； 同比/环比差 10%/8%/5%/3%以上。 三、体验跟进 & 项目复盘 前面两篇文章介绍的体验评估指标体系和评估机制，是我们通过现状分析、理论分析等综合确定的，此时我们需要校验两点：
一是需要校验根据认知、经验主观拆解的评估指标是否符合预期；
二是需要校验 QMD 机制全程保障的专家评估结论是否可靠。
我们采取的校验方式，就是看体验评估的结论应用到业务的体验优化后，是否带来如预期程度的业务指标的提升。
所以我们在报告同步后，下一次体验评估前，留足业务改进优化的时间，组织参评业务复盘 QMD 结论落地情况。由各个业务阐述以下内容：
问题发掘&解决：QMD 报告分析&洞察、解决思路&方案、上线效果&数据、结论； 项目管理：优化进度、迭代计划。 同时为了激励、帮助业务设计师推动结论落地，我们邀请设计总监、设计负责人和高阶设计师从三个维度为业务复盘的内容打分、点评，包括逻辑合理度、指标结果相关度、进度。
同时 QMD 项目组收获了业务设计师对于整个体验评估机制的一些想法，结合组织过程遇到的问题和思考，做了周期性的复盘。
四、推广 & 改正 通过业务复盘及评委打分、点评，我们了解到业务的大部分迭代效果都是正向的，小部分负向效果的迭代需要尝试其他设计方案。所以目前没有因为复盘结果而要调整指标的情况。由此印证 QMD 体验评估的结论是可靠的，整个体验评估流程也是可靠的。
如果有业务出现按照 QMD 的结论设计方案，验证发现预期的业务数据没有提升或者反而下降，则需要反思指标制定、分析、洞察、解决思路、方案是否有问题，逐一排查关键环节，及时作出调整。
如开篇所述，QMD 项目组也在每次体验评估完成后进行复盘，持续优化评估机制，目前整个流程已经形成 SOP，便于高效组织每次评估，跟紧业务节奏，打好配合。
五、最后 以上详尽介绍了我们 QMD 项目组，组织 58UXD 各个业务体验评估的过程与思考。我们认为整个体验评估体系的升级和实践，最关键的思考逻辑就是闭环管理，这个逻辑贯穿始终，让所有人为因素的影响降到最低，保障过程和结果可靠可信。我们设定的闭环管理一共有以下三个方面：
在策划环节，各业务制定的指标体系、整理的评估工具，都由 QMD 项目组审核，确保指标拆解符合指引要求，评估工具准确无误； 在评估环节，各个业务的专家的评分都需要评估评分者信度，确保评分可靠； 在跟进环节，通过业务复盘了解优化效果，校验指标制定的可靠性，以及整个 QMD 新机制为业务体验设计带来的价值。
分享不易，希望对你有所帮助。欢迎大家留言交流。
欢迎关注「58UXD」的微信公众号：
