这一组 22 篇笔记其实只回答一个问题:怎么用数据,把"UX 做得好不好"和"对生意有没有用"讲清楚。 拆成四条主线——
- 选对指标:别被"只涨不跌"的虚荣指标(Vanity Metrics)骗,要看比率、时间趋势、分用户群;搞清转化率、成功率/完成率、时长/浏览量各自的脾气。
- 两种定量方法分工:分析工具(Analytics)告诉你"用户做了什么",定量可用性测试告诉你"用户能不能成功",两者一广一深、必须搭配用。
- 算 UX ROI 给老板看:把 UX 指标换算成钱(或别的 KPI),四步走,但别过度精确——ROI 是估算不是财报。
- 统计严谨度:统计显著 ≠ 实际有用,均值要配置信区间,数据不显著时也能靠概率+定性做决策。
贯穿全篇的一句心法:好指标必须"可操作"(actionable)——它一动,你就该知道该做什么;它动了你却无动于衷,那它就是个虚荣指标,删掉别看。
一、选对指标:先认出"虚荣指标",再换成"可操作指标"
涉及:Vanity Metrics(什么是虚荣指标)+ Vanity Metrics: Add Context(加上下文)。两篇高度重叠,合并讲。
虚荣指标(Vanity Metrics) = 看着漂亮、让你"感觉良好",但波动无法关联到任何行动、对决策毫无指导的数。典型脸谱:数字永远只涨不跌(下载量累计曲线天然递增)、孤立无上下文(一个光秃秃的总数)。NNGroup 的麦当劳比喻:门口招牌"已售出数十亿份",数字巨大但说明不了顾客满不满意、会不会回头。
| 这是虚荣指标(别只看它) | 换成这个才可操作 | 为什么 |
|---|---|---|
| 总下载量 / 总用户数 / 总浏览量 / 总分享数 | 比率/比例:每用户平均使用次数、新增活跃用户/下载量 | 总数只会涨,看不出体验有没有变化 |
| 视频总播放次数 | 每周播放次数(带时间框架 day/week/month) | 趋势才能判断改动/活动是否起效 |
| 单一总转化数 | 每用户转化率、每次访问转化率(分用户群/分访问) | 看到的是"多少比例的人达成",不是绝对量 |
| 月活总数 MAU | DAU/MAU 粘性比(Stickiness Ratio) | DAU/MAU=10% 意味着每 10 个月活里 1 个天天来,衡量黏性 |
| 独立访问 / 总访问各看各的 | 两者对比(判断是否在页面间来回反弹) | 两个相关指标对照才有背景 |
四个"加上下文"的手法(把虚荣数救活):① 转成比率/比例;② 套一个时间框架(日发现异常但易假警报,年稳定但太迟钝,要找中间档);③ 按用户/访问细分,可用用户群分析 Cohort Analysis(同周注册的人后续完成了某动作没,跟上周同期比);④ 拿一个指标对比另一个相关指标。
选有效指标的两条标准:稳定性 + 敏感度兼顾(平时稳,设计一变它就反应);可追溯到具体设计决策(变化若来自季节/突发事件而非设计,这指标就不适合评估设计)。
心法:理想指标"大多数时候纹丝不动,一动就说明系统里真发生了变化(改版或故障)",而不是随机噪声。变化能不能驱动你行动是唯一试金石。 反例:盯着"10000 人下载了 App"庆祝,结果其中 8000 人再没打开过——这个 1 万就是纯虚荣。
二、转化率全家桶:Conversion / Macro·Micro / Success vs Completion
涉及:What Is a Conversion Rate + Macro vs Micro Conversions + Success Rate vs Completion。三篇都讲"用户有没有达成目标",合并成一张地图。
转化率(Conversion Rate) = 分析里最重要的指标之一,衡量产品能否成功引导用户完成期望行为(购买、提交表单、注册)。转化率越高一般说明设计越成功,但必须放进上下文和对比框架才有意义。
别把转化率单独读——它受大量外部因素干扰,不全是 UX 的功劳:
| 外部干扰因素 | 影响 | 怎么办 |
|---|---|---|
| 价格变动 / 促销打折 | 转化率上升,与 UX 无关 | 解读时排除或单列为变量 |
| 季节性(黑五、双十一) | 节日购买意愿天然高 | 跟相似时间段比,别跨季节比 |
| 广告投放 / 营销活动 | 流量结构变,转化率波动 | 分析时考虑营销变量 |
正确读法三连:跟历史趋势比(别看单点)、排除外部因素、结合其他指标(留存率、停留时间)综合看。
宏观转化 vs 微观转化(Macro vs Micro Conversions)
| 宏观转化 Macro | 微观转化 Micro | |
|---|---|---|
| 是什么 | 直接对应业务核心目标的行为 | 通往宏观转化路上的小步行为,频率更高 |
| 例 | 完成购买 / 注册账号 / 提交表单 / 完成活动报名 / 政府网站完成报税 | 加入购物车、开始结账、访问表单页、订阅邮件、下载 App |
| 衡量 | 转化率(成败关键指标) | 细粒度追踪用户进展、定位流失环节 |
微观转化再分两类:过程里程碑(Process Milestones)——通往宏观转化的关键步骤(选航班→填支付),靠用户旅程地图/分析数据/自己走一遍来定义;次要行为(Secondary Actions)——不直接导向转化但建立信任与忠诚、能预测未来转化(订阅邮件、看视频、分享内容)。
关键判断:强制行为 vs 可选行为。 用户必须做的事(员工内网申请休假)→ 转化率不适用,改看易用性、错误率;用户可选做的事(要不要报名活动)→ 转化率才能当衡量标准。非营利/内网这类非货币化平台也能用 Macro/Micro 概念,只是宏观转化更难定义。
成功率 vs 完成率(Success Rate vs Completion Rate)—— 最容易混的一对
| 完成率 Completion Rate | 成功率 Success Rate | |
|---|---|---|
| 何时用 | 用户意图明确、步骤固定线性(电商结账、注册) | 用户意图不明确、路径多样(找到某篇文章,导航/搜索/标签都行) |
| 怎么测 | 分析工具(Google Analytics)——但测不出用户访问初衷 | 可用性测试——给定明确任务,清楚知道成没成 |
| 看什么 | 启动流程的人里有多少走到最后一步 | 给定任务的人里有多少达成目标,只看结果不看路径 |
心法:意图清不清楚,决定你用分析工具还是可用性测试。 流程固定就用完成率(分析工具自动算),路径灵活就用成功率(可用性测试人工判)。
"更多"不一定更好:时长 / 页面浏览量怎么读
涉及:How to Interpret User Time Spent and Page Views。
更多点击、更多页面、更长停留——好坏取决于任务类型。NNGroup 的希腊旅游网站例子:同样是"翻了很多页、停留很久",做行程规划时是沉浸享受(正面),而只想查邮轮发船时间却找不到时是迷路沮丧(负面)——分析数据看起来几乎一样,但体验天差地别。
| 任务类型 | 用户期望 | 时长/点击多 = | 优化方向 |
|---|---|---|---|
| 生产性任务 Productive(查发船时间) | 快速高效完成 | 坏信号(卡住了) | 越短越好,减少点击和导航 |
| 参与性任务 Engaging(规划旅行) | 愿意慢慢逛 | 好信号(投入) | 提供更多可探索内容 |
心法:分析数据告诉你"做了什么",但永远说不出"为什么";必须配可用性测试才能区分"享受"还是"沮丧"。这正引出下一节。
三、两种定量方法:Analytics 管广度,定量可用性测试管深度
涉及:Analytics vs Quantitative Usability Testing。
| 分析工具 Analytics | 定量可用性测试 Quant Usability Testing | |
|---|---|---|
| 答什么问题 | 用户做了什么(停在哪页、点了什么、滚多远) | 用户能否成功完成任务、效率多高 |
| 环境 | 真实自然环境、自动实时采集 | 受控环境、给定任务、人工观察 |
| 数据规模 | 成千上万到百万级,看整体趋势 | 样本小,通常约 40 人 |
| 成本 | 系统搭好后日常成本低 | 招募/安排/补偿,成本高、耗时长 |
| 强项 | 大规模行为模式、长期趋势 | 具体可用性问题 + 背后原因/思维过程 |
| 软肋 | 缺上下文(知其然不知其所以然)、前期配置复杂(埋点/事件) | 样本小、难推广到全体用户 |
心法:两者互补——分析工具铺广度(发现整体趋势和问题在哪),可用性测试钻深度(解释为什么、怎么改)。NNGroup 反复强调这是"完美搭档"。 PM 落地:分析发现购物车页大量退出 → 别急着改,先做可用性测试问清是界面乱、加载慢还是别的,否则改了也是瞎改。
四、UX ROI:把设计价值换算成钱(或别的 KPI)给老板看
涉及:Calculating ROI(原理版)+ Calculating ROI in 4 Steps(数字版)+ How to Measure ROI(指标体系版)+ Three Myths(误区版)+ Don't Overthink(简化版)。五篇围绕同一主题,合并成"原理→四步→指标库→三误区→简化"。
为什么要算 ROI:UX 团队常因领导层不支持而早期参与不足、资源/资金不够。算出 ROI = 用财务语言证明"设计不只对用户好,对生意也有大价值",换取资源和文化转变。
ROI 计算四步法(Four Steps)
| 步 | 做什么 | 健康保险网站案例 |
|---|---|---|
| 1 收集 UX 指标 | 从基准测试拿一个可量化的 UX 指标(来源:问卷/NPS、分析数据、定量可用性测试、客服数据) | 注册流程的客服工单数 |
| 2 选 KPI | 选一个全公司都在乎的关键绩效指标(利润/成本/CLV/员工生产力) | 成本节约(降低客服需求) |
| 3 换算 UX 指标→KPI | 像单位换算,找出转换比例 | 工单 23,000 → 1,100,减少 21,900 张 × $6/张 |
| 4 负责任地报告 | 声明这是估算非财报、说清数据来源、写明项目成本、延展到 2–5 年更有说服力 | 见下方完整话术 |
案例完整数字(全部保留):
- 月节约 = 21,900 × $6 = $131,400
- 年节约 = $131,400 × 12 = $1,576,800
- 项目成本 = $75,000
- 报告话术:"注册相关客服工单减少 21,900 张,假设每张成本 $6,预计月省 $131,400、年省 $1,576,800;项目成本 $75,000,三年内回报约 $4,655,400。"
ROI 标准公式 = (收益 − 成本) / 成本。UX 里收益 = 收入增加/成本节省/效率提升,成本 = 设计+开发+研究+测试投入。例:转化率从 2%→3%(月增 $10,000 收入)、项目成本 $5,000 → 算出 ROI。
UX ROI 指标库(How to Measure ROI 给的菜单,按维度选)
| 维度 | 指标 | 定义/公式 |
|---|---|---|
| 业务层 | 转化率 Conversion Rate | 访问后完成目标行为的比例 |
| 客户留存率 Retention Rate | 一段时间内继续使用的客户比例 | |
| 客户终身价值 CLV | = 平均购买价值 × 购买频率 × 客户生命周期长度 | |
| 销售增长/新收入 | UX 改进带来的新增收入 | |
| 行为层 | 跳出率 Bounce Rate | 进页面无操作直接离开的比例 |
| 任务完成率 Task Completion Rate | = 成功完成任务的用户数 / 开始任务的用户数 | |
| 平均任务时间 Average Task Time | 完成特定任务的平均耗时 | |
| 页面停留时间 Dwell Time | 用户在页面花费的时间 | |
| 反馈层 | 净推荐值 NPS | = 推荐者% − 批评者%,忠诚度指标 |
| 用户满意度 CSAT | 问卷测对特定产品/交互的满意度 | |
| 支持请求量 Support Request Volume | 客服请求数量(降=省成本) |
应用五步:选合适指标(目标增收→看转化率/新收入;目标满意度→看 NPS/留存)→ 收基准数据 → 算改进后变化 → 量化业务收益 → 算 ROI。
三大误区(Three Myths)+ 别过度思考(Don't Overthink)
| 误区 | 真相 |
|---|---|
| ① ROI 全是关于钱 | ROI 可以是非货币目标——海洋大气研究的政府机构在乎"资源覆盖范围/公众感知质量"而非利润;领导可能更看留存率/使用率/品牌影响力 |
| ② ROI 必须完全准确 | ROI 是估算非预测。算出"每年省 40 万"不代表年末账上真多 40 万(外部变量、省下的时间未必都用于生产);重点是估算改进的潜在价值 |
| ③ ROI 必须涵盖所有细节 | 复杂度按需。设计系统案例:UX 负责人只算了一个视频插件的重复开发耗时 × 过去几年重复次数,不到一小时就说服领导建设计系统——没去核算所有组件和平均时薪,因为没必要 |
简化技巧(Don't Overthink):先明确目标(省时间?提效率?证明业务价值?)→ 按受众调整(老板看"省多少钱",技术团队看"怎么实现")→ 只做必要计算(抓 1–2 个核心数据点)→ 缺数据就用合理假设/估算(领导关心趋势不关心小数点)→ 从简单到复杂逐步扩展。整理房间比喻:花一天整理,换接下来一年每次找东西省 20 分钟,很快回本。
心法:在高 UX 成熟度组织里,UX 指标本身可能就是 KPI(如"减少任务时间"),这时 ROI 换算可能根本没必要——别为了算而算。 反例:为了"严谨"把每个 UI 组件、每个变量都算进 ROI,耗时数周,结果老板早就走神——过度分析等于没分析。
五、统计严谨度:显著性、置信区间、不确定下如何决策
涉及:Practical vs Statistical Significance + Why Confidence Intervals Matter + Handling Insignificance in UX Data。三篇是一条逻辑链:先懂显著性 → 再懂置信区间 → 最后学会数据不显著时怎么办。
统计显著 vs 实际显著(Statistical vs Practical Significance)
- 统计显著(Statistical Significance) = 数学告诉你"这差异 95% 不是偶然"。但它只说差异存在,不说有没有用。
- 实际显著(Practical Significance) = 这差异对用户/业务值不值得在意。
- 经典例:设计 A 完成任务 72 秒 vs 设计 B 75 秒,3 秒差统计上显著,但用户根本感受不到,不值得花钱改。反过来:小样本测出 A 比 B 快 30 秒但统计"不显著",这 30 秒可能已对体验很重要,值得重视。
怎么平衡:① 先看差异对用户/业务的实际影响;② 关注效应量(effect size)而非只盯 p 值(样本大时微小差异也容易显著但没意义,样本小时不显著也可能值得重视);③ 结合定性研究("为什么差异重要");④ 始终以用户和业务目标为准绳。
比喻:统计显著是"发现一根针",实际显著是问"这根针能不能织出一件毛衣"。
置信区间(Confidence Intervals)—— 别把均值当确定值
样本只是估计总体。置信区间 = 真实值很可能落入的范围。例:测出平均完成时间 4.3 分钟,但应报告"我们有 95% 把握真实均值在 3.6–4.9 分钟之间"。
什么决定区间宽窄:
- 样本量:样本多 → 区间窄、更准;样本少 → 区间宽。
- 数据一致性:每人数据差异大(1 分钟 vs 10 分钟)→ 区间宽;越一致 → 越窄。
- 置信水平:常用 95%;想更有信心(99%)→ 区间反而更宽。
怎么用:① 目标是"5 分钟内完成结账",看到区间上限 4.9 分钟 → 可以放心说"基本达成";② 报告时均值 + 区间一起给(只说 4.3 分钟显得太精确);③ A/B 测试里看两组区间重叠程度——重叠多=差异可能不大,几乎不重叠=差异很可能真实。
数据不显著时怎么做决策(Handling Insignificance)
统计学家常说"没显著性就别决策"——但"不决策"本身也是一种决策(等于继续用旧设计,可能错失增长)。而且收集更多数据有代价:
- 机会成本/时间成本:等数据期间继续用旧设计可能持续损失;持续 A/B 测试还会挤占测试其他想法的机会。
- 算笔账:若收集更多数据成本 $200,000,而预期改进只带来 $100,000 额外收入——不值得。
两条出路:
- 基于概率的决策:均值仍是最大似然估计。哪怕设计 A 只有 60% 概率更好(40% 风险),也可据此选 A——因为"A 真实值在最低点 + B 真实值在最高点"这种极端情况很罕见。
- 依赖定性洞察:量化不足时靠用户测试/启发式评估/UX 专业判断。强有力的定性信息应优先于弱定量数据。
综合决策框架:定量显著 → 优先看统计;定量不显著 → 转向定性;定性也不明确 → 回头用最大似然方案,但要清醒认识风险。
六、基准测试:用一把"标尺"证明改版到底值不值
涉及:Benchmark Usability Testing(怎么做)+ The Benefits of Benchmarking(为什么值)。
基准测试(Benchmarking) = 用量化数据和总结性评估,衡量产品相对某个标准的表现,并追踪改进效果。频率通常每年一次或重大迭代后;可跟自己历史比,也可跟竞品/行业均值比。比"减肥要先量体重"——没基线就不知道改版有没有效果。
怎么做(关键数字):① 定目标(测时长?错误?满意度?)→ ② 找至少 ~20 人(比日常小规模测试多,数据才有代表性)→ ③ 记录现状当基线(Baseline) → ④ 改版后用同方法再测,新旧对比。
为什么值(三大收益):
- 衡量进展:回看改动是否达到目标。
- 展示影响:量化向利益相关者证明价值(例:某任务完成时间减少 60%)。
- 量化商业价值:把指标连到收入/成本最有说服力。NNGroup 案例:内部应用让关键任务从 10 分钟缩到 4 分钟(省 6 分钟),公司 1000 名员工 × 平均时薪 $50 → 估算出巨额人力成本节约 → 为后续项目争取资金。
心法:基准测试是 ROI 计算的数据源头(四步法第 1 步就来自基准测试)。没有基线,所有"改进了 X%"都是空话。
七、研究方法配套:抽样 / 混杂变量 / 三角验证 / 统计画像 / 长尾
这一节收口五篇"支撑定量研究质量"的方法论,它们不直接是指标,但决定你的指标可不可信。
7.1 便利抽样 vs 概率抽样(Convenience vs Probability Sampling)
| 便利抽样 Convenience | 概率抽样 Probability | |
|---|---|---|
| 怎么选人 | 找容易接触的人(非随机) | 随机,每个成员都有机会被选中 |
| 偏差/推广性 | 偏差高、难推广 | 偏差低、可推广到总体 |
| 成本 | 低、快 | 高、耗时复杂 |
| 适合 | 快速迭代、发现可用性问题、早期探索 | 大规模研究、高风险决策、需群体推论/对比 |
概率抽样两类:简单随机抽样(人人等概率)、分层抽样 Stratified(先分组如新手/熟手,再各组随机选,确保各类有代表)。样本量门槛(关键数字):定量测试至少 40 人,问卷调查至少 100 人。能拿到完整用户名单时(CRM 客户/企业员工/项目参与者)才能做概率抽样;电商匿名访客/潜在新用户/流失用户拿不到名单,只能用便利抽样。
心法:UX 研究里便利抽样是最常用的——因为多数研究只为发现可用性问题,不需要统计推论。只有"要推论到全体、风险高(医疗/银行/汽车)、要群体间对比"才升级到概率抽样。注意:设筛选条件 ≠ 随机抽样;别找同事测(反馈有偏)。
7.2 混杂变量(Confounding Variables)
混杂变量 = 没被测量、却同时影响自变量和因变量的隐藏变量,会污染结果、威胁内部效度(internal validity)。经典例:上午测设计 A、下午测设计 B → "时段/学习效应/午饭后疲倦/饥饿"都成了混杂变量。
| 常见混杂变量 | 解决 |
|---|---|
| 年龄(影响满意度/完成时间/成功率/阅读力) | 招募有代表性的年龄样本 + 随机分配 |
| 季节性(Q4 vs Q1) | 比较相似时间段收集的数据 |
| 新冠疫情 | 排除疫情最严重的日期范围 |
| 市场竞争(对手大促/新品) | 避开重大市场动荡期做研究 |
| 现有产品经验 / 先验意见 | 招募不同经验水平 or 筛掉极端正负情绪者 |
避免最佳实践:优先被试内设计(within-subjects)+ 随机化顺序;被试间则随机分配组别;识别并控制已知混杂变量;保持测试环境一致;实在难控就转做定性研究。
7.3 三角验证(Triangulation)
三角验证 = 用多种数据来源或多种方法交叉看同一问题,提升可信度(概念源自几何)。两种形式:多方法(定量+定性+专家评审看同一活动)、多指标(满意度+停留时长+收入一起看)。
实用例:满意度下降 → 查访问时长和收入印证;订阅表单成功率低 → 用访谈了解障碍;访谈发现共同主题 → 让另一研究员独立分析验证。何时用:决策越重大越要三角验证(整站重设计要充分,微小 UI 改动不必)。
心法:关键不在"我们能花多少时间做研究",而在"我们能承受多少失败的风险"。产品发布后市场反馈终究会成为一个数据源,但那时再改更贵更难。
7.4 统计生成画像(Statistically-Generated Personas)
画像(Personas)本质是定性工具(画内在动机/痛点),但可加统计提升普遍性。做法:① 定性打底(5–30 人访谈找共性主题)→ ② 据主题设计问卷 → ③ 收至少 100 份、理想 500+ 样本 → ④ 用潜类分析(Latent Class Analysis) 等聚类(擅长处理问卷类别数据和缺失数据)。
局限/反例:纯统计可能得出"显而易见却没洞察"的结论(用户主设备是 iPhone、自认早期采用者、爱特斯拉和苹果)——数据成立但指导不了设计。永远以定性理解为基础,统计只是补充;没统计能力就找数据科学家合作。详见 NNGroup 用户画像 Personas(本质/三类型/范围层级/创建/对比 JTBD-原型-分群/应用/维护/5 大失败)。
7.5 长尾数据(Long-Tail Data)
销售/行为数据常呈幂律分布:少数爆款/高频行为在前端,大量低频在后端"长尾"。Chris Anderson 提出长尾理论,亚马逊/Netflix 靠消除实体库存满足小众需求盈利。UX 能发挥价值的四个长尾场景:① 电商/社媒小众内容收入(靠强搜索+推荐+信息架构让用户找到);② SEO 长尾关键词(竞争小、流量精准、成本低,分析内部搜索日志挖);③ 网站延迟(多数请求快,但极慢的长尾请求会流失用户和收入,与工程合作优化);④ 机器学习(需含罕见样本的大数据集降低错误率,设计推荐系统帮采集 + 建立信任别频繁打扰)。
与帕累托(二八)法则的关系:二八法则=专注带来 80% 结果的 20%(短期资源优化/快速决策);长尾=优化大量低影响点的累积价值(长期价值)。二者看似冲突实则互补。
源自 NNGroup Topics / Analytics & Metrics - 分析与指标(22 篇)。相关:NNGroup 定量研究 Quantitative Research(A/B 测试·样本量·置信区间·UX 指标·转化分析·基准测试·学习曲线)、NNGroup 定性研究与研究方法工具箱(方法全景/访谈/共情图/样本量/任务设计/主持/专家评估/工作坊/伦理)、NNGroup 用户画像 Personas(本质/三类型/范围层级/创建/对比 JTBD-原型-分群/应用/维护/5 大失败)、Google UX 证书 / UX 研究与共情-定义。图片/原档保留在 sources。