表单数据要每周汇总：用 n8n 拉 3 个来源再清洗

每周一上午汇总表单数据：从表单系统导出、CRM 接口拉一遍、再补一张手工 Excel，前后 40 分钟。这次用 n8n 做成每周一 7:00 自动跑，3 个来源并行拉、统一字段、按三类规则清洗、写回汇总表。搭建 2.5 小时，每周 180 条数据里清出 168 条有效。

一句话结论

拉数据本身不值钱，清洗才是活。3 个来源拉下来 180 条，看着都能用，实际有 12 条测试数据混在里面、23 条缺关键字段、6 类选项三种写法并存。这些不清掉，汇总出来的数每周都不一样，跨周根本没法比。所以这条流程的重点不在「连上三个来源」，在三类清洗规则：识别测试数据、关联补全缺失项、归一选项写法。规则定得准，每周的结果才同口径。

这篇解决什么问题

三个症状。一是每周的活重复且不能省：40 分钟，其中大半在清洗，不做的话表里全是脏数据。二是口径每周都在变：这周想起来去测试数据，下周忘了；这次把「华东区」改成「华东」，下次没改。表看着都在，数字没法比。三是手工补的那张 Excel 最容易出错：抄错一行、漏一行，只有到月底对不上账才发现。

根子是把汇总当搬运，它其实是加工。搬运的产出是「数据都在这了」，加工的产出是「这些数能直接用」。区别在处理规则是不是固定的——固定了才能自动，也才能前后可比；每次临时判断，就只能人做，而且每次判断都不一样。

开始前要准备什么

• 3 个来源的读取方式：表单系统的导出或接口、CRM 的接口地址与鉴权、手工 Excel 的固定存放位置（这次放在共享盘的固定路径，避免每次找）。
• 一套目标字段：提交时间、客户名、公司、区域、金额、来源。合并后的表就这 6 列。
• 三类清洗规则的具体判据：测试数据的三条特征、缺失字段哪些能关联补全、选项值的一张映射表。
• 一条纪律：先分来源清洗，再合并。合并之后就分不清哪条来自哪个系统，规则也就没法按来源区分。

具体怎么做

第一步：三个来源各自清洗，别急着合

每个来源接一个清洗分支，各自处理完再合并。这样做的原因是同一个字段在不同来源里含义不同：表单系统的「区域」是客户自己填的、CRM 的「区域」是销售维护的、手工 Excel 的「区域」是老表沿用的写法（east、华东区都有）。先合再洗，三种写法混成一列，你就不知道该信哪个。

清洗完再合并，还能在合并节点上做一次「来源冲突」检查：同一条客户在三个来源里的区域不一致时，按「CRM 优先」还是「最新优先」处理。这次 180 条里有 7 条冲突，全部按 CRM 优先——CRM 是销售维护的，比客户自填准。

我每周要从 3 个来源（表单系统导出、CRM 接口、手工 Excel）汇总表单数据。

请帮我设计每个来源的独立清洗步骤，不要合并：
1 表单系统：这个来源是客户自己填的，可能包含测试数据。给出识别测试数据的具体规则（姓名、手机号、公司名三方面的特征），要求命中后「标记」而不是「删除」；
2 CRM 接口：这个来源的字段是销售维护的，相对准确。给出格式统一规则（日期、金额、区域写法）；
3 手工 Excel：这个来源容易有历史遗留写法。给出「哪些字段以它为准、哪些字段不用它」的判断依据。

要求：三个来源分开写，不要合成一套规则；每条规则要给出可判定的条件和处理动作（标记 / 补全 / 覆盖 / 丢弃）；不许建议直接删除数据。

第二步：三类清洗规则，每类动作不同

测试数据 12 条：不删，标一列「疑似测试」。三条判据：姓名含「测试」或 test、手机号是 13800000000 这类全重复数字、公司名长度小于 2。标记而不是删除，因为规则一定会有误判，人每周扫一眼成本很低，误删真实客户成本很高。

缺失字段 23 条：分两种处理。17 条能关联补全——表单里没填区域，但公司名在 CRM 里有对应区域，这叫从别的来源推，不是编；6 条不能补（客户本来就没填预算），标「空」让下游知道是缺失，不许填 0 也不许填平均值。填 0 会让平均值算错，填平均值会把估算变成假的确定值。

选项写法 6 类：做一张映射表，把「华东区 / east / 华东」都归到「华东」。映射表要写进流程里，不能靠模型每次判断——模型每次判断可能给出不同归并，跨周就不可比了。

这是我 3 个来源各一周的样本数据（见下方，共 180 条），以及我初步整理的测试数据特征和区域写法对照。

请按三类规则帮我核一遍，只标问题不改数据：
1 测试数据：按「姓名含测试/test、手机号全重复数字、公司名长度小于 2」三条判据逐条检查，列出命中的条目和命中哪条；
2 缺失字段：列出所有必填字段为空的条目，并逐条判断「能否从其他来源补全」——能补的写明从哪个字段推、不能补的标「空」；
3 选项写法：找出「区域」列的所有不同写法，给出一张完整映射表（原写法 → 统一写法），不许遗漏。

要求：只标问题不修改原始数据；第 2 项不许建议填 0 或填平均值；第 3 项的映射表要覆盖样本里出现的全部写法，包括只出现一次的。

第三步：加一个「本周与上周对比」的自检

流程跑通不等于数对。这次加了一个自检节点：把本周结果和上周比，行数波动超过 ±25%、某个来源的行数为 0、有效条数突然变少，任一命中就发通知。上线第三周真触发过一次：手工 Excel 那周没更新，来源行数是 0，告警当天就补上了。

自检里还有一条容易被忽略：清洗掉多少条。这次每周清掉 12 条测试、补 23 条缺失、归并一部分写法，如果某一周「清洗掉 0 条」，多半是规则失效了，不是数据变干净了。所以告警条件要包含「清洗数量为 0」。

这是我的流程（3 个来源并行 → 各自清洗 → 合并 → 冲突检查 → 写回）和最近 6 周的运行结果（见下方，含每周原始条数、清洗条数、有效条数）。

请设计自检规则：
1 行数波动：根据最近 6 周给出合理区间，说明用百分比还是绝对值更合适；
2 来源完整性：3 个来源各自的行数怎么判断「正常」和「没拉成功」，注意区分「真的没有新数据」和「接口失败」；
3 清洗量异常：给出「清洗条数过低」和「过高」的阈值，说明为什么「清洗 0 条」可能是规则失效；
4 每条规则给误报风险和一个降低误报的办法。

要求：规则要能在 n8n 的条件节点里实现；不要建议「每周人工核一遍」；第 3 项要给出具体阈值。

实测记录

素材是 3 个来源各一周的数据，共 180 条。定规则 45 分钟、搭流程 105 分钟，合计 150 分钟即 2.5 小时。原来手工做每周 40 分钟，3.8 周回本。

结果：每周 180 条里，标出疑似测试 12 条、关联补全缺失字段 17 条、标空 6 条、归并 6 类选项写法，剩 168 条有效。3 个来源之间有 7 条区域冲突，按「CRM 优先」处理。流程每周一 7:00 自动跑，之后每周只看 5 分钟结果。

两个数值得记。一是缺失 23 条里只有 17 条能补，剩下 6 条客户没填预算，硬填 0 会让均值偏低、填平均值会让估算变成假确定，只能标空。二是自检第三周抓到一次真问题：手工 Excel 那个来源行数为 0，因为那周没人更新文件，告警当天补上了。没有这个检查，那张汇总表会静默少一整个来源。

最容易错的 3 个地方

第一，先合并再清洗。合并之后「区域」一列混着「华东」「华东区」「east」，分不清哪条来自哪个系统，规则没法按来源区分，也不知道该信哪个。先分来源清洗、再合并，还要在合并节点做一次来源冲突检查。

第二，缺失字段填 0。填 0 会让平均值偏低，填平均值会把「不知道」变成假的确定值。缺失分两种：能从别的来源关联补全的就补（这次 17 条），补不了的标「空」，让下游知道这里缺。

第三，测试数据直接删除。判据一定会有误判，误删一个真实客户比留着 12 条脏数据贵得多。标一列「疑似测试」，人每周扫一眼，成本低、风险低。

可复用的东西

先分来源清洗再合并：三个来源三个清洗分支，合并后做一次冲突检查（这次按 CRM 优先）。

测试数据三条判据：姓名含测试/test、手机号全重复数字、公司名长度小于 2。命中即标记，不删除。

缺失两种处理：能关联补全的补（写明从哪个字段推）、不能补的标空。禁止填 0 和填平均值。

选项映射表写进流程：不靠模型每次判断，靠固定映射。跨周才可比。

自检含清洗量：行数波动、来源完整性、清洗条数为 0。最后一条专治「规则悄悄失效」。

如果你也经常要做这件事，欢迎在评论区说说你的卡点和做法；也可以留言告诉我，你想看哪个岗位的哪件活怎么用 AI 拆。

admin 普通

收藏 海报 链接