3 步 · 3 段可复制提示词 · 约 10 分钟读完
站内精选
核心结论

每天上班先花 25 分钟从 4 个来源导表、粘贴、去重。用 n8n 做了个每天 8:00 跑的流程:拉 4 个来源、按日期加门店编号合并、去重、写回一张汇总表。搭建 3.5 小时,等于 8.4 个工作日的手工时间。4 张表每天约 3,200 行,去重后 2,840 行,重复 360 行。跑通后每天只需抽 3 分钟看结果。

每天上班第一件事是从 4 个来源导表:2 个在线表格、1 个每天发到邮箱的附件、1 个内部接口。导出、粘贴、去重,25 分钟。这次用 n8n 做了个每天 8:00 自动跑的流程,搭建 3.5 小时,之后每天只看 3 分钟结果。

一句话结论

这种事值得自动化的判据很简单:动作重复、来源固定、步骤超过 4 步。这次每天 25 分钟、每月约 8.3 小时,搭建 3.5 小时,折算 8.4 个工作日就回本。但真正决定成败的不是搭建,是合并键统一——这次门店编号有的是「001」有的是「1」,没处理时去重完全失效,跑出 4,100 行而实际只有 2,840 行。这类错误不报错,只让数字变大,比报错难发现得多。

这篇解决什么问题

三个症状。一是每天开工先花半小时在搬运:导表、粘贴、删重复,全是机械动作,但少做一步当天数据就是错的。二是手动合并必然带错:4 张表字段名不一样,靠人眼对齐,时间长了就对歪一列。三是断一天就断一片:请个假、开个会,当天的汇总就缺了,后面补起来更麻烦。

根子是把这件事当日常事务,它其实是一条数据管道。管道的三件事:进来什么、怎么对齐、出去什么。这三件事定义清楚了,交给机器跑比人稳;定义不清楚(字段名不统一、键值不统一、空值处理不一致),机器会把不清楚放大一百倍。

开始前要准备什么

  • 4 个来源的访问方式:2 个表格的分享链接或授权、邮箱的收信权限、接口的地址和鉴权。缺一个,流程就不完整。
  • 一套目标字段,6 列就够:日期、门店编号、商品编号、数量、金额、来源标记。合并后的表就按这 6 列。
  • 4 份数据各取一天做样本,用来核字段、核键值、核空值。用样本调通,别拿全量试。
  • 一条纪律:合并前先统一字段和键值,不要直接拼。直接拼出来的是 4 份数据的叠加,不是一张表。

具体怎么做

第一步:把 4 份样本摊开,逐列对齐

4 份数据各取同一天的样本,摊在一张表里对比。要核三样:字段名(有的叫「门店」有的叫「门店编号」)、键值格式(编号带不带前导零、日期是文本还是日期型)、空值表示(有的空着、有的写 0、有的写「-」)。

这一步 40 分钟,看不出成果,但决定了后面要不要返工。这次三个问题全在这步暴露:门店编号 2 份是三位补零、2 份没补;日期 1 份是文本格式;空值有 3 种写法。如果跳过这步直接搭流程,会搭出一个「跑得通但数不对」的东西。

这是我 4 个数据来源各取同一天的样本(见下方,每份 10 行)。

请只做对齐分析,不要设计流程:
1 逐列对比四份的字段名,给出一张映射表:来源字段名 → 统一字段名(统一字段用:日期、门店编号、商品编号、数量、金额、来源);
2 找出键值格式差异:门店编号有没有前导零、位数是否一致;日期是文本还是日期型、格式有几种;
3 找出空值的不同表示方式,以及每种表示在后续计算里会出什么问题;
4 指出哪一份样本里存在四份互相对不上的列(即某个字段在四份里含义不同)。

要求:只分析不实现;每个差异要给出对应来源和具体行号;不要建议「统一用某个工具」。

第二步:先搭「统一」节点,再搭「合并」

顺序很重要。n8n 里的结构是:4 个读取节点 → 4 个字段映射节点(统一字段名、补零编号、日期转标准格式、空值转 null)→ 合并节点 → 去重节点 → 写回节点。映射节点是这一步的核心,缺了它,合并节点只会把 4 份数据上下堆起来。

去重按「日期 + 门店编号 + 商品编号」三个键做。这次 4 张表每天合计 3,200 行,去重后 2,840 行,去掉 360 行跨表重叠——同一家店同一个商品在不同来源里各有一条记录,属于正常重叠,不是错误。

这是已经统一的 4 份数据(字段已对齐,见下方)和统一后的 6 个字段。

请给出合并与去重的具体配置:
1 合并方式:应该选「追加」还是「按键合并」,说明这次为什么选它;
2 去重键:按「日期 + 门店编号 + 商品编号」去重,给出这三个字段在合并前各自需要做的格式规范(补零位数、日期格式、去空格);
3 冲突处理:同一个去重键如果三个来源的「数量」不一致,应该保留哪个、还是保留全部并标记,给出判断依据;
4 空值处理:数量或金额为 null 时,是丢弃该行、填 0,还是保留并标记,说明各自的后果。

要求:只给配置方案不写代码;每个选择要说明理由和风险;不要引入我没有提到的字段。

第三步:跑通后加三个告警,别让它静默出错

自动化最怕的不是报错,是不报错但数错了。这次加了三个检查:总行数区间(2,500 到 3,500 之间)、最新日期是否为当天、4 个来源是否都拉到数据。任何一条不满足就发通知。

行数告警救过一次:某天只拉到 2,100 行,因为邮箱那封附件延迟了。如果没有告警,那张汇总表会少一整个来源,而表面上看不出任何异常。所以告警不要设「流程失败时通知」,要设「结果异常时通知」——流程成功但数据不对,才是最危险的情况。

这是我的流程配置(4 个来源 → 4 个映射 → 合并 → 去重 → 写回,每天 8:00 跑)和最近 10 天的运行记录(见下方)。

请帮我设计异常检测规则:
1 行数:根据最近 10 天的行数给出合理区间,说明上下限怎么定(用历史波动还是固定阈值);
2 日期完整性:怎么判断「今天的数据已经进来了」,给出判断条件和例外情况(比如周末无数据);
3 来源完整性:4 个来源各自拉到多少行,怎么判断某个来源是「确实没有数据」还是「没拉成功」;
4 每条规则给一个误报风险评估:什么情况下会误报,怎么降低。

要求:规则要能在 n8n 里用条件节点实现,不写代码;不要建议「每天人工看一遍」;第 3 项要给出可区分的判据。

实测记录

素材是 4 个来源(2 个在线表格、1 个邮件附件、1 个内部接口),每天合计约 3,200 行。梳理与对齐 40 分钟、搭流程 120 分钟、调试与试跑 50 分钟,合计 210 分钟即 3.5 小时。

结果:流程每天 8:00 自动跑,拉 4 个来源、映射成 6 个统一字段、合并、按三键去重、写回汇总表。4 张表 3,200 行,去重后 2,840 行,重叠 360 行。原来每天手动 25 分钟,每月按 20 个工作日算约 8.3 小时;3.5 小时搭建成本,折算 8.4 个工作日回本。

调试阶段踩了三个坑。一是门店编号前导零不统一:2 份是三位补零、2 份没补,没处理时去重完全失效,跑出 4,100 行(真实 2,840),多出的 1,260 行全是同一家店被当成两家。二是日期有一份是文本格式,合并后按日期排序全乱。三是空值有三种写法(空着、0、「-」),求和时「-」让整列变成文本,金额合计算不出来。三个都是不报错的问题,全靠第一步的样本对比才提前发现。

最容易错的 3 个地方

第一,直接合并不先统一。4 份数据字段名不同、键值格式不同,直接合并出来是上下堆叠,不是一张表。必须先过映射节点:统一字段名、补零编号、转日期格式、清空值。这一步决定流程是「能用」还是「跑得通但数不对」。

第二,只设「失败时通知」。流程成功但只拉到 3 个来源,比流程失败危险得多——失败你知道要处理,少一个来源你可能一个月后才发现。告警要设在结果上:行数区间、最新日期、来源完整性,任一异常就通知。

第三,拿全量数据调试。全量跑一次几分钟,错了看不出是哪一步。用 4 份各 10 行的样本调,改一次几十秒,能逐节点看输出。这次样本阶段就发现了三个坑,全量阶段只是验证。

可复用的东西

该不该自动化的判据:动作重复、来源固定、步骤超过 4 步、每月耗时超过搭建时间的 2 倍。这次每月 8.3 小时、搭建 3.5 小时,比值 2.4。

样本先行:4 个来源各取同一天 10 行,先核字段名、键值格式、空值表示三样。这三个是 90% 的坑所在。

映射节点必设:4 个读取节点各自接一个映射节点,统一到目标字段再合并。少了它,合并等于堆叠。

三键去重:日期 + 门店编号 + 商品编号。键值格式必须先统一,否则去重静默失效。

结果告警而非失败告警:行数区间、最新日期、来源完整性。流程没报错但数据不对,才是最该被通知的情况。

常见问题解答

4 个来源格式都不一样,怎么合并

先统一成同一套字段再合并,不要直接拼。这次 4 个来源里 2 个是表格、1 个是邮件附件、1 个是接口,字段名各不相同(有的叫「门店」有的叫「门店编号」)。做法是在合并前加一个字段映射节点,把 4 份都映射成同样的 6 列,再合并。少了这一步,合并出来是 4 份数据的叠加,不是一张表。

最容易踩的坑是哪一个

合并键不统一。这次门店编号有的是「001」有的是「1」,一开始没处理,去重完全失效,跑出来 4,100 行(实际应该是 2,840 行),多出来的 1,260 行全是同一家店被当成两家。修法是在映射节点里统一补零到三位。这个问题不会报错,只会让数字变大,很难第一时间发现。

跑起来之后还要人管吗

要,但很轻。每天抽 3 分钟看三个数:总行数是不是在正常区间、有没有报错记录、最新日期是不是今天。这次设了行数告警——低于 2,500 行或高于 3,500 行就发通知,因为行数突然变少通常意味着某个来源没拉成功。除此之外不用管。

为什么不用表格自带的合并功能

因为来源里有邮件附件和接口,表格自己拉不到。这次 4 个来源分别是 2 个在线表格、1 个每天发到邮箱的附件、1 个内部接口。只有 n8n 这类工具能同时处理这三种。如果 4 个来源都在同一个在线表格系统里,用自带的合并或查询函数更省事,不必上 n8n。

小程序阅读免费
微信扫码进入小程序,按岗位找 AI 实操步骤
微信扫码进小程序
按岗位找 AI 实操步骤 · 提示词可收藏

发表回复

后才能评论