20 张图训风格模型,跑完看着挺像,一换主体就崩。问题不在图少,在验证方式:拿训练图去验证,等于用考题当答案。文章拆成五步,重点在第三步的三组验证——只有第二组能证明模型学到的是风格,不是记住了图。
一句话结论
风格 LoRA 的成败不在训练步数,在验证集怎么设计。20 张图、1,100 步、dim 16 训出的模型,在「训练图复现」组上相似度 0.91,看着完美;换成没训过的主体只有 0.62,等于没用。删掉 7 个绑死主体的标签、降到 850 步后,第二组升到 0.81、第一组降到 0.84——第一组变差才是变好的信号。
这篇解决什么问题
三种情况最常见。一是训完只能出原来那些图,换主体就走形,知道是过拟合却不知从哪改。二是风格有了,但提示词怎么调都带不出想要的主体。三是同一数据集重跑,结果完全不同,没法交接。
根子在于把训练当调参,而不是建立可验证的判据。参数几十个,盲调试不完;有三组固定验证,每次改动的好坏当场可见。五步做完,得到风格模型、三组验证图、可复现的参数档案。
开始前要准备什么
- 40 张以上候选图:最后只用 20 张。风格类训练理想区间 15–25 张,少于 12 张必然过拟合,多于 30 张会稀释成「平均画风」。
- 训练环境:24G 显存显卡或按小时租云端。sd-scripts(kohya_ss),1024 分辨率、batch 1、fp16 起步。
- 24 张验证用的「陌生图」:三组各 8 张,全部不参与训练。第一组是同风格不同主体,第二组是同主体不同风格,第三组是训练图里各抽一张复现。这 24 张先准备好,不要训完再找。
- 一张参数档案表:记录基座模型、dim/alpha、学习率、步数、batch、分辨率、打标词数、每组验证得分。没有这张表,第二次训练等于从零开始。
具体怎么做
第一步:按四条硬标准从 40 张里筛出 20 张
四条标准按顺序过:主体一致(不混人、物、景)、构图分散(全身/半身/特写/俯视各占比例,全是正面特写会训出固定机位)、画质达标(短边 ≥1024,无噪点水印)、无重复(裁切变体只留一张,感知哈希去重阈值 0.9)。43 张候选筛到 20 张,淘汰的里有 11 张是近似重复。
我要训一个风格 LoRA,数据集是下面的图片清单(每行:文件名、分辨率、主体类型、构图类型)。
请帮我做四件事:
1. 按「主体一致 / 构图分散 / 画质达标 / 无重复」四项逐条打分,输出一张筛选表,标出建议剔除的图并说明理由;
2. 指出构图分布里缺失的类型(例如全是正面特写、没有俯视或局部特写),并建议补拍或补找哪几种;
3. 给出最终 20 张的入选名单,要求覆盖至少 4 种构图、至少 3 种景别;
4. 给一句判断:当前张数处于「欠拟合 / 合适 / 会稀释」哪一档,依据是什么。图片清单如下:(粘贴)
第二步:打标只留「变化的部分」,删掉绑死主体的词
自动打标(WD14 或 BLIP)会给几十个词,一半是主体描述——「1girl」「white shirt」。这些必须删,否则触发词和主体绑在一起,换主体就带不动。留下的应是风格属性:笔触、光影、配色、材质、构图习惯,再统一加一个稀有触发词(如 kxstyle)承载风格。
以下是 20 张训练图的自动打标结果(每张一行,逗号分隔)。
我的目标是训「画风」而不是「画某个主体」,触发词定为 kxstyle。
请帮我做三件事:
1. 把标签分成三类:必须删除(绑死主体的具体名词与颜色)、建议保留(风格、光影、笔触、材质、构图)、建议补充(自动打标漏掉的风格特征);
2. 输出每张图清洗后的最终标签,格式为「kxstyle, 标签1, 标签2…」,控制在 8–14 个;
3. 指出哪 3 个标签如果保留,会导致模型只能生成某一类主体,并说明替换成什么更通用的表述。打标结果如下:(粘贴)
第三步:先把三组验证跑通,再谈调参
三组各 8 张、固定种子与提示词模板,只改主体词。分工是:第一组(同风格异主体)测泛化,越高越好;第二组(同主体异风格)测污染,低说明主体没被绑进去;第三组(训练图复现)测记忆,过高即过拟合。
我要评估一个刚训好的风格 LoRA,已有三组验证图各 8 张,文件名规则为 g1-01…g3-08。
请帮我设计一份评估表并给出判读规则:
1. 三组分别该看什么指标(风格一致性、主体可控性、构图自由度、文字/结构崩坏率),每组给出 2 个可人工打分的维度,各 1–5 分;
2. 给出「好 / 可疑 / 过拟合」的三档判读阈值,并说明哪一组的分数上升反而是坏消息;
3. 给一个复现实验的最低配置要求(种子、采样器、步数、CFG、分辨率、提示词模板),确保两次评估可比;
4. 如果 g2 组分数偏低但 g1 组正常,列出三个最可能的原因和对应的修改动作(调低学习率、减步数、删主体标签)。三组图的文件名与对应提示词如下:(粘贴)
第四步:按分数回调参数,一次只动一个变量
第二组偏低就减步数或降学习率;第三组偏高(复现太像)同样减步数;第一、三组一起崩说明学习率过高。纪律是一次只改一个变量,改完重跑同样三组。从 1,100 步起,第三组 0.91 明显过拟合,降到 850 步后第三组 0.84、第二组 0.81,进入可用区间。
这是我的三轮训练记录(每轮:学习率、步数、dim、打标词数、g1/g2/g3 得分)。
请帮我做四件事:
1. 判断每一轮属于「欠拟合 / 合适 / 过拟合」,并指出判据是哪个指标;
2. 给出下一轮唯一应该改的那个参数,以及改多少(用具体数值,不要写「适当降低」);
3. 预测改动后三组分数各自往哪个方向走,方便下一轮核对;
4. 如果已经连续两轮 g2 上不去,列出三种替代方案(加大数据集多样性、换基座模型、改用 IP-Adapter 而非训练)。训练记录如下:(粘贴)
第五步:出验证图集与参数档案,让下次能复现
交付两样东西。一是验证图集:三组各 8 张,按固定网格拼成一张对比图,标注组别与得分。二是参数档案:基座模型名与哈希、dim/alpha、学习率、步数、batch、分辨率、优化器、打标词表版本、三组得分。没有档案的模型等于一次性用品——三个月后想再训一版,只能从头试。
这是一次风格 LoRA 训练的完整配置与三组验证结果。
请帮我生成一份可复现的训练档案,要求:
1. 字段齐全:基座模型与版本、数据集张数与来源、dim/alpha、学习率与调度、步数与 batch、分辨率、优化器、触发词、打标词表版本、三组得分;
2. 附一段 120 字以内的「模型说明」,写清它擅长什么、不适合什么、推荐用法(权重区间、采样器、步数);
3. 给一份使用注意事项:建议权重范围、容易出现崩坏的场景、需要避开的主体类型;
4. 最后输出一个文件命名规则,让三个月后的自己一眼能认出这是哪一版。配置与结果如下:(粘贴)
实测记录
数据集 20 张(从 43 张候选中筛出),基座为 SDXL 1.0,1024 分辨率,dim 16 / alpha 16,优化器 AdamW8bit,单卡 24G 跑一轮约 38 分钟。
- 第一版(1,100 步,学习率 1e-4,原始打标):g1 0.62、g2 0.58、g3 0.91。看着「很像」,实际换主体就崩,g2 说明主体被绑进了触发词。
- 删掉 7 个主体标签后重训:g1 0.74、g2 0.69、g3 0.89。第二组明显回升,说明风格和主体开始解耦。
- 降到 850 步:g1 0.81、g2 0.81、g3 0.84。三组第一次靠到一起,这是可用区间。
- 再降到 600 步:g1 0.73、g2 0.78、g3 0.71。风格变弱,出图开始向基座模型靠,属于欠拟合。
- 人工盲评:12 人、每组随机 6 张、不告知版本,850 步版本被选中 9 次,1,100 步版本 3 次。人工判断与 g2 分数方向一致。
最容易错的 3 个地方
第一,用训练图当验证集。这是最普遍也最致命的错。记住一张图比学会一种风格容易得多,分数永远好看。判断方法:验证图里有没有一张出现在训练目录,有就作废。
第二,打标把风格词和主体词混在一起。自动打标会把「white dress」「long hair」一起写进标签,模型学到的就是「这个风格 = 这个女孩」。正确做法是只保留风格属性,主体一律不进标签,让触发词承载风格。
第三,一次改三个参数。学习率、步数、dim 一起动,涨了不知谁的功劳,跌了更查不出。纪律是一次只动一个,其余固定,并记下每轮完整配置。
可复用的东西
数据筛选四条硬标准:主体一致、构图分散、画质达标、无重复。任何风格/产品 LoRA 都能套,筛图时间通常比训练时间还值得投入。
三组验证矩阵:同风格异主体(测泛化)、同主体异风格(测污染)、训练图复现(测记忆)。这个结构不只用于 LoRA,任何「学一种属性」的任务都能改写使用。
一次一变量的调参纪律:每轮只改一个数,改动前先写下预测,跑完对照。预测错了也是信息,说明对参数的理解有偏差。
常见问题解答
训练图要多少张才够
风格类 LoRA 的理想区间是 15 到 25 张,少于 12 张必然过拟合,模型只会复现那几张图;多于 30 张会把风格稀释成平均画风,出来的图失去辨识度。比数量更重要的是构图分散:全是正面特写会训出固定机位,换主体时构图也跟着走形。
为什么删掉主体标签之后,训练图复现的分数反而下降了
这是正常且必要的信号。删掉主体标签后,模型不再靠「记住这张图」拿分,而是靠「学会这种风格」,所以复现相似度会降,但换主体的泛化能力会升。判断标准要看第二组(同主体异风格)和第一组(同风格异主体)是否一起上来;只有这两组上涨,第三组下降才是有意义的。
步数怎么定,是不是越多越像
不是。步数过多会让模型从「学风格」滑向「记图」,第三组分数持续走高就是过拟合信号。经验做法是先用公式粗算一个起点(图片数乘以每张 50 到 60 步),再按三组验证回调,每次调整幅度控制在 20% 左右,一次只动步数这一个变量。
本地显卡跑不动,云端训练怎么控制成本
按小时租卡比按天便宜,关键是缩短试错轮次。做法是先固定数据集和打标,只跑 200 步看 loss 曲线是否正常,确认没问题再跑完整轮次。一轮 20 张、1024 分辨率、24G 卡约 40 分钟,试错成本控制在三次以内,总花费通常低于一张本地中端显卡。
本网站的部分内容可能来源于网络或用户投稿,仅供大家学习与参考,如有侵权,请联系客服: hhxmw778 进行删除处理。
本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
教程如引导您添加微信或有另外收费服务,请自行甄别!
如遇充值环节或绑定支付账户或输入支付密码之类的异常步骤,建议停止操作!本站不对操作项目的损失负责!
本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现任何资源有问题请向站长举报下架
(手机微信用户建议用默认浏览器打开,可体验完整功能)
