SD1.5 的依赖、手、姿势控制和原理小结

最近这段时间，我对 SD1.5 的感觉一直在变。

刚碰的时候，我的理解很简单：模型能跑，prompt 调好，图应该就能慢慢做出来。真开始接以后才发现，事情根本不是这么直线的。

现在最明显的几个问题有三个：

1. Python 依赖很容易冲突，环境并没有想象中那么稳
2. SD1.5 出人物图时，手部特别容易崩
3. 想靠提示词把人物姿势控准，基本不现实

我先把这三个问题分开记一下。

1. 第一个把我卡住的，居然是 Python 依赖！fu*k

最开始我对 ComfyUI 的理解其实挺“工具化”的。

我会觉得它就是一个节点式界面，模型放进去、工作流连起来、参数调一调，应该就能开始跑。结果实际一装环境、一接节点，马上就发现事情没这么简单。

我这几天遇到最多的问题不是图出得怎么样，而是：

• 节点装上了但跑不起来
• 某些依赖装完以后又把别的地方带崩
• 版本看着没问题，实际一执行就报错
• 有时候以为是工作流问题，结果最后查出来还是环境问题

刚开始我对这类问题没有概念，出错以后第一反应就是重装、重试、换包。这样搞虽然偶尔也能碰巧解决，但问题是没有规律，下一次还是会乱。

后面我才慢慢开始按顺序查：

• 先确认 Python 版本
• 再看 ComfyUI 主体和扩展节点是不是同一套环境
• 然后看报错到底是缺包、版本冲突，还是某个依赖链没对上
• 最后才决定要不要重装，或者固定某个包的版本

这一点对我提醒挺大。因为我原来一直把注意力放在模型和效果上，结果真正开始做，第一关反而是运行环境。

我现在对这件事的结论很直接：

SD 这类项目，环境稳定本身就是开发的一部分，不是前置杂事。

如果环境不稳，后面很多判断都会被带偏。你根本分不清自己是在调模型，还是在给一套有问题的运行环境擦屁股。

2. 环境勉强跑顺之后，我最先碰到的模型问题是“手不对”

环境能跑起来以后，我原本以为接下来就该进入“认真调 prompt”的阶段了。结果没多久就撞上了一个特别明显的问题：人物的手很容易崩。

这个问题第一次让我意识到，图能不能看，不只是词写没写对。

我当时遇到的情况大概是这样：

• 正脸还可以
• 服装和整体氛围也能慢慢接近
• 但是一到手，就容易出问题

具体表现包括：

• 手指数目不对
• 手指连接关系奇怪
• 动作稍微复杂一点就开始乱
• 手一靠近镜头或者有遮挡，崩得更明显

我一开始走的思路很典型，就是继续补 prompt。

比如会试着补一些和手有关的词，希望模型自己把局部修正过来。刚开始我还真以为这是方向，后来很快发现，这种办法只能稍微改善一点点，碰到复杂动作时还是不稳。

这个问题让我第一次比较明确地感觉到：

有些问题不是“词没写到位”，而是模型本身对结构的处理就没那么稳。

至少在我现在接触到的 SD1.5 这套东西里，手这种部位明显是高风险区。它细节多、变化多、遮挡也多，只靠文字让模型自己猜，很容易猜歪。

所以这块我现在的做法也变了。

我不再把重点全放在“怎么把 prompt 写得更花”，而是先接受一个事实：

• SD1.5 不是所有局部都能稳住
• 手的问题很可能不是调词能根治的
• 如果场景本身对手部要求高，那就不能只拿 prompt 硬顶

这个认识对我挺重要的。至少它让我少走了一些“明明不该在这里死磕，还一直在这里改词”的弯路。

3. 比手更难受的是，人物姿势根本不听话

如果说手的问题让我开始意识到模型有边界，那姿势控制的问题，就是让我真正开始怀疑：

只靠 prompt，到底能不能把结构控住？

我这段时间经常遇到一种情况：

• 人脸差不多
• 风格差不多
• 场景也差不多
• 但动作就是不对

比如我希望人物抬手、侧身、半蹲，或者做某个比较明确的动作，最后模型确实会往那个方向靠一点，但离我真正想要的结构经常还是有偏差。

我最开始不太服气，会觉得是不是自己动作词写得还不够细，或者顺序不对，或者权重没调好。可试得多了以后，越来越感觉不对。

因为这里的问题已经不是“意思没表达清楚”，而是模型只靠文字，根本就没有那么强的结构约束能力。

后来开始接触 ControlNet 之后，我才突然明白一件事：

姿势这类问题，本来就不应该只靠 prompt 解决。

至少我现在的理解是：

• prompt 更适合描述内容和方向
• ControlNet 这类控制条件，才更适合管结构
• ComfyUI 的价值，也不只是把节点堆起来，而是能把文本、模型和结构控制真正拼到一起

这一点想通以后，我的排查思路就顺很多了。

以前我会一直问：“为什么我词都写了，姿势还是不准？”

现在我会先换个问题问自己：

“这个问题到底是不是 prompt 该负责的？”

如果不是，那就别继续在同一个地方打转。

4. 后面真正帮我把思路理顺的，是把原理补了一遍

这段时间公司也组织补过一些 SD1.5 相关的原理，有位研究生大哥带着我们过了一遍论文和基础概念。这个对我帮助挺大。

因为在那之前，我很多东西其实都是“知道名字”，但不知道它和我手头的问题有什么关系。

比如：

• 扩散模型到底是在做什么
• VAE 在整条链路里负责什么
• U-Net 为什么一直是核心
• ControlNet 为什么能让姿势和结构更稳

我现在肯定还谈不上“学明白了”，但至少补完这一轮以后，很多现象不再像以前那样完全靠猜。

我现在对这几个东西的理解，先记个最粗的版本：

扩散模型

我现在能理解成：先把图像问题转成一个“不断去噪”的过程。模型不是一下把图生成出来，而是一步步把噪声往目标图像推回去。

这个理解虽然还很粗，但至少能让我知道，它不是一个“凭空冒图”的黑箱。

VAE

我现在的理解是，它负责图像和潜空间之间的编码解码。模型不是直接在原始大图上硬算，而是在一个更适合处理的表示空间里做事。

U-Net

这个东西我现在的感受最直接：它就是这条生成链路里的核心执行者。每一步该去掉多少噪声、往哪个方向修，主要都靠它在干活。

ControlNet

这个是我目前感受最强的一个点。它让我开始明白，为什么有些结构问题不能只靠文字。

以前我觉得模型应该能“听懂我在说什么”；现在我会更愿意理解成：

• 文字告诉模型我要什么
• ControlNet 告诉模型结构大概应该长什么样

这两者不是互相替代的关系，而是分工不同。

5. 这几天我对解决问题的方法，也开始有点变化了

我现在回头看，不对，应该说我现在停下来整理这几天的状态，会发现自己处理问题的方式已经和最开始不太一样了。

最开始我是这样的：

• 图不对，就去改 prompt
• 节点报错，就先重装
• 姿势不准，就继续加动作词
• 手崩了，就再堆一点质量词

现在虽然也还是会试这些办法，但不会再只靠这些。

我会开始先判断，这个问题更像是哪一层的：

如果是跑不起来

先看环境，先看依赖，先看版本。

如果是局部结构崩

先怀疑模型边界，不要默认是 prompt 写错。

如果是姿势不稳定

先想是不是缺少结构控制，而不是继续在动作词里死磕。

如果是自己一直说不清问题

先去补原理，把 VAE、U-Net、ControlNet 这些东西和现象对上。

这个变化虽然不算什么很大的能力升级，但对我现在很重要。

因为我终于没那么容易在一个错误方向上转太久了。

6. 这篇先记一个阶段结论

我现在对 SD1.5 这套东西的阶段性结论大概是这样：

1. 环境问题不能小看，很多时间其实先花在环境稳定上
2. SD1.5 不是万能的，尤其是手这种局部，本来就容易出问题
3. 姿势控制不能只靠 prompt，结构控制要单独想办法
4. 补原理是有用的，不是为了显得懂，而是为了少走弯路

我现在还在继续看这块，很多东西也没到能讲得特别透的时候。

但至少到这一步，我已经不太会再把“出图问题”简单看成提示词问题了。环境、模型边界、结构控制、工作流设计，这几层得分开看。

后面如果继续往下做，我应该还会再记一篇 ComfyUI 工作流和 Python 小工具相关的东西。因为我感觉接下来真正会把我往前推的，也不只是调词本身，而是怎么把这套流程用得更稳一点、更顺一点。