你一定看过很多AI绘图,自己可能也尝试过进行简单AI绘图,似乎感觉就像扔色子,角色无法控制。可能觉得AI绘图不过如此,事实真的如此么?
Stable Diffusion其实只是AI绘图的地基,在上面构建的各类插件才是AI绘图可能引发绘画变革的根源,这些插件汇集近年AI发展的成果。(本文只讲结论,不涉及原理,请放心阅读)
ControlNet,由美国斯坦福大学提出的,一种通过添加额外条件,来控制扩散模型的神经网络的方法。Stable Diffusion 是一种扩展模型,ControlNet也是模型,ControlNet模型可以控制Stable Diffusion输出想要的图像。跟前边介绍的通过LoRA模型微调大模型的思想类似。
ControlNet可以有多种模型来控制Stable Diffusion模型的输出,今天只使用其中的一种,OpenPose。一说Pose,应该都很清楚,摆Pose,就是人物摆的动作姿态。这里又要提到OpenPose了,OpenPose是一个人体姿态识别的开源项目,由美国卡耐基梅隆大学主导,也是一种神经网络模型。
一句话简要概括,使用ControlNet通过预先训练的OpenPose模型加上节点图来控制Stable Diffusion输出图片。
OpenPose节点长啥样可以看下图:
各个节点的定义看下面的图:
关于ControlNet插件安装和OpenPose编辑器安装这里不做叙述,网上很多相关视频教程。要点是插件安装好后需要下载训练好的模型control_sd15_openpose.pth,放到models\ControlNet下,另外OpenPose编辑器建议posex和openpose editor都安装,前者可以编辑3d的openPose,后者可以直接从图片生成,AI绘图时勾选enable打开ControlNet,ControlNet里的model选择control_sd15_openpose。
有了上面的了解,我们就可以控制人物的姿态了,为了提高点绘图难度,我做了个跪坐的姿势。制作办法有下面3种:
- 用OpenPose editor载入个这个动作的图片,然后微调 (推荐)
- 自己摆pose,手机照下来然后用OpenPose editor载入图片,然后微调。(推荐)
- 自己在posex慢慢编辑,这个办法摆出来的可能没有那么自然,出来的图崩了的可能性大。因为毕竟不是动作捕捉,不过胜在任意动作都能编辑。
下边开始展示生成的图片,把之前使用的各种角色Lora都用上
先来汉服小姐姐
再来2B小姐姐
再来个不知名动漫小姐姐:
还有爱丽丝
蒂法因为裙子太短,不适合这个姿势,已经删掉了。
有AI绘图的问题都可以跟帖哦。
今天就介绍到这里,我们下次见,关注我不迷路。