Stable Diffusion AI绘图,使用OpenPose控制绘图中人物动作

技术1年前 (2023)发布 不存在的铃喵
806 0 0

你一定看过很多AI绘图,自己可能也尝试过进行简单AI绘图,似乎感觉就像扔色子,角色无法控制。可能觉得AI绘图不过如此,事实真的如此么?

 

 

Stable Diffusion其实只是AI绘图的地基,在上面构建的各类插件才是AI绘图可能引发绘画变革的根源,这些插件汇集近年AI发展的成果。(本文只讲结论,不涉及原理,请放心阅读)

 

 

ControlNet,由美国斯坦福大学提出的,一种通过添加额外条件,来控制扩散模型的神经网络的方法。Stable Diffusion 是一种扩展模型,ControlNet也是模型,ControlNet模型可以控制Stable Diffusion输出想要的图像。跟前边介绍的通过LoRA模型微调大模型的思想类似。

ControlNet可以有多种模型来控制Stable Diffusion模型的输出,今天只使用其中的一种,OpenPose。一说Pose,应该都很清楚,摆Pose,就是人物摆的动作姿态。这里又要提到OpenPose了,OpenPose是一个人体姿态识别的开源项目,由美国卡耐基梅隆大学主导,也是一种神经网络模型。

 

 

一句话简要概括,使用ControlNet通过预先训练的OpenPose模型加上节点图来控制Stable Diffusion输出图片。

 

 

OpenPose节点长啥样可以看下图:

 

Stable Diffusion AI绘图,使用OpenPose控制绘图中人物动作

 

这是个躺坐的人,为啥是躺坐看下面的图

 

 

各个节点的定义看下面的图:

 

Stable Diffusion AI绘图,使用OpenPose控制绘图中人物动作

 

这不是中医经脉哈

 

 

关于ControlNet插件安装和OpenPose编辑器安装这里不做叙述,网上很多相关视频教程。要点是插件安装好后需要下载训练好的模型control_sd15_openpose.pth,放到models\ControlNet下,另外OpenPose编辑器建议posex和openpose editor都安装,前者可以编辑3d的openPose,后者可以直接从图片生成,AI绘图时勾选enable打开ControlNet,ControlNet里的model选择control_sd15_openpose。

 

Stable Diffusion AI绘图,使用OpenPose控制绘图中人物动作

 

有了上面的了解,我们就可以控制人物的姿态了,为了提高点绘图难度,我做了个跪坐的姿势。制作办法有下面3种:

 

 

  • 用OpenPose editor载入个这个动作的图片,然后微调 (推荐)
  • 自己摆pose,手机照下来然后用OpenPose editor载入图片,然后微调。(推荐)
  • 自己在posex慢慢编辑,这个办法摆出来的可能没有那么自然,出来的图崩了的可能性大。因为毕竟不是动作捕捉,不过胜在任意动作都能编辑。

 

Stable Diffusion AI绘图,使用OpenPose控制绘图中人物动作

 

跪坐的OpenPose节点图

 

 

下边开始展示生成的图片,把之前使用的各种角色Lora都用上

 

 

先来汉服小姐姐

 

Stable Diffusion AI绘图,使用OpenPose控制绘图中人物动作
Stable Diffusion AI绘图,使用OpenPose控制绘图中人物动作

 

再来2B小姐姐

 

Stable Diffusion AI绘图,使用OpenPose控制绘图中人物动作
Stable Diffusion AI绘图,使用OpenPose控制绘图中人物动作

 

再来个不知名动漫小姐姐:

 

Stable Diffusion AI绘图,使用OpenPose控制绘图中人物动作

 

还有爱丽丝

 

Stable Diffusion AI绘图,使用OpenPose控制绘图中人物动作

 

蒂法因为裙子太短,不适合这个姿势,已经删掉了。

 

 

有AI绘图的问题都可以跟帖哦。

 

 

今天就介绍到这里,我们下次见,关注我不迷路。

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...