用LoRA+Stable Diffusion生成属于你自己的图片！

2023-02-26

前言

最近随着ChatGPT的爆火，曾经火过一阵的AI图片生成似乎也又火了一阵，当然，这次是带着最新的LoRA模型前来，使人人都拥有了编辑创作自己的模型的自由。

本文旨在从零开始，教会你如何通过本地训练的方法，用自己的图片创造一个LoRA模型，并正常的生成图片。

注意，在训练期间您可能需要一张8GB显存或更高的显卡（最次也是6g吧）（笔者配置：i5-7500+16g ddr4 2133+rtx3070 8g)

让我们开始吧！

0. 准备工作

如果你的电脑中已经有了python3.10，或你曾经亲自调教过StableDiffusion，请跳过这一part

首先你需要的就是一个python。

笔者此处选用了python3.10

这是SD官方所推荐的版本，如果您尝试使用其他版本，可能会遇到一些兼容性问题。

下载完成后，请勾选 Add python 3.10 to PATH ，然后选择Install now。

接下来，您需要安装Git，可以在此处下载

安装完git后，请拿出你想要用来学习的照片，并以以下方式保存。（由于本文的训练集采用512\*512格式，为了获得最好的效果，建议您预处理，将图片裁为近似正方形，保持人脸出现在中心）

即：创建一个文件夹，再在里面创建文件夹，里面的文件夹分别标为“数字_训练集”，其中数字代表着这个文件夹的训练次数，训练集仅供区分。

注意：文件夹路径必须全英文

1. 请选择你的阵营

与大多人想的可能不同，训练你自己的模型不代表着从头训练，而是以现有模型为基础，学习你的特征。所以，你需要选择一个用来训练的初始模型。

打开 Civitai 这是一个模型下载与交流的网站，在主页选择一个左上角带有checkpoint标志的模型，打开。（笔者此处选用了ChilloutMix模型，在realistic标签的图形处理上，这是个很不错的模型）

滑动到 Versions 一栏，在左侧选中你想要的版本（若有fp32,fp16,bp32,bp16字样的，请选择fp/bp16）

记住你选择的模型右边的Base Model一栏的参数，过会要用。

2. 请安装环境

接下来，你需要安装模型训练(选用kohya_ss)和图片生成的平台(stable diffusion)

按下win+r键，输入powershell，打开powershell

使用cd指令，前往您希望其下载并执行的位置

接下来的操作可能会需要您有一个科学的网络环境，笔者推荐在安装时全程使用 SSTap 虚拟网卡进行代理，以避免奇怪的报错

安装stable diffusion

在powershell窗口中，执行

git clone <https://github.com/AUTOMATIC1111/stable-diffusion-webui.git>

接下来，请打开您在

使用cd指令，前往您希望其下载并执行的位置

中选择的文件夹，找到stable-diffusion-webui并点击进入，以备用。

安装kohya

请通过任务栏上的“搜索”功能，输入powershell并以管理员模式打开

在刚打开的第二个powershell中，执行 Set-ExecutionPolicy Unrestricted 并回复A。

关闭这个以管理员模式启动的powershell，回到之前的powershell

在powershell窗口中，一次一行的输入这些命令

git clone <https://github.com/bmaltais/kohya_ss.git>
cd kohya_ss

python -m venv venv
.\\venv\\Scripts\\activate

pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 --extra-index-url <https://download.pytorch.org/whl/cu116>
pip install --use-pep517 --upgrade -r requirements.txt
pip install -U -I --no-deps <https://github.com/C43H66N12O12S2/stable-diffusion-webui/releases/download/f/xformers-0.0.14.dev0-cp310-cp310-win_amd64.whl>

cp .\\bitsandbytes_windows\\*.dll .\\venv\\Lib\\site-packages\\bitsandbytes\\
cp .\\bitsandbytes_windows\\cextension.py .\\venv\\Lib\\site-packages\\bitsandbytes\\cextension.py
cp .\\bitsandbytes_windows\\main.py .\\venv\\Lib\\site-packages\\bitsandbytes\\cuda_setup\\main.py

accelerate config

在输入完最后一行后，请在窗口中键入

Enter

all