Stable Diffusion是一种基于AI的图像生成技术，在快速发展的AI时代，图像生成技术已成为各行各业趋势之一。究竟如何在众多的AI图像生成平台中，找到一个既简单易用又具备高品质输出的工具呢？本文将带您深入了解Stable Diffusion，一个专为您量身打造的创意图像生成平台。从登入过程到图像生成及调整，我们将为您提供详尽的操作指南，让您一探究竟，轻松掌握这项强大的技术。

这篇文章还会介绍4种安装方式与从基础到进阶的使用方式：

1. *推荐* 部属在Google Colab，免费使用最高规格
2. 最懒人方法，直接安装在Google Drive走全云端使用
3. 安装在电脑
4. 免安装直接使用网路工具
5. 关键字咒语人物描述与修改、指定动作、画面风格

推荐使用Google Colab安装Stable Diffusion的原因除了简单、好用以外，最重要的是客制化程度非常高，学会正确关键字，你可以做出非常多符合期望的图片。

stable diffusion是什么

Stable Diffusion是一种基于AI的图像生成技术，它通过将图像逐步从高度随机的噪声状态进行重建，最终生成一个清晰的图像。这种技术可以用于生成各种风格和主题的图像，如风景、人物、建筑等，并能够根据特定的指令生成具有特定特征和风格的图像，甚至催生了新职业ai咏唱师。Stable Diffusion在AI图像生成领域具有很高的潜力，并且因为其免费和易用的特点，受到许多创作者和设计师的青睐。

关于Ai咏唱师可参考 认识Ai咏唱师：21世Ai电绘新职业。培养3种赚钱技能

方法1. 本机stable diffusion下载与安装教学

方法2. 免费安装Stable Diffusion玩高阶Ai绘图，Google Colab网页运作免高阶显卡

方法3. 直接安装在Google Drive走全云端模式

先打开camenduru制作的stable-diffusion-webui-colab笔记本，从下拉选单找到Drive，按著ctrl点击按钮用新页面开启，接著复制到自己的Google Drive云端硬碟上。

P.S. 以下是简易说明，详细手把手安装方式可以参考 Stable Diffusion安装Google Drive运作colab

执行复制到Google Drive上的安装档副本，安装后如法炮制也把执行档（第二个档案）复制到Google Drive并执行

接著就能正常使用Stable Diffusion WebUI啰！打开Stable Diffusion WebUI，这是在你的Google Drive上执行，用法跟本机安装或直接Colab执行的Stable Diffusion一样，也都能装扩充功能。

把Stable Diffusion安装在Google Drive的好处是完全走云端，不用用到电脑资源或高阶显卡，即使Google Colab关闭后会清空资料，但因为是安装在Google Drive上，所以画好的图不用每张都用右键储存，直接在output目录可以找到。

安装在Google云端上并执行Stable Diffusion非常方便，除非作者有更新才要重新安装，不然只要安装一次，未来使用只需运行run.ipynb脚本就行了啰。

方法4. 免安装直接使用网路工具

Dream Studio

Stable Diffusion是一个免费的开源软体，专门用于生成图像。尽管许多人可能不知道如何安装和使用这个软体，但我们可以通过一些现成的服务来使用它。

一种使用Stable Diffusion的方法是访问官方网站Stable Diffusion Demo（免费但等待时间长）

另外一种使用方法

Dream Studio与Stable Diffusion Demo比较

在两边用一样的指令：A high tech solarpunk utopia in the Amazon rainforest，左图是Stable Diffusion Demo版本，右图是Dream Studio版本。

指令比较测试：A pikachu fine dining with a view to the Eiffel Tower

---

---

Stable Diffusion 的 WebUI 介面教学

我们会在Stable Diffusion 的 WebUI 介面，输入关键字、咒语与调整调整参数来产图。以下教学使用Perfect World模型当案例。

Stable Diffusion 的 WebUI 介面说明

当 Stable Diffusion 网页版介面建立好，首先左上角可以看到现在使用的模型，接著中间是让我们能够跟Ai沟通的核心区域：关键字咒语输入区。Stable Diffusion关键字，英文是Prompt，又称为Stable Diffusion咒语。

Stable6 alt=”” class=”wp-image-28785″ srcset=”https://stablediffusionweb.com/”>Stable7 1024w, https://stablediffusionweb.com/”>Stable8 300w, https://stablediffusionweb.com/”>Stable9 768w, https://gooptions.cc/ai%e8%a9%a0%e5%94%b1%e5%b8%ab/”0 1536w, https://gooptions.cc/ai%e8%a9%a0%e5%94%b1%e5%b8%ab/”1 2048w, https://gooptions.cc/ai%e8%a9%a0%e5%94%b1%e5%b8%ab/”2 600w, https://gooptions.cc/ai%e8%a9%a0%e5%94%b1%e5%b8%ab/”3 750w, https://gooptions.cc/ai%e8%a9%a0%e5%94%b1%e5%b8%ab/”4 1140w” sizes=”(max-width: 1024px) 100vw, 1024px” />

这边有两个区块：

• Prompt在上半部，是我们要Ai绘图的各种指示
• Negative Prompt在下半部，是我们要Ai绘图时必须避开的各种指示

下方的叙述则是图片宽度、高度、产生几张图等设定，如果你算出来的人物坏掉再勾选 Restore Face即可，我通常不用这个功能

CFG Scale则是告诉Ai他绘图的自由度，数字越小表示越自由创作，越大则表示需要更遵守你的咒语关键字，我通常会使用6.5，而当灵感枯竭时会调整到3：建议Stable Diffusion的CFG Scale使用3~7即可。

Stable Diffusion WebUI的Ai电绘实作教学

提供两个我画的图片使用的咒语prompt与Negative Prompt

prompt

realistic 8k, picture-perfect face, flawless, clean, masterpiece, professional artwork, famous artwork, cinematic lighting, cinematic bloom, perfect face, beautiful face, beautiful eyes, ((perfect female body, narrow waist)), fantasy, dreamlike, unreal, science fiction,1girl, intricate detail, delicate pattern, sexy, charming, alluring, seductive, erotic, enchanting,

smiling, looking away, pink hair, undercut, apron, amazing body, 1girl, corset, cinematic, (portrait), sideface, foreshortening, breasts, cleavage, full_body, high_heels, long_hair, solo, depth_of_field, outdoors, realistic, photo_\(medium\), photorealistic, (ultra-detailed:1.2), ((high ornamented dress)), detailed light, HDR, Empire_dress, (awaitingtongue:1.2),  ((realistic)), photo referenced, highest quality, high quality, (detailed face and eyes:1.1), ((goth)), golden hour, freckles, queen dress, green royalty, green eyes, full body, red dress,((crown)), thin lips, victorian clothes, highly detailed clothes, green engravings on clothes,on the street, (embarrassed laughing:1.2),

emphasizing her curves and sex appeal, The overall tone of the image is dark.

• 这段咒语，第一段描述图片大方向，包含professional artwork, famous artwork和描述女主角身材特征并用括弧强调((perfect female body, narrow waist))
• 第二段说明女主角细节，例如服装要是维多利亚风并带有刺绣 victorian clothes, green engravings on clothes、发型是undercut、发色是粉红色pink hair，皇冠发饰((crown))
• 第三段说明图片风格是展示女主角的线条和性感，并用暗色风格dark呈现。

上述prompts可以直接复制使用先熟悉Stable Diffusion运作，要学会精准使用关键字，可以参考 Stable Diffusion 咒语关键字全解析

当然prompt可以让ChatGPT帮你写，请参考 1个就够！Ai绘图prompt生成器，你只需要它：ChatGPT

Negative Prompt

Negative Prompt直接复制贴上即可，说明不要出现一些刺青、品牌、标语、丑脸和6根手指头等等。

(deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation. tattoo,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, out of focus, censorship, ugly, old, deformed, amateur drawing, odd, bad hands

按下执行『Generate』产生图片：

工作区右下角，点击任何一张就会显示大图，你可以直接右键存到电脑里，也可以透过下方的 Download 按钮下载，图片只会保存一小段时间喔。

Stable Diffusion修改咒语教学

如果你想看Ai女主角的背面，用跟上面教学一样的咒语再加上动作提示，例如：back to viewer（背对镜头），女主角有一样风格但画面呈现结果完全不同。写prompt跟写文章一样重要，而且都是有逻辑性的，可以参考 stable diffusion prompt 教学，解释prompt使用规则、符号、参数与范例

以发型、发色与头饰为案例，以下是一个表格，用来说明可以将英文中括弧标示的文字进行替换。以发型为例，您可以将 “undercut” 替换成其他发型，如 “ponytail”。

hair style[undercut], [red] hiar, [crown],dress style [Goth], [in a classroom]，下表列出于括弧内可供替换的关键字

类别	替换选项
发型	undercut, ponytail, bob, pixie, braid, mohawk, dreadlocks, bun, shag, wavy, straight, curly, pompadour, slicked back, side part, quiff, top knot, mullet
发色	red, black, brown, blonde, gray, green, blue, purple, pink, orange, balayage, highlights, pastel, burgundy, ombre, ash blonde
头饰	crown, hat, headband, beret, baseball cap, beanie, fedora, turban, veil, bonnet, hairpin, headscarf, fascinator, tiara, bow
服装风格	Goth, casual, business formal, vintage, athletic, hip hop, rock, mori girl, military, bohemian, country, beachwear, retro, kimono, hanfu, ethnic
地点/背景	in a classroom, in a studio, at the beach, in a forest, on a mountain, in a city, in a park, in a garden, at a party, in a cafe, in a library, at home

这边只展示了一些可以替换的选项，建议可以参考更完整的 Ai绘图关键字查询和大量实际案例｜疯狂整理持续更新

以上教学模型是Perfect World，比较偏向电脑画作，而模型到ChilloutMix是真人，如果把一样Stable Diffusion咒语关键字放到ChilloutMix中能得到的结果是?….依照本篇教学自己操作一次就知道了。下方放小图案例供您参考。P.S.我把发型从undercut改成绑马尾ponytail

Stable Diffusion教学：加上地点与情境描述

Stable Diffusion必用 img2img 从图改图的功能

使用Stable Diffusion生成图像，可以根据指定的条件和约束生成高质量的图像。它可以用于创建合成图像、生成特定主题的图像，例如人脸、风景或动物等，或者生成独特风格的艺术作品。通过合理调整相关参数，可以生成具有不同细节、颜色和风格的图像。

以下图为例，左边是用prompts生出的原图，中间与右边是透过img2img功能，维持同一个主角，针对背景、发型、服装进行修改。

Stable Diffusion img2img功能非常适合大量替换图片背景或人物服装的场景。通过使用适当的遮罩，用户可以选择保留图像的某些部分，例如人物或物体，同时替换其他部分，如背景或服装。此外，通过调整相关参数，用户可以控制生成图像的细节程度和风格，实现最佳的视觉效果。

img2img使用步骤如下：

1. 在img2img功能板块汇入图片：用拖拉的方式在Stable Diffusion的img2img功能页面汇入图片
2. 使用遮照功能并产出新图：使用mask遮照功能要点选 inpaint按钮，接著用滑鼠把要改的地方涂黑，选paint masked。
3. 使用mask进行背景调整：一样用mask功能，先把人物圈起来，并选 Inpanit not masked，表示人物不要动。
4. 使用mask进行服装与背景调整：用遮照把脸部涂黑，并选择 Inpaint not masked （修改没遮照区）

这边有一篇手把手教学的案例，教你从换背景到换服装，到整个图片风格换掉，一次学会。完成这过程只要5分钟 👉 Stable Diffusion img2img 教学，以图改图换脸、换服装、换背景或风格(附大量案例)

stable diffusion模型范例

1. 真人风格的模型：Stable Diffusion v1.4。这个模型专门针对真实风格的图像，可以在这里找到各个版本，例如sd-v1-4.ckpt (4.3G) 。
2. 漫画风格的模型：Anything v3.0。这个模型专门针对漫画风格的图像，可以在这里找到 anything-v3-full.safetensors (7.7G) 。
3. 脸部修复模型：GFPGAN v1.4。这个模型专门用于修复图像中的人脸，可以在这里下载GFPGANv1.4.pth (332M) 。
4. ControlNet外挂：这个插件可以让你在AI生成图像的过程中，首先印上一个指定的形状，然后让AI补充剩下的部分。整体上，这是一个让你在AI生成图像中有更多贡献的工具。

除了以上提到的范例，还有一些其他模型和插件可以在Stable Diffusion WebUI中使用。例如，Canny插件可以用演算法细致地抓取图片的边缘线，作为参考来生成新图像。另外，有一些模型专门针对特定的主题或风格，如Civitai | Stable Diffusion models，这个网站上提供了不同风格的模型，可供使用者选择。

stable diffusion原理

Stable Diffusion 的原理涉及深度学习和生成对抗网络（GAN）技术。生成对抗网络包含两个神经网络，生成器和判别器，它们相互竞争以提高彼此的性能。生成器的目的是创建越来越逼真的图像，而判别器则要将生成的图像与真实图像进行区分。

在 Stable Diffusion 的过程中，生成器通常会接收一个随机噪声向量和描述图像的文字输入。这些输入将被转换成图像特征，然后经过多层神经网络生成逼真的图像。与此同时，判别器会评估生成的图像和真实图像之间的差异，并给出一个概率分数，表示生成的图像的真实性。生成器和判别器之间的竞争将持续进行，直到生成器创建出高度逼真的图像。

Stable Diffusion 在这一过程中可能还利用了其他额外的技术，如自注意机制（self-attention）和梯度惩罚（gradient penalty），以提高生成图像的质量和稳定性。

为什么要进行stable diffusion训练

进行Stable Diffusion训练的目的是为了让AI生成模型能够生成更高品质的自然图像和艺术作品。在训练过程中，模型会使用大量真实图像来学习如何从随机向量生成高品质图像。有时候，单靠预设的模型可能无法达到使用者期望的画风或效果。因此，进行训练可以改善这些问题，使得生成的图像更贴近使用者的需求。

训练Stable Diffusion模型可以扩展其应用范畴，使其能够支持特定的风格或需求。例如，有些使用者可能希望生成具有特定风格或主题的图像。通过对模型进行训练，可以使其能够生成符合使用者期望的图像。此外，训练过程可以涉及不同的技术，如Textual Inversion (Embedding)、HyperNetwork、LoRA等，这些技术可以为生成的图像提供更多的控制和细节。

为了成功地训练和生成Stable Diffusion模型，需要一个高性能的计算平台，包括高阶GPU、大量记忆体、存储空间和计算能力。此外，还需要安装相应的机器学习框架和库，例如PyTorch、CUDA等，并熟悉这些框架的使用。不过，现在有许多开发者已经创建了各种风格的模型供大家使用，用户也可以自己训练出自己喜欢的风格模型。

Stable Diffusion的训练方法涉及多种技术，包括Textual Inversion（Embedding）、HyperNetwork和LoRA。在训练过程中，模型使用大量真实图像来学习如何从随机向量生成高品质图像

训练Lora模型的步骤较为复杂，需要分为四个小步骤

基本步骤：

1. 安装Stable Diffusion web UI和Kohya’s GUI。这两个工具需要先安装在您的电脑上，才能开始训练Lora模型。
2. 下载模型。您需要下载一些模型，如control_sd15_canny.pth（草稿边缘侦测）和control_sd15_openpose.pth（提取图中人物骨架）。将这些模型放在stable-diffusion-webui\extensions\sd-webui-controlnet\models文件夹中。
3. 开始训练。使用Kohya’s GUI开始训练Lora模型。如果过程中遇到错误，可以尝试关闭Kohya’s GUI中的”8bit_adam”选项。
4. 使用Tagger进行标签反推。当您需要为模型训练提供更多资讯时，可以使用Tagger工具进行单张影像的分析反推，或者批次处理多张影像。

stable diffusion模型与图库资源

stable diffusion下载模型的网站 Hugging Face和civitai ，CivitAi能看别任做的图，能看到prompt细节，还能直接下载别人训练好的模型。

Stable Diffusion看图网站

结论

Stable Diffusion以其直观的操作界面、丰富的图像生成选项和便捷的调整功能，成为了一个值得一试的AI图像生成平台。无论您是专业的设计师、创意工作者，还是对AI图像生成感兴趣的初学者，Stable Diffusion都能为您提供灵活的创作选择和极具吸引力的视觉效果。

在这个AI技术不断创新的时代，Stable Diffusion将持续为您带来更多令人惊艳的图像生成体验，激发您无限的创意潜能，助您在艺术与科技的交汇处，挥洒出独具匠心的作品。

常见问题QA

Stable Diffusion 是什么？

Stable Diffusion 是一款免费开源的软体，透过 AI 技术生成图片。它可以根据使用者输入的关键字生成相应的图片作品。

Stable Diffusion 为什么要训练？

Stable Diffusion 需要训练以学习如何根据用户输入的关键字生成更符合需求的图片。透过大量的训练资料，AI 模型能更好地理解各种关键字，并生成更具创意和质量的图片。

Stable Diffusion 怎么免安装使用？

使用者可以使用Dream Studio网站，选择使用 Google 帐号、Disco 帐号登入，或注册新帐号。登入后即可免安装使用 Stable Diffusion 生成图片；有大约200张限制。而使用Stable Diffusion Demo则完全免费但需要较长等待时间。