Stable Diffusion是一種基於AI的圖像生成技術,在快速發展的AI時代,圖像生成技術已成為各行各業趨勢之一。究竟如何在眾多的AI圖像生成平台中,找到一個既簡單易用又具備高品質輸出的工具呢?本文將帶您深入了解Stable Diffusion,一個專為您量身打造的創意圖像生成平台。從登入過程到圖像生成及調整,我們將為您提供詳盡的操作指南,讓您一探究竟,輕鬆掌握這項強大的技術。
這篇文章還會介紹3種安裝與使用方式:
- 安裝在電腦
- 免安裝直接使用網路工具
- *推薦* 部屬在Google Colab,免費使用最高規格(可參考 安裝Stable Diffusion玩高階Ai繪圖,手機、Mac都能跑,放Google Colab網頁運作免高階顯卡)
推薦使用Google Colab安裝Stable Diffusion的原因除了簡單、好用以外,最重要的是客製化程度非常高,學會正確關鍵字,你可以做出非常多符合期望的圖片。
看完本篇可以學到:
stable diffusion是什麼
Stable Diffusion是一種基於AI的圖像生成技術,它通過將圖像逐步從高度隨機的噪聲狀態進行重建,最終生成一個清晰的圖像。這種技術可以用於生成各種風格和主題的圖像,如風景、人物、建築等,並能夠根據特定的指令生成具有特定特徵和風格的圖像,甚至催生了新職業ai詠唱師。Stable Diffusion在AI圖像生成領域具有很高的潛力,並且因為其免費和易用的特點,受到許多創作者和設計師的青睞。
關於Ai詠唱師可參考 認識Ai詠唱師:21世Ai電繪新職業。培養3種賺錢技能
stable diffusion下載與安裝教學
下載Stable Diffusion懶人包。懶人包包含兩個部分:SD-WebUI啟動器和數據整合包。
解壓縮SD-WebUI啟動器:下載完成後,將SD-WebUI啟動器解壓縮並放入數據整合包中。
安裝相關檔案:在安裝Stable Diffusion之前,可能需要安裝一些相關的檔案。請確保您已經安裝了Python和Anaconda。
環境配置:在安裝過程中,需要進行一些環境配置。在Windows 11環境下進行安裝,使用CPU內顯。記憶體需要2條16GB 3200 MHz,硬碟建議預留30GB以上的空間。
啟動Stable Diffusion:將SD-WebUI啟動器放入數據整合包中後,運行SD-WebUI啟動器以啟動Stable Diffusion。這樣可以讓您無需手動啟動各個腳本,即開即用。該網站還包括軟件更新、中文化、管理模型和疑難掃描等功能。
免安裝直接用的方法
Dream Studio
Stable Diffusion是一個免費的開源軟體,專門用於生成圖像。儘管許多人可能不知道如何安裝和使用這個軟體,但我們可以通過一些現成的服務來使用它。
一種使用Stable Diffusion的方法是訪問官方網站Dream Studio。在這個平台上,用戶可以免費生成大約一百張圖像。
使用Dream Studio步驟
- 點選連結網址:首先,點選上方提供的連結網址,進入該網站。
- 選擇登入方式:在網站中,選擇自己的登入方式(可以使用Google帳號或Disco帳號),或者註冊新帳號。
- 輸入關鍵字:使用帳號登入網頁後,可以進行「輸入關鍵字」的操作。
- 瀏覽網頁設計:網頁左側可查看自己建立圖片的紀錄;右側可以調整圖片產生的大小、張數、繪畫步驟的多寡。
- 參考預設關鍵字:在網站下方的輸入文字欄,會先幫你輸入好文字。可以先參考網站是如何輸入的,以及查看輸入後的結果。
通過以上步驟,您可以輕鬆地使用Stable Diffusion網站,進行圖片生成。
Stable Diffusion Demo(免費但等待時間長)
另外一種使用方法Stable Diffusion Demo,進入到「Stable Diffusion Demo」網站即可看見指令輸入欄位,或是網頁下方也有一些案例可以參考。
Dream Studio與Stable Diffusion Demo比較
在兩邊用一樣的指令:A high tech solarpunk utopia in the Amazon rainforest,左圖是Stable Diffusion Demo版本,右圖是Dream Studio版本。
指令比較測試:A pikachu fine dining with a view to the Eiffel Tower
安裝在Google Colab上(推薦)
由於 Google Colab 這種免費的雲端運算平台的出現,使用者現在可以直接在瀏覽器上運行 Stable Diffusion,而無需擔心硬體需求和資源消耗。Google Colab 提供了一個方便的環境,讓任何人都可以輕鬆地在雲端運行 AI 模型,而無需自己配置硬體設備。以下是在Google Colab上使用Stable Diffusion流程:
- 選擇 Github 上面開源的筆記本檔案
- 使用 Google Colab 架設 Stable Diffusion WebUI 環境
- 進入 Stable Diffusion WebUI 內提供 Prompt 關鍵字咒語以及設計圖片參數
- 產生數張不同的 AI 圖片
這意味著,無論您使用的是什麼裝置,甚至是手機,您都可以免費使用 Stable Diffusion 進行 AI 繪圖。這大大降低了使用門檻,讓更多人能夠享受到 AI 繪圖帶來的便捷和創意樂趣。
Stable Diffusion教學:做出人物
我推薦使用Stable Diffusion並且安裝在Google Colab上,優點除了簡單、好用與免費外,最重要的是客製化程度高,例如這是兩張基本的圖
Stable Diffusion教學:加上指定動作
如果你想看Ai女主角的背面,用一樣的咒語單純加上動作,例如:穿裙子,露出屁股,背對鏡頭
在提詞prompt中加上:wearing red skirt, panties ,showing buttocks, skirt above ass, wearing skirt, back to viewer,女主角有一樣風格但畫面呈現結果完全不同。
以髮型、髮色與頭飾為案例,以下是一個表格,用來說明可以將英文中括弧標示的文字進行替換。以髮型為例,您可以將 “undercut” 替換成其他髮型,如 “ponytail”。hair style[undercut], [red] hiar, [crown]
原始文字 | 可替換選項 |
---|---|
髮型 [undercut] | ponytail, bob, pixie, braid, bun, wavy, curly |
紅色 [red] | blue, green, blonde, brown, black, pink |
頭飾 [crown] | hat, headband, tiara, beanie, cap, headscarf |
這邊只展示了一些可以替換的選項,建議可以參考更完整的ai繪圖關鍵字大全 Ai電繪關鍵字查詢和大量實際案例|瘋狂整理持續更新
Stable Diffusion教學:加上地點與情境描述
一樣風格的服裝,在情境設定加上 happy 的效果
用一樣服裝與圖片風格但換轉換場景,加上穿西裝的攝影師,變成cosplay現場
stable diffusion模型範例
- 真人風格的模型:Stable Diffusion v1.4。這個模型專門針對真實風格的圖像,可以在這裡找到各個版本,例如sd-v1-4.ckpt (4.3G) 。
- 漫畫風格的模型:Anything v3.0。這個模型專門針對漫畫風格的圖像,可以在這裡找到 anything-v3-full.safetensors (7.7G) 。
- 臉部修復模型:GFPGAN v1.4。這個模型專門用於修復圖像中的人臉,可以在這裡下載GFPGANv1.4.pth (332M) 。
- ControlNet插件:這個插件可以讓你在AI生成圖像的過程中,首先印上一個指定的形狀,然後讓AI補充剩下的部分。整體上,這是一個讓你在AI生成圖像中有更多貢獻的工具。
除了以上提到的範例,還有一些其他模型和插件可以在Stable Diffusion WebUI中使用。例如,Canny插件可以用演算法細緻地抓取圖片的邊緣線,作為參考來生成新圖像。另外,有一些模型專門針對特定的主題或風格,如Civitai | Stable Diffusion models,這個網站上提供了不同風格的模型,可供使用者選擇。
stable diffusion原理
Stable Diffusion 的原理涉及深度學習和生成對抗網絡(GAN)技術。生成對抗網絡包含兩個神經網絡,生成器和判別器,它們相互競爭以提高彼此的性能。生成器的目的是創建越來越逼真的圖像,而判別器則要將生成的圖像與真實圖像進行區分。
在 Stable Diffusion 的過程中,生成器通常會接收一個隨機噪聲向量和描述圖像的文字輸入。這些輸入將被轉換成圖像特徵,然後經過多層神經網絡生成逼真的圖像。與此同時,判別器會評估生成的圖像和真實圖像之間的差異,並給出一個概率分數,表示生成的圖像的真實性。生成器和判別器之間的競爭將持續進行,直到生成器創建出高度逼真的圖像。
Stable Diffusion 在這一過程中可能還利用了其他額外的技術,如自注意機制(self-attention)和梯度懲罰(gradient penalty),以提高生成圖像的質量和穩定性。
為什麼要進行stable diffusion訓練
進行Stable Diffusion訓練的目的是為了讓AI生成模型能夠生成更高品質的自然圖像和藝術作品。在訓練過程中,模型會使用大量真實圖像來學習如何從隨機向量生成高品質圖像。有時候,單靠預設的模型可能無法達到使用者期望的畫風或效果。因此,進行訓練可以改善這些問題,使得生成的圖像更貼近使用者的需求。
訓練Stable Diffusion模型可以擴展其應用範疇,使其能夠支持特定的風格或需求。例如,有些使用者可能希望生成具有特定風格或主題的圖像。通過對模型進行訓練,可以使其能夠生成符合使用者期望的圖像。此外,訓練過程可以涉及不同的技術,如Textual Inversion (Embedding)、HyperNetwork、LoRA等,這些技術可以為生成的圖像提供更多的控制和細節。
為了成功地訓練和生成Stable Diffusion模型,需要一個高性能的計算平台,包括高階GPU、大量記憶體、存儲空間和計算能力。此外,還需要安裝相應的機器學習框架和庫,例如PyTorch、CUDA等,並熟悉這些框架的使用。不過,現在有許多開發者已經創建了各種風格的模型供大家使用,用戶也可以自己訓練出自己喜歡的風格模型。
Stable Diffusion的訓練方法涉及多種技術,包括Textual Inversion(Embedding)、HyperNetwork和LoRA。在訓練過程中,模型使用大量真實圖像來學習如何從隨機向量生成高品質圖像
訓練Lora模型的步驟較為複雜,需要分為四個小步驟
基本步驟:
- 安裝Stable Diffusion web UI和Kohya’s GUI。這兩個工具需要先安裝在您的電腦上,才能開始訓練Lora模型。
- 下載模型。您需要下載一些模型,如control_sd15_canny.pth(草稿邊緣偵測)和control_sd15_openpose.pth(提取圖中人物骨架)。將這些模型放在stable-diffusion-webui\extensions\sd-webui-controlnet\models文件夾中。
- 開始訓練。使用Kohya’s GUI開始訓練Lora模型。如果過程中遇到錯誤,可以嘗試關閉Kohya’s GUI中的”8bit_adam”選項。
- 使用Tagger進行標籤反推。當您需要為模型訓練提供更多資訊時,可以使用Tagger工具進行單張影像的分析反推,或者批次處理多張影像。
stable diffusion模型與圖庫資源
stable diffusion下載模型的網站 Hugging Face和civitai ,CivitAi能看別任做的圖,能看到prompt細節,還能直接下載別人訓練好的模型。
Stable Diffusion看圖網站 MajinAI ,這邊有很多人分享AI繪圖。
PixAI.Art 可以直接看圖也能線上算圖
結論
Stable Diffusion以其直觀的操作界面、豐富的圖像生成選項和便捷的調整功能,成為了一個值得一試的AI圖像生成平台。無論您是專業的設計師、創意工作者,還是對AI圖像生成感興趣的初學者,Stable Diffusion都能為您提供靈活的創作選擇和極具吸引力的視覺效果。
在這個AI技術不斷創新的時代,Stable Diffusion將持續為您帶來更多令人驚艷的圖像生成體驗,激發您無限的創意潛能,助您在藝術與科技的交匯處,揮灑出獨具匠心的作品。
常見問題QA
Stable Diffusion 是一款免費開源的軟體,透過 AI 技術生成圖片。它可以根據使用者輸入的關鍵字生成相應的圖片作品。
Stable Diffusion 需要訓練以學習如何根據用戶輸入的關鍵字生成更符合需求的圖片。透過大量的訓練資料,AI 模型能更好地理解各種關鍵字,並生成更具創意和質量的圖片。
使用者可以使用Dream Studio網站,選擇使用 Google 帳號、Disco 帳號登入,或註冊新帳號。登入後即可免安裝使用 Stable Diffusion 生成圖片;有大約200張限制。而使用Stable Diffusion Demo則完全免費但需要較長等待時間。