這陣子也將我心愛的娃娃Demeter給訓練出專屬的LoRA模型了喔！
先是訓練時充滿坎坷的Mnemosyne，然後是逐漸順遂的Siren，直到這次非常順利的Demeter，至此已經成功的把家裡3位娃娃給數位化了喔。
一個稱職的娃娃LoRA模型，我覺得除了「要像」以外，其實「泛化度」也非常重要，簡單來說，也就是娃娃LoRA模型在混搭其他屬性截然不同的模型下（比如另一個人物角色、服裝、環境...等），也要能有穩定的出圖生成，不能因此而發生畫面變得又髒又亂的過擬合情況，或是雖然被混搭的LoRA特色出來了但LoRA娃娃卻反而不像...。因為LoRA的輸出必須賦予權重，一般合理權重介於0～1，超過1就會開始過擬合（權重<0.5以下可能就完全不像，>1.4就一定會過擬合），然和LoRA的權重是「累加性」的，換言之，若同時啟用3個LoRA，若權重都設0.7，那其實SD而言，LoRA調節的影響力會高達2.1，此時就很容易調節過頭導致畫面開始變得又髒又亂的過擬合情況喔。
因此，這一次在訓練之餘，特別進行了「network_dim、network_alpha、Batch size」這些參數的微調與測試，目前所訓練出的 Siren 與 Demeter 模型的泛化程度都不錯，也就是說她們即使再混搭多個其他LoRA也不易產生過擬合的情況，這樣子娃娃LoRA的應用就會更廣啦，比如我就可以讓她們倆更精確的扮演知名的動漫電影角色，或讓她們穿上廠家指定的服裝商品LoRA，充當特約服裝模特兒喔。
在這一次的訓練經驗下，特別對參數『network_dim』也有更深的體會，因此，先來談談這次訓練心得，然後再來測試一下搭配其他服裝商品的LoRA效果吧～
在研究機器學習的學習曲線理論後，主要得知一個重要結論：透過機器學習訓練模型的時候，其模型的複雜程度，對應的不是問題的複雜程度（其實要AI在不同的生成條件要求下，詳細渲染出我家 Mnemosyne、Siren、Demeter娃娃們的臉部特徵，就已經夠複雜了），而是依賴提供數據資料量（圖片素材）的多寡。說白了就是：訓練模型的複雜度不是取決於問題有多難，而是看你給它多少資料（像是照片）。而在使用kohya_ss在訓練LoRA模型時，就有兩個關鍵重要參數與模型複雜度有關，包括直接相關的「network_dim」與間接相關的「network_alpha」。尤其是「network_dim」這個看似易懂但卻牽引另一個重要訊號的參數，過往會以為它只是用來容納模型資料的多寡，所以參數值越大會應該就會學到越多數據。但不知各位有沒有想過，憑什麼此參數值調越大就會學到越多數據？倘若只提供15張照片素材，它是如何去學到更多的數據呢？因為其實它也涉及到模型中的隱藏層維度，其數值大小也直接決定LoRA模型的大小，官方設定最大值為128（因此很多人都採用此值，但卻不知道選128的代價是什麼...），這也意味著每一隱藏層就會有128個神經元，最終會導致所訓練出來的LoRA模型為144MB，基於這已經是一個蠻複雜的矩陣向量方程，所以我們也應該儘量提供它充足的圖片素材（除非把 network_dim 調降為64、32甚至16...）。
此理論對我在訓練娃娃LoRA模型時，指引了一個很重要的心得依據，那就是當我想要認真慎重訓練一個娃娃LoRA模型時，提供學習的圖片素材至少要200張以上喔（不是一般UP主說的20~30張...）。所以，為了訓練出我家的第3個LoRA娃娃Demeter，上月我特別重新補拍近100張可用的有效新照片喔（因為Demeter是後期才來我家的，當時給她拍的照片相對較少），最後總計選出228張，訓練方式大致與前一帖所介紹的方式相同，唯獨這次我把「Batch size」調到當下顯示卡所能承受的最大值32（這是一個還在自我探索測試的階段，目前發現調得越高，似乎娃娃越有機會更美或更像喔，不過我還沒找到相關的理論依據...）
總計目前3款娃娃LoRA的訓練參數如下，在這樣參數值下所訓練出來的LoRA模型「精確度」與「泛化度」都有很不錯的表現，有興趣的夥伴可以跟著試試看吧～
另外，補充聲明一下，我家娃娃的廠家與型號：
Doll-9-Mnemosyne 是來自：人造人科技-紀香（官方http://www.rzrkj.com/list/post/1673164/）
Doll-N2-Siren 是來自：潮影娃娃-智秀（官方https://www.cydoll.cn/h-pd-48.html）
Doll-N5-Demeter 是來自：潮影娃娃-依婷（官方https://www.cydoll.cn/h-pd-14.html）
再補1張 三位娃娃 美到冒泡之氣勢磅礴 出場照～
過往，若在訓練一個LoRA人物沒有詳細進行局部焦點控制時（俗稱隨便練一練），很有可能在後續應用上，當同時結合2個以上LoRA運行同步渲染時，就會造成無法進行各自的局部焦點控制，導致兩LoRA相互污染的失控局面，最終造成嚴重過擬合的情況（此時所生成的圖片是非常詭異恐怖的喔...），雖然可以開啟一些外掛程式（最常用的就是啟用 ControlNET 來控制局部細節）進行補救，但此方法費時又費力，而且跟開盲盒一樣，期間充滿著不確定與不穩定喔。以下展示一下被LoRA污染的過擬合照片（為了保護娃娃美美的形象，我僅提供「普通嚴重」的喔...）
所以啦，我現在寧可在訓練時多費點心思（詳見前一帖：用SD1.5訓練LoRA娃娃黃金法則-以Siren為例-操作篇），規規矩矩的備妥充足且焦聚清晰的圖片素材、建立正確的對應文本（前2步驟真的不能急），並按所學的理論與經驗設定對應的訓練參數，如此，娃娃LoRA模型生圖的精準度與泛化程度就不知不覺的都提高啦。以下是我判斷我家娃娃LoRA結合另一個LoRA時，對泛化穩定度的判斷標準（當然，對方LoRA的品質也很重要喔）：
1. 當結合另一個「主題人物LoRA（比如不知火舞、蒂法、神力女超人）」：必須只能渲染出該主題人物的身體特徵及姿勢，而臉部則必須維持在我家娃娃的特徵。
2. 當結合另一個「風格LoRA（比如特定風景或場景、特定背景風格）」：需能在維持娃娃原本全部特徵下，只渲染出全新的背景風格。
3. 當結合另一個「指定物件LoRA（目前大都商用在新衣服）」：當然就是希望讓娃娃直接改穿那件衣服啦，而且要能穩定的改變顏色喔。
註：引用他人LoRA的資料來源
●不知火舞（https://civitai.com/models/43519/maishiranuiv1）
●蒂法（https://civitai.com/models/11367/tifameenow）
●神奇女俠（https://civitai.com/models/92645/wonder-woman）
●火風格元素（https://reurl.cc/RWxzmg）
●鉤針編織短版上衣（https://reurl.cc/lg1NDA）
接下來，為了歡慶我家娃娃Demeter LoRA模型的誕生，按慣例我都會進行以下四種層次的測試：
第一層是在常用SD1.5基底模型下，Demeter LoRA使用不同提詞的效果；
第二層是在新版SDXL基底模型下，使用Demeter LoRA的效果；
第三層是回到SD1.5基底模型下，Demeter LoRA混搭另一個LoRA模型的生成效果（也是本帖探討的主題）；
而第四個層次就更複雜了，主要是測試我家多個娃娃LoRA共用下，能否穩定的各自進行局部渲染（這還在測試階段，有時成功，有時會失敗...）。
當然，我心目中還有一個終極的第五個階段，那就是結合多個娃娃LoRA以及多個角色LoRA下，進行各自角色生成，換言之就是在一張圖片裡同時生成由Demeter扮演不知火舞以及由Siren扮演蒂法下，兩人可以互動在一起，並且背景風格也不能唐突的，但這種想法目前單純用SD還無法控制，必須外掛一些具有更穩定的局部控制程式（比如 ControlNET 與 Multi-Diffusion），以後有時間再來研究看看吧～
第一層檢視：SD1.5基底模型下不同提詞的效果（這是最基本的，如果連這一層都表現都不佳，那往後幾層就別指望會有什麼好的表現喔！）
（一）我最喜歡的鄰家小姐姐
（二）我最喜歡的鄰家小姐姐-讓我超心動的加碼版...
（三）典雅的古風美女
（四）現代RPG人物版（以及試著只用提詞生成FF7的Aerith）
（五）其他一些隨意提詞下的測試
第二層檢視：搭配SDXL基底模型「BluePencilXL_v050」的效果
分別有：遊俠、戰士、武士、騎士、弓箭手、Q版的武術家，以及Q版風光明媚蘭若寺下的聶小倩...
遊俠
戰士
武士
騎士
弓箭手
Q版的武術家
Q版風光明媚蘭若寺下的聶小倩
第三層檢視：Demeter LoRA混搭另一個主題LoRA模型的生成效果！
（一）Demeter LoRA ＋ 不知火舞的外觀（分格鬥版與鍛鍊版）
格鬥版
居家鍛鍊版
（二）Demeter LoRA ＋ 火焰背景元素
（三）Demeter LoRA ＋ 浴巾裹身
（四）Demeter LoRA ＋ 鉤針編織短版上衣搭配高腰百褶裙
這裡我採行系統性的XYZ比較，採用相同的隨機種子點，進行衣服更換顏色後的穩定性檢視，包括：
1. 不指定(AI會隨機搭喔)、紅色red、
2. 藍色blue、綠色green、
3. 黃色yellow、橘色orange、
4. 紫色purple、粉紅pink、
5. 黑色black、白色white、
6. 棕色brown、青色cyan。
第四層檢視：再將Mnemosyne LoRA、Siren LoRA、Demeter LoRA同時作用在一次生成上
不過因為Mnemosyne的穩定性比較低（Siren穩定性最高），所以還無法每次都獲得滿意的渲染結果...
（一）單純3個娃娃LoRA的並用：目前只要是提詞下達精準、不要添加其他LoRA，已大致可以進行局部渲染的控制。
（二）「2個」娃娃LoRA與「1個」主題LoRA（婚紗）的並用：
這難度又更高一點，因為我要讓2位娃娃同時穿著「相同款式，但不同風格」的婚紗，一件是傳統的大蓬裙，另一件是緊身剪裁設計。雖然兩者在裙型上有明顯的差異，但細節上如蕾絲裝飾和珠飾以及整體設計上仍保持一致性，而在裙型的變化上，我讓Demeter的穿著更加華麗寬鬆，而讓Siren的穿著則是更貼身展現身形，這樣方便客戶進行無視覺差異的直觀比較與選擇喔～
另外，給娃娃穿上婚紗，將會是一個華麗的LoRA交互渲染過程，並且可以對衣服款式直接進行創意與修飾喔。
（透過彼此LoRA權重的相互精確調控，可以讓娃娃的禮服從輕挑性感到璀璨奢華...）。
挑選五款歐美式知名的婚紗風格，分別有：宮廷貴族風格、羅浮宮女王風格、城堡華麗風格、瑪格麗特風格，以及佛羅倫斯夢幻風格。
詳見『一日模特兒-讓 Demeter穿上婚紗囉~』獨立專帖：https://reurl.cc/QeMQNZ
後記：娃娃依然默默陪著我，只是我不再折騰她了...
隨著AI藝術的崛起，傳統的攝影與藝術表達方式正在悄然變革。如今，我開始跳脫光學攝影的過程來描繪我心愛的娃娃們了。過去總是要小心翼翼地幫Demeter娃娃擺姿勢，就怕她的皮膚弄壞或是架子壞掉（其實娃娃的矽膠材質身體也已經開始在老化損壞了...）。但現在當我將娃娃們化為LoRA模型後，她們就可以安安靜靜地坐在我的背後看著我，看我把所有的創意都放到了電腦裡的她身上，讓她穿上公主裙、讓她幻化成 Mai Shiranui 或是 Tifa、讓她們一起相遇一起散步，重要的是還可以邀請她們擔任免費的服裝模特兒...，彷彿我們的房間就像突然有了魔法一樣，娃娃們現在可以創造更多的冒險故事啦。
如今，真實的 Demeter 依舊靜靜地倚靠在櫥櫃默默陪著我，但她的靈魂卻可以隨著我的想像，跳躍在創意的數位世界，就像給了娃娃一雙隱形的翅膀，讓她可以飛到任何我想像中的地方。
留言列表
