My Lady Dolls

這次讓Lamia扮演了海鬥士的將軍們喔～

　　九年前，當第一個娃娃融入到我的生活時，我常常不禁期盼與幻想著，若娃娃們也能穿上帥氣的重重鎧甲，不知會是如何的英姿薩爽。可惜現實是殘酷的，按當時的模具技術（說真的，那怕是今天的技術也一樣...）光要組裝「一套」鎧甲（更何況我的野心是想蒐集全套...），馬上面臨：1.成載上的重量負荷問題、2.設計上的材質精緻度問題、3.穿搭後樣式外觀的契合問題（比較一下本世紀的「超合金魂的聖衣神話」與上世紀的「萬代的聖鬥士」兩代玩具，就可以體會我在講什麼...）...等諸多限制。
　　然而，在AI繪圖的驅動下，娃娃已經可以自由自在地出現在我們的虛擬相本中了（確切的說是2023/2/27自LoRA低階適應模型訓練技術被開源普及後）；並且今日讓娃娃留下『合身且帥氣』的COSPLAY紀錄照也已經不是問題了（確切的說是2023/4/26自ControlNet的tile初代模型發布之後）；此外，目前還可以無須拘泥動漫的原版設計，甚至可以大幅修改風格樣式、變更創意造型、優化紋路細節，使得整體造型更勝原版風格喔（確切的說是2023/8/16自ControlNet的IP-Adapter初代模型發布之後）。

註1、有關「LoRA低階適應模型訓練技術」可以回顧我的：
●(娃娃新玩法-1) 用SD1.5訓練LoRA娃娃的黃金法則-以我家的Siren為例
●(娃娃新玩法-2) 提升LoRA娃娃泛化性的關鍵因素-以我家Demeter為例

註2、有關「ControlNet模型測試（14種，包括tile）」可以回顧我的：
●(娃娃新玩法-3) 應用LoRA娃娃在CN下的三階段放大-以我家Lamia為例

那麼，這次就來進一步談談ControlNet（以下簡稱CN）的IP-Adapter（以下簡稱IPA）模型與CN其他模型的『混合運用』心得吧～

　　在使用AI繪圖工具如 Stable Diffusion（以下簡稱SD）或 ComfyUI 時，若能結合CN與IPA，將為生成圖像提供了強大的藝術創作，尤其在生成具有複雜風格細節的圖像時。這次，我主要使用了CN的 depth、canny 和 tile 此三個控制模型，並結合IPA風格引導模型技術，挑選聖鬥士裡的海鬥士們作為AI創作時的主題來源，並且加入了我為咱家娃娃 Lamia 所訓練的 LoRA 一起進行風格改創與融合喔。

　　若要在掌握動漫的原版主要外型下，再去變更內部的風格樣式、紋路細節、創意造型等，則CN下的控制模型「選用」與作用當下的「權重」就很關鍵。我對生成的圖像假設是：仍是在娃娃Lamia的臉型與身型下，具有原版動漫的主要外型，但背景風格與整體色調可以被更換，且盔甲的紋路與細部造型必須被更換；所以，生圖策略為：一方面要針對原參照圖的輪廓採強度控制，避免外型相異；但又要在細節方面進行相對較弱的控制，使其有較多的發揮空間；此外，還要讓風格發生迥然不同的改變，藉此可以發展出自己喜歡的風格。因此，具體的參數調整思路如下：
針對1輪廓強度控制：採用CN-canny控制模型，雖控制權重無須太高，但必須全程控制（Weight: 0.55, Guidance: 0.00~1.00）
針對2細節較弱控制：採用CN-tile控制模型，賦予低度權重的控制力，且中途再介入，並提前退出控制（Weight: 0.20, Guidance: 0.20~0.80）
針對「強度輪廓控制與低度細節控制」提供融合的緩衝控制：採用CN-depth控制模型，賦予中度權重的控制力，但須幾乎全程介入（Weight: 0.70, Guidance: 0.05~0.95）
就上述輪廓、細節已詳細控制下，針對3剩餘的風格進行移轉發散：採用CN-ip-adapter控制模型，並賦予高度權重以及接近掌控全程的控制力（Weight: 0.95, Guidance: 0.10~ 0.90）

如此策略，大至就可以獲得亮晶晶的鎧甲衣服了，那怕之前穿的是睡衣...

註：CN-canny模型則處理圖像的邊緣檢測；CN-tile模型則是先將圖片降低解析度藉此騰出空間來提供細節填補，故對細節具有高度的控制；而CN-depth模型主要負責控制圖像的深度信息與層次感。

接下來，就按照樓上的這個生圖策略，7位海鬥士將軍，以及人魚、海皇們，就一一帥氣登場囉～
（詳細的參數、創作過程，有興趣的可參閱文末的心得筆記～）

1. 北太平洋-海馬 將軍(4K成品圖)


2. 南太平洋-海妖女 將軍(4K成品圖)


3. 印度洋-海王子 將軍(4K成品圖)


4. 北冰洋-海魔獸 將軍(4K成品圖)


5. 南冰洋-海幻魔獸 將軍(4K成品圖)


6. 南太西洋-海魔女 將軍(4K成品圖)


7. 北太西洋-海龍 將軍(4K成品圖)


8. 海鬥士-美人魚(4K成品圖)


9. 海皇-波賽頓(4K成品圖)


再補一女神-張雅典娜喔～

後面，開始參數與技術知識經驗囉～
以下是本次SD介面的操作參數：

1. 加載器與CLIP文本編碼區


2. 採樣器與潛空間區


3. CN-IPA區


4. CN-depth


5. CN-canny


6. CN-tile

在CN-IPA的風格移轉上，使用不同的參照圖片，往往總是有意想不到的驚喜喔！
在前述7位海將軍的創作過程，我挑幾組有趣的參照圖，其他CN模型控制策略不變下，來看看最後的生成的風格吧～

1. 引入『黑暗元素且身穿布衣』所帶來的「暗系」鎧甲風格
   

2. 引入『超合金魂玩具』所帶來的「五彩但有點笨重」鎧甲風格
   

3. 引入『身著銀鎧甲』所帶來的「金中帶銀」的鎧甲風格
    

4. 引入『黃金聖衣』所帶來的「金上加金」鎧甲風格
      

其實，透過IPA進行AI創圖時，搭配其他各種不同的SD參數也會獲得截然不同的結果，比如搭配SD的採樣器（目前雖有21個，但為了筆記篇幅我只挑常用的9個）、調度器（目前有12個）；又比如IPA其實又可區分成5大IPA模型（sd15_light、sd15_light_v11、sd15、sd15_vit-G、sd15_plus），每個模型具有對參考圖不同程度的移轉能力；又比如官方作者為IPA模型制訂了14種風格移轉時的權重渲染模式...等。這已經交織出數上萬種可能（21*12*5*14...），無法一一測試，因此我只初步整理出「通則」，有幸興趣夥伴，就參考以下我的心得筆記吧～

第1頁～第6頁：基礎參數、海妖女將軍創作過程～

第7頁～第9頁：IPA五大模型比較、不同的採樣器比較、不同的調度器比較～

第10頁～第16頁：IPA權重模式差異比較、其他～