FaceChain

基本介紹

facechain是一個可以用來打造個人數字形象的深度學習模型工具平臺。用戶僅需要提供最低一張照片即可獲得屬于自己的個人形象數字替身。結合不同的風格模型和寫真模版，可以生成超乎想象空間的個人寫真作品。更有意思的是，facechain還集成了說話人與虛擬試衣的功能，讓你的數字替身更加生動真實，拓展出了更多的商業價值與落地場景。

特色功能

功能優化

1.）one-shot訓練：

為了盡可能實現one-shot訓練的能力，facechain v2著重在a.）如何減小訓練樣本的分布空間，b.）通過pretrain提供更好的訓練初始點，c.）尋找合適的lora訓練超參等三方面入手。最終通過大量的實驗，目前已經沉淀出了較為穩定的one-shot訓練能力。80%的情況下，用戶可以通過單張圖上傳就能完成相應人物lora的finetune訓練，從而獲得專屬的個人形象模型，這大大降低了訓練成本。在訓練式人物寫真方法上，facechain首次將訓練成本降低到了SOTA商業應用的1/10，做到了近one-shot的訓練能力。

此外，facechain還在研發train-free的保ID人物生成方法，目前內部實驗上已顯著超過IP-Adapter的效果，預計將會在facechain v3版本中做發布，簡稱facechain-FaceAdapter技術。

2.）無限風格計劃：

      相較于facechain v1初始版本，v2版本增加了上百種精美的風格，重點是全部免費。目前在眾多的圖片/視頻分享網站上，已經有非常多介紹如何使用facechain做免費精美寫真生成的視頻，facechain儼然已經成為免費精美寫真制作的強力工具。除此之外，還有很多自由職業者在用facechain為用戶提供寫真服務，以及很多開發者及企業在做facechain API的接入。針對無限風格計劃，facechain預計將在facechain v3版本中提供一鍵式的寫真風格訓練接口，為寫真風格的制作提供便捷且高可用的一鍵化訓練接口，簡稱facechain-StyleMaker技術。

3.）SDXL寫真質感：

      facechain v2集成了強大的文生圖模型SDXL 1.0。SDXL 1.0是Statbility AI發布的新一代文生圖模型，通過各種嚴格的實驗驗證，SDXL已經超越了各種版本的Stable Diffusion模型，并且與當前商業級文生圖模型Midjournal生成效果不相上下。在SDXL的加持下，facechain的人像生成的質感有了質的飛躍。

功能拓展

1.）虛擬試衣：

      虛擬試衣這個話題由來已久，電商行業興起后，就有相關的研發討論。由其所見即所得的屬性，它可以進一步提升用戶服裝購買體驗。它既可以為商家做商品展示服務，也可以為買家做上身體驗服務，這讓它同時具備了B和C的兩個用戶屬性。隨著AIGC的興起，虛擬試衣也取得了一定的突破，facechain v2拓展了虛擬試衣功能。

根據是否需要對衣服做變形生成來劃分，虛擬試衣又可分為形變保ID與非形變保ID。其中非形變保ID（局部保ID）部分已在facechain v2中開源，另外形變保ID虛擬試衣技術已投遞CVPR，預計將在facechain v3中開源，簡稱facechain-TryOn技術。

2.）說話人視頻：

      說話人生成旨在將給定的肖像動態化，使其的嘴唇運動和音頻高度一致，這在數字人應用中至關重要。facechain v2集成了主流的開源算法SadTalker，相較于其他算法Wav2Lip和video-retalking，SadTalker可以控制頭部姿態和面部表情，并且還可控制眨眼頻率，能夠輸出更生動的說話視頻。除了原始的驅動功能，facechain v2的說話人視頻模塊還支持使用GFPEN作為后處理來提高生成質量，同時對于音頻輸入，支持三種選項，包括1）TTS合成，2）麥克風錄制，和3）本地文件上傳，用戶可以根據自己的需要來選擇輸入。此外，用戶可以從之前生成的寫真照片中選擇一張進行驅動，由此串聯了寫真照生成功能和說話人生成兩個功能，從而滿足了用戶多樣且豐富的生成需求。

在facechain v3版本中，人物視頻生成將是最主要的應用更新方向，facechain團隊在v3版本中將發布facechain-video功能，會覆蓋MagicTalker，MagicSinger，MagicLife，MagicDay，MagicMove等視頻功能。

3.）動漫風格化：

      動漫風格化可以將輸入圖片的人物圖像轉化成二次元虛擬形象，返回卡通化后的結果圖像。facechain v2集成了DCT-Net人像卡通化模型，DCT-Net模型同時提供人臉的2D動漫，3D，手繪，素描，美術風格的人臉轉換，目前facechain僅支持2D&3D動漫人臉生成。DCT-Net對訓練數據的scale要求較低，給定一小部分目標風格樣本，就能學習映射關系，將原風格遷移到目標風格，并保留原圖內容信息。同時，DCT-Net不僅有更好的人臉風格遷移質量及泛化能力，還能做人物全身圖片的風格遷移。它的「先校準再生成」新思路，就是讓少數目標形成的目標風格域與原始域對齊，再以此輔助網絡，讓模型更好學習原風格和目標風格的映射關系，并利用幾何擴展模塊減小空間約束，使風格遷移效果更為準確，又不丟失原始圖片信息。