91麻豆国产免费观看_国产成人精品一区二区免费_久久99免费视频_天天干天天操天天摸

首頁 > 知識技能 > 知識技能 > 多模態(tài)對齊在小紅書推薦的研究及應(yīng)用

多模態(tài)對齊在小紅書推薦的研究及應(yīng)用

發(fā)布時間:2024-09-24 16:52:42來源: 13041198719

在 CIKM 2024 上,小紅書中臺算法團(tuán)隊提出了一種創(chuàng)新的聯(lián)合訓(xùn)練框架 AlignRec,用于對齊多模態(tài)表征學(xué)習(xí)模型和個性化推薦模型。本文指出,由于多模態(tài)模型與推薦模型在訓(xùn)練過程中存在步調(diào)不一致問題,導(dǎo)致聯(lián)合訓(xùn)練被推薦信號主導(dǎo),從而丟失大量多模態(tài)信息。AlignRec 通過分階段對齊的方式,設(shè)計了三種針對性的優(yōu)化損失函數(shù),使得聯(lián)合訓(xùn)練能夠同時兼顧多模態(tài)信息和推薦信息。實驗結(jié)果表明,AlignRec 在多個數(shù)據(jù)集上的性能超過了現(xiàn)有的 SOTA(state-of-the-art)模型。此外,AlignRec 還提供了在當(dāng)前廣泛使用的公開數(shù)據(jù)集亞馬遜上的預(yù)處理特征,這些特征的效果顯著優(yōu)于現(xiàn)有的開源特征。


最近多模態(tài)是個非常熱門的話題,尤其是在大模型以及 AIGC 領(lǐng)域,多模態(tài)基建和技術(shù)是走向未來商業(yè)化的奠基石。在過去的多模態(tài)大模型研究方向上,模態(tài)的“對齊”已經(jīng)被驗證非常重要,分布的不一致?lián)p害不同模態(tài)的理解,我們此次要討論的核心問題是多模態(tài)在推薦中的對齊問題;

 

在具體介紹論文工作之前,我們先來介紹下我們過去在推薦和電商中的實踐工作:

 

推薦實踐


上述方法是我們對 BM3論文進(jìn)行改進(jìn) 上線的方案,該方案實際上做的是通過損失函數(shù)來實現(xiàn)“對齊”工作。我們的對模型的期望也是保留個性化的同時,能夠?qū)R行為和多模態(tài)的空間,進(jìn)一步增加長尾的個性化分發(fā)能力。先說效果:

 

該模型實驗在推薦發(fā)現(xiàn)頁取得時長、曝光、點擊等核心指標(biāo)收益,除此之外,在長尾分發(fā)上,0 粉作者筆記點擊和曝光獲得大幅增長,整個召回路增加了全局可分發(fā)筆記數(shù) 6%,分發(fā)筆記集中在 1k-5k 的筆記曝光集合;同時,我們的方法也被復(fù)用在了電商場景,分發(fā)長尾同時,獲得 DGMV 等核心指標(biāo)收益。

 

很顯然,從上述可以看出,“對齊”的效果立竿見影,在業(yè)界應(yīng)用上我們已經(jīng)取得實質(zhì)性進(jìn)展,但本質(zhì)上這樣的設(shè)計方案依然并沒有完全解決多模態(tài)推薦問題,因為我們的多模態(tài)模型和推薦模型是相對割裂的,等同于直接拿表征來使用,這樣的設(shè)計打通了應(yīng)用范式,卻無法判斷多模態(tài)模型本身能力對效果的上限,對于選擇合適多模態(tài)表征存在一定的難度。但如果我們引入文本/圖等 Encoder(Transformer)等進(jìn)行聯(lián)合訓(xùn)練,會引入如下的問題:

 

在大規(guī)模的數(shù)據(jù)下,分布式訓(xùn)練引入圖文 Encoder 會造成資源和性能問題,尤其是注重高時效性的 Streaming Data;
訓(xùn)練步調(diào)不一致,往往多模態(tài)模型需要大量數(shù)據(jù)甚至多個 Epoch 才能收斂,但推薦模型通常采取單輪訓(xùn)練,這也導(dǎo)致多模態(tài)模型訓(xùn)練不充分;

所以我們設(shè)計聯(lián)合訓(xùn)練模型,通過設(shè)計分階段對齊的方式和中間指標(biāo)評估,解決上述聯(lián)合訓(xùn)練問題,并且引入了三種針對性的優(yōu)化損失函數(shù),使得聯(lián)合訓(xùn)練能夠同時兼顧多模態(tài)信息和推薦信息,解決聯(lián)合訓(xùn)練中的“對齊”問題,提升效果上限。

 

下面我們從相關(guān)工作,核心挑戰(zhàn),模型設(shè)計介紹整體工作。

 

我們在這里通過 (a), (b), (c) 描述了在過往的學(xué)術(shù)界目前多模態(tài)推薦方向的相關(guān)工作,總結(jié)主要的發(fā)展路徑:

圖(a),直接利用,比如把 embedding,多模態(tài)特征作為信號輸入網(wǎng)絡(luò);
圖(b),利用圖等方式聚合,希望能得到更豐富的多模態(tài)信息表達(dá),這本質(zhì)上也是增加多模態(tài)側(cè)信息的召回率;
圖(c),聯(lián)合優(yōu)化,把模態(tài)損失和行為損失共同優(yōu)化,但這忽略了本身筆記側(cè)的多模態(tài)學(xué)習(xí)。
在工業(yè)界,現(xiàn)階段推薦系統(tǒng)主要還是依賴于 ID 特征的學(xué)習(xí), 大多數(shù)多模態(tài)推薦把多模態(tài)信息作為 sideinfo 去輔助 ID 特征的學(xué)習(xí)。但是, 多模態(tài)之間以及 ID 模型與多模態(tài)之間都存在著語義鴻溝, 直接使用甚至可能適得其反。

 

核心挑戰(zhàn)

為了貼合業(yè)界實際,設(shè)計一款有效的多模態(tài)與推薦聯(lián)合訓(xùn)練模型會遇到如下的挑戰(zhàn):

 

挑戰(zhàn)1: 如何對齊多模態(tài)表征。包括內(nèi)容模態(tài)之間(如圖文)的對齊,以及內(nèi)容模態(tài)與 ID 模態(tài)之間的對齊;
挑戰(zhàn)2: 如何平衡好內(nèi)容模態(tài)和 ID 模態(tài)之間的學(xué)習(xí)速度問題。內(nèi)容模態(tài)可能需要超大規(guī)模的數(shù)據(jù)和時間去訓(xùn)練, 而 ID 模態(tài)的學(xué)習(xí)更新可能只需要幾個 epoch。
挑戰(zhàn)3: 如何評估多模態(tài)特征對推薦系統(tǒng)的影響。引入不合適的多模態(tài)信息可能需要更多的精力去做糾正, 甚至可能影響推薦系統(tǒng)的性能。

我們所提出的方法命名為 AlignRec,整體框架如下圖所示, 主要包含3個模塊: Multimodal Encoder Module, Aggregation Module, 以及 Fusion Module, 下面分別進(jìn)行介紹。


Multimodal Encoder Module

 

知識技能更多>>

寧德時代參投新公司,哪吒汽車轉(zhuǎn)經(jīng)銷商,極氪007GT等新車型來襲 預(yù)計2026年發(fā)布 新款保時捷Cayenne Coupe諜照曝光 豐田皇冠威爾法墨金版上市,91.9萬起售,配置升級能否打動你? 2025款奧迪Q2L降價上市,配置微調(diào),售價17.18-21萬元 智能網(wǎng)聯(lián)與快速充電技術(shù)齊亮相2025武漢新能源汽車技術(shù)及充電樁展會揭示新能源車新趨勢 領(lǐng)克900首發(fā):SPA Evo架構(gòu)旗艦SUV,能否撼動大型SUV市場? 法拉第未來FX首款原型車諜照曝光,網(wǎng)友:魏牌高山換了個模具? 搭載高通驍龍數(shù)字底盤 零跑B10或售13萬起 等等再出手 四款國產(chǎn)SUV來襲 比亞迪唐L、領(lǐng)克900領(lǐng)銜 推薦奢享版 2025款名爵MG7購車指南 大眾牽手小鵬,合力打造超20000個自營充電終端 嵐圖汽車首發(fā)LFC超級后驅(qū)技術(shù),既防眩暈,又抗甩尾! 這三款車企車型為何遇冷? 增長29%!蘇州金龍2024年銷售額超百億 從燃油到新能源,這個品牌為何從沒有能力天花板? 2025誰是下一家盈利的新勢力汽車車企? 730馬力!Brabus爆改AMG CLC 63 SE 零百加速3.3秒 速騰換殼 捷達(dá)VA7量產(chǎn)下線 預(yù)售12萬元起 22.48萬起 北京BJ40魔核電驅(qū)版開啟預(yù)售 配增程系統(tǒng)/綜合續(xù)航1200km 彰顯中國品牌實力 比亞迪海豹拿下日本年度風(fēng)云車大獎 降價6000美元 2025款美版豐田bZ4X上市 配置小幅升級 有望明年上半年上市 奧迪Q6L e-tron投產(chǎn) A6 e-tron隨后跟進(jìn) 2.9秒破百 BRABUS爆改AMG GT 63 Coupe 動力大幅升級 最高降價8.5萬元 Jeep牧馬人4xe價格調(diào)整 49.99萬元起 名爵MG ES5昆明亮相,首批車主交車,最低僅售9.99萬元起! 海馬汽車攜多項專利亮相2024海南國際知識產(chǎn)權(quán)交易大會 余承東攜手“四界”領(lǐng)導(dǎo)人亮相央視,揭秘鴻蒙智行背后的故事 當(dāng)?shù)厥蹆r916.9萬起!極石ROX 01正式亮相俄羅斯市場 Momenta獲德國TÜV萊茵ISO 26262 ASIL D功能安全產(chǎn)品認(rèn)證 蓋世汽車榮獲“AUTOSAR中國中心年度特別貢獻(xiàn)獎”