驅(qū)動(dòng)增強(qiáng)終端側(cè)生成式AI體驗(yàn)的技術(shù)：LoRA

　　作者：Pat Lawlor 高通技術(shù)公司技術(shù)市場(chǎng)總監(jiān)

　　增強(qiáng)情境化和定制化一直是用戶(hù)體驗(yàn)提升的推動(dòng)力。盡管生成式AI已展示出變革性的潛力，但仍有進(jìn)一步提升的豐富空間。

　　為了滿(mǎn)足對(duì)定制化和情境化相關(guān)體驗(yàn)日益增長(zhǎng)的需求，本文將探討為何LoRA即將產(chǎn)生重大影響。

　　類(lèi)似于裁縫提供量身定制的西裝，LoRA適配器支持定制化生成式AI體驗(yàn)。

　　通過(guò)LoRA適配器實(shí)現(xiàn)定制化

　　基礎(chǔ)模型和預(yù)訓(xùn)練生成式AI模型擁有廣泛的知識(shí)，可以很好地回復(fù)多種提示。但是它們有時(shí)可能會(huì)出現(xiàn)失誤，因?yàn)檫@些模型沒(méi)有專(zhuān)門(mén)針對(duì)特定知識(shí)的更多數(shù)據(jù)進(jìn)行定制或精調(diào)。

　　“樣樣都懂一點(diǎn)，但樣樣都不精通。”這話(huà)很好地描述了這個(gè)問(wèn)題：生成式AI模型能夠展示很多滿(mǎn)足需要的技能，但可能缺乏技術(shù)專(zhuān)長(zhǎng)。

　　例如，如果需要一個(gè)大語(yǔ)言基礎(chǔ)模型充當(dāng)健身和健康教練，它可能難以針對(duì)鍛煉或膳食建議提供準(zhǔn)確的反饋。通過(guò)使用正確訓(xùn)練姿勢(shì)、準(zhǔn)確的菜肴卡路里含量等示例對(duì)模型進(jìn)行訓(xùn)練精調(diào)，可以顯著提高其準(zhǔn)確性。訓(xùn)練原始基礎(chǔ)模型需要大量數(shù)據(jù)、計(jì)算、預(yù)算和技術(shù)專(zhuān)長(zhǎng)，而對(duì)許多AI公司、開(kāi)發(fā)者和從業(yè)者來(lái)說(shuō)，針對(duì)數(shù)據(jù)量小得多的特定領(lǐng)域進(jìn)行精調(diào)，仍然太具挑戰(zhàn)性。

　　為了應(yīng)對(duì)該挑戰(zhàn)，研究人員開(kāi)發(fā)出了LoRA技術(shù)，能夠大幅減少AI模型的可訓(xùn)練參數(shù)量（例如參數(shù)量減少98%），以降低訓(xùn)練成本，同時(shí)面向精調(diào)任務(wù)提高模型準(zhǔn)確性。模型的變化部分被封裝在LoRA適配器中，添加到模型原始值以創(chuàng)建精調(diào)模型。

　　除了降低模型訓(xùn)練難度之外，LoRA還能支持終端側(cè)生成式AI用例實(shí)現(xiàn)更高效率、可擴(kuò)展性和定制化。LoRA廣泛適用于生成式和傳統(tǒng)AI模型。

　　例如，可通過(guò)精調(diào)LLM等生成式AI模型，創(chuàng)建定制個(gè)人助手、改進(jìn)語(yǔ)言翻譯等。開(kāi)發(fā)者和更廣泛的AI社區(qū)正在生成LoRA適配器以打造定制體驗(yàn)，消費(fèi)者可以選擇符合個(gè)人偏好的適配器。

　　通過(guò)LoRA，生成式AI能夠?qū)崿F(xiàn)規(guī)模化擴(kuò)展，基于消費(fèi)者和企業(yè)偏好提供更加定制化、個(gè)性化和準(zhǔn)確的體驗(yàn)。

　　終端側(cè)現(xiàn)可支持定制的Stable Diffusion

　　最近，高通還演示了在Android智能手機(jī)上運(yùn)行的支持LoRA適配器的Stable Diffusion。LoRA適配器賦能Stable Diffusion基于個(gè)人或藝術(shù)偏好創(chuàng)建高質(zhì)量自定義圖像。用戶(hù)可選擇某個(gè)LoRA適配器并設(shè)置適配強(qiáng)度，生成想要的圖像。

　　例如，我們演示了一個(gè)“面條”適配器，它能夠創(chuàng)建與Stable Diffusion類(lèi)似的圖像，但生成的圖片能夠結(jié)合意大利面等面食作為繪畫(huà)風(fēng)格。

　　除面向不同藝術(shù)風(fēng)格賦能精調(diào)的語(yǔ)言視覺(jué)模型(LVM)外，LoRA技術(shù)也廣泛適用于任何AI模型。由于模型規(guī)模以及DRAM和閃存限制，這一點(diǎn)對(duì)終端側(cè)生成式AI尤為重要——適配器體積較小，通常不到基礎(chǔ)模型規(guī)模的2%，而且可以快速切換。

　　在終端側(cè)運(yùn)行LoRA適配器可提供增強(qiáng)的隱私、安全性、可靠性、個(gè)性化和成本優(yōu)勢(shì)。

　　我們正處于生成式AI時(shí)代的開(kāi)端，未來(lái)將出現(xiàn)更多創(chuàng)新。

　　推動(dòng)終端側(cè)生成式AI持續(xù)創(chuàng)新

　　LoRA和多模態(tài)AI是終端側(cè)生成式AI未來(lái)趨勢(shì)的絕 佳技術(shù)范例。它們能夠解決現(xiàn)有的挑戰(zhàn)，為消費(fèi)者和企業(yè)規(guī)模化提供情境化、定制化和個(gè)性化體驗(yàn)。

　　我們正處于激動(dòng)人心的時(shí)代，我期待看到開(kāi)發(fā)者和AI生態(tài)系統(tǒng)的其他參與者將如何利用這項(xiàng)技術(shù)，提供增強(qiáng)的用戶(hù)體驗(yàn)。