萬物共芯 · 生生不息——端側AI開發者實踐工作坊精彩收官

　　近日，由魔搭社區、Arm、安謀科技與此芯科技聯合舉辦的「萬物共芯 · 生生不息——端側AI開發者實踐工作坊」在上海成功舉辦。本次活動作為此芯科技2025生態大會的分會場，圍繞高能效異構算力在端側大模型場景的深度賦能展開，吸引了眾多開發者到場體驗。

　　開發者實踐工作坊現場

　　本次工作坊重點展示了基于 此芯P1 平臺，結合 Armv9 CPU、Arm Immortalis GPU、“周易”NPU 以及 Arm KleidiAI 軟件棧的全鏈路協同能力。現場更完成了 Qwen30B-A3B 大模型與 Qwen2.5VL（3B / 7B）多模態模型的完整端側部署，為開發者帶來了真實的「手搓大模型」實戰體驗。

　　軟硬協同：此芯P1 + Arm KleidiAI 加速端側大模型落地

　　此芯科技AI軟件棧

　　為降低端側AI開發門檻、加速模型落地，工作坊基于此芯P1高能效算力平臺，針對大模型推理展示了異構算力的分工、調度與加速策略。通過 Arm KleidiAI、此芯NOE SDK的深度協同，現場展示了顯著的性能提升：

　　Qwen3-30B-A3B 在端側的流暢輸出

　　Qwen2.5-VL-3B / 7B 的圖文理解與多模態推理性能

　　這一系列演示充分驗證了端側大模型從“可用”到“好用”的關鍵技術路徑。

　　深度解析：大模型上板挑戰與優化秘籍

　　此芯科技AI技術專家 田洋

　　此芯科技AI技術專家田洋為開發者帶來主題分享，內容涵蓋：

　　大模型在端側部署的典型挑戰

　　此芯P1 在 CPU / GPU / NPU 的異構調度策略

　　大模型量化、算子拆分與高效 Pipeline 構建

　　多模態模型在端側的性能優化

　　如何通過 Arm KleidiAI 和 此芯NOE SDK最大化地釋放硬件潛能

　　田洋基于 “瑞莎星睿 O6” 開發套件進行現場演示，從模型準備、適配到推理全流程拆解，為現場開發者提供可復用的方法論與實踐經驗。

　　開發者實戰：親手部署 QWEN 大模型

　　開發者實戰演練

　　在90分鐘的深度實操環節，開發者親身體驗了：

　　Qwen3-30B-A3B 的端側部署與交互對話

　　Qwen2.5-VL-3B / 7B 的圖文推理

　　基于此芯P1 構建大模型應用的完整流程

　　在實際體驗中，開發者普遍反饋：

　　性能超出預期，推理運行流暢

　　NPU + GPU 協同調度高效“絲滑”

　　Qwen 3B 和 7B 多模態在端側響應迅速，體驗“順手”

　　三位來自不同領域的開發者結合自身實踐，分享了他們的感受：

　　開發者代表在現場分享開發實踐體驗

　　邊緣AI開發者EPT：

　　“有幸參加此芯科技的線下工作坊，在搭載此芯P1的瑞莎星睿O6上運行Qwen3模型推理，體驗非常優秀。借助此芯強大的算力和完整生態，可以把 Model Hub 中優化后的大模型直接部署到邊緣陪伴玩具等場景，為離線部署定制化角色扮演機器人提供了很大支持。”

　　視覺AI工程師YC：

　　“我們要在端側做多模態模型，用視覺做二次校驗，減少誤報，比如火焰檢測。純CV方法在光照、反光等情況下誤檢太多，多模態大模型可以有效減少誤報。今天測試下來，這種二次檢驗非常適合在端側落地，也開始認真考慮采用此芯的方案。”

　　獨立開發者H：

　　“我是獨立開發者，有做過離線會議系統。在本地跑大模型做會議紀要時，經常遇到速度慢、上下文越長越卡、顯存不夠的問題。今天現場體驗此芯的SoC方案，生成速度順暢穩定，效果非常驚喜。這次實踐工作坊收獲非常大，非常感謝主辦方！”

　　本次工作坊不僅展示了異構計算在大模型部署中的巨大潛力，也驗證了端側 AI 在真實產品落地中的可行路徑。此芯科技將繼續推動高能效算力平臺的研發，并與魔搭社區、Arm、安謀科技及更多生態伙伴攜手，加速端側智能的創新與規模化落地。