挑戰(zhàn)基于IPEX-LLM生成式AI(AIGC)行業(yè)場(chǎng)景應(yīng)用開(kāi)發(fā)創(chuàng)新賽
賽題:基于IPEX-LLM生成式AI(AIGC)行業(yè)場(chǎng)景應(yīng)用開(kāi)發(fā)創(chuàng)新賽
報(bào)名時(shí)間:2024年9月25日–2024年11月15日
初賽作品遞交時(shí)間:2024年12月13日
Intel?LLM Library for PyTorch(IPEX-LLM)是英特爾開(kāi)源的大模型XPU加速庫(kù),用于在Intel CPU和GPU上運(yùn)行LLM,適用的平臺(tái)包括搭載集成顯卡的個(gè)人電腦,配有Arc獨(dú)立顯卡的臺(tái)式機(jī)等。這意味著用戶(hù)可以在價(jià)格更親民的筆記本或臺(tái)式機(jī)上實(shí)現(xiàn)極低延遲的LLM本地運(yùn)行,無(wú)需投資昂貴的硬件就可以進(jìn)行LLM應(yīng)用創(chuàng)新,從而令更多人從開(kāi)源大語(yǔ)言模型的快速發(fā)展中受益。
IPEX-LLM支持多種低精度(例如INT4/NF4/FP4/INT5/INT8/FP8)實(shí)現(xiàn),大幅降低模型的內(nèi)存占用和計(jì)算量,同時(shí)保持較高的推理精度。與大語(yǔ)言社區(qū)生態(tài)友好結(jié)合,從而方便用戶(hù)將大語(yǔ)言模型納入到各類(lèi)應(yīng)用中?,F(xiàn)已支持國(guó)內(nèi)外多種模型并在IPEX-LLM上得到驗(yàn)證和優(yōu)化。
參賽作品要求
參賽選手需要基于英特爾開(kāi)源的IPEX-LLM大模型XPU加速庫(kù),在搭載集成顯卡的個(gè)人電腦(AI PC)或配有Arc獨(dú)立顯卡的臺(tái)式機(jī)上針對(duì)特定領(lǐng)域目標(biāo),利用已適配的框架構(gòu)建新場(chǎng)景應(yīng)用,并在英特爾平臺(tái)上演示Demo。應(yīng)用的種類(lèi)包括但不限于:視頻總結(jié)、輔助寫(xiě)作、會(huì)議紀(jì)要、網(wǎng)頁(yè)處理、筆記整理、制定規(guī)劃等等。
微信競(jìng)賽溝通群
請(qǐng)掃描競(jìng)賽客服助手二維碼,
加入比賽官方群。
?。ㄌ砑訒r(shí)請(qǐng)備注開(kāi)放原子大賽)
小伙伴們趕快參與比賽吧!
大獎(jiǎng)等你拿!
特別說(shuō)明:
1.原則上所有獲獎(jiǎng)作品需要開(kāi)源,如有特殊情況需經(jīng)終審評(píng)審專(zhuān)家集體決策同意可部分開(kāi)源;
2.大賽最終解釋權(quán)歸開(kāi)放原子開(kāi)源基金會(huì)及共建方[英特爾中國(guó)有限公司]所有;
通知和免責(zé)聲明
有關(guān)通知、免責(zé)聲明和性能聲明的詳細(xì)信息,請(qǐng)見(jiàn)www.intel.cn/performanceindex
?英特爾公司版權(quán)所有。英特爾、英特爾標(biāo)識(shí)以及其他英特爾商標(biāo)是英特爾公司或其子公司在美國(guó)和/或其他國(guó)家的商標(biāo)。其他的名稱(chēng)和品牌可能是其他所有者的資產(chǎn)?! ?/span>
https://mp.weixin.qq.com/s/p4LM2-bdO2nk4UjP2FxQZQ