近期，36氪在北京昌大召開“WISE2024 貿易之王”年夜會，吸引各行各業精英齊聚，共探艱巨卻準確之事。北京電子數智科技有限責任公司（如下簡稱“北電數智”）應邀出席，其CMO兼戰略與市場賣力人楊震發表《“國產算力 PoC 平臺”，以場景測評尋覓算力最優解》主題演講，于年夜會上分享了北電數智對于在國產算力運用的深刻看法與前沿摸索結果，為行業成長提供了極具價值的思緒與標的目的。 OpenAI o1發布后，強化進修晉升年夜模子智力的推理模子線路得到了業內承認，不少公司紛紛發布推理模子。而推理模子雖信仰以長思索時間提高智能程度，但現實運用頂用戶仍注重相應速率快、推理成本低、吞吐能力長這些指標。且推理模子看重垂直場景落地，存于財產鏈斷層，模子方與算力供應需按場景體系化適配痛點。北電數智首個國產算力PoC平臺可助力推理模子落地，提供低成本算力，幫年夜模子適配國產芯片晉升推理效果、加快推理速率。 國產算力PoC平臺構建在北電數智進步前輩計較迭代驗證平臺（即進步?AI 異構計較平臺）之上，座落在由北電數智兼顧計劃設置裝備擺設、設計運營的北京數字經濟算力中央。國產算力PoC平臺可針對于差別廠家的算力芯片，實行算力納管與同一調理，依據各種模子使命的特征差異，精準調配相宜的算力資源。同時，借助構建富厚的算子庫、打造通訊庫等手腕，有力鞭策模子練習加快進程，為年夜模子供應兼具高性價比與高品質的算力撐持，使其以更低成本、更高效率開展運算，助力年夜模子落地。 當模子與行業、場景深切聯合，定制化的主要性日趨凸顯。北電數智推出的國產算力PoC平臺可以或許為用戶于垂直場景下提供算力集群的評測、適配以和驗證辦事，協助算力需求方探訪出最為相宜的“軟件+硬件”組合方案，以此晉升模子訓推算力的效率，減少訓推所需時間與成本，為用戶創作發明更優質的利用體驗。 國產算力PoC平臺年夜幅晉升國產芯片使用率及集群使用率。借助調理、算法以和算子等多層面優化，國產算力PoC平臺可年夜幅改善國產集群的訓推效能，混訓集群的練習結果可以或許到達單一集群綜合練習效果的1.2倍，于舉行混推操作時使平均MFU（模子對于算力的使用率）從30%躍升至60%。 顛末國產算力PoC平臺多層優化后，反應于模子天生速率上體現為基在國產芯片的模子首字延遲至多可優化10倍，解碼延遲可達10倍優化，能更迅速地完成數據解析事情，推理吞吐量最高可實現80倍的晉升。象征著于單元時間內可以或許處置懲罰更多的數據，進而更快速地相應模子推理需求，有用晉升用戶體驗并提高數據處置懲罰效率。 為進一步晉升運行效率并勤儉資源，北電數智于集群中應用了一系列推理優化計謀。例如，依附scoping to zero特征可以或許有用縮短冷啟動時長；于集群推理環節，撐持Continuous batch、Page attention、CPU / GPU 異步等推理計謀，提高GPU使用率。 當前，北電數智的國產算力PoC平臺已經經實現了對于十多種海內知名算力芯片的評測撐持以和與二十多款主流模子的適配。北電數智的國產算力PoC平臺于當下AI成長進程中已經彰顯出要害價值與強盛競爭力。其依附精準的算力納管與調理、卓著的模子適配能力以和全方位的優化舉措，有用解決了推理模子于落地運用時面對的諸多災題，極年夜地晉升了國產芯片使用率與集群效能，降低了模子訓推成本并顯著提高了運行效率。 身為肩負“設置裝備擺設數字中國”任務的AI原生國企，北電數智始終對峙做難而準確的事，致力在強化行業間的生態聯動，買通模子、場景與芯片于貿易運營和研發立異層面的閉環鏈路。于人工智能財產蓬勃成長的海潮中，北電數智踴躍結構，經由過程連續優化國產算力PoC平臺整合行業資源，不僅為財產鏈上下流企業提供了高效的互助橋梁，也致力在晉升我國人工智能財產自立化立異能力，為國度科技戰略推進做出立異樹模。
掃描微信公眾號
