通信網(wǎng)banner.jpg)
2023年10月11日-13日，在中國移動(dòng)全球合作伙伴大會(huì)舉辦期間，中興通訊“星云研發(fā)大模型”亮相，旨在輔助開發(fā)人員進(jìn)行需求分析、產(chǎn)品設(shè)計(jì)、編程、測(cè)試、版本部署等，全流程助力研發(fā)提效。經(jīng)第三方HumanEval評(píng)估，“星云研發(fā)大模型”位于編碼類模型第一梯隊(duì)，編碼語言種類多樣性能力和中文編碼能力達(dá)到業(yè)內(nèi)領(lǐng)先水平。
直擊痛點(diǎn)，“星云研發(fā)大模型”助力研發(fā)提效
對(duì)程序員多種編程語言的高能力要求、長(zhǎng)時(shí)間的開發(fā)周期，是現(xiàn)代軟件敏捷開發(fā)中常見的兩個(gè)研發(fā)痛點(diǎn)。為解決上述痛點(diǎn)，中興通訊推出“星云研發(fā)大模型”，輔助開發(fā)人員進(jìn)行需求分析、產(chǎn)品設(shè)計(jì)、編程、測(cè)試、版本部署以及產(chǎn)品文檔編寫，為開發(fā)者提供一站式、智能化的研發(fā)體驗(yàn)，讓每個(gè)軟件開發(fā)者都有自己的開發(fā)助手。
其次，“星云研發(fā)大模型”保障研發(fā)全流程的安全可控，包括支持白名單機(jī)制有效控制使用范圍；代碼特征值識(shí)別有效識(shí)別敏感代碼片段；敏感詞識(shí)別機(jī)制可實(shí)時(shí)監(jiān)測(cè)并攔截敏感內(nèi)容；完備的后臺(tái)審計(jì)機(jī)制可完整回溯安全事件等。
2023年4月，“星云研發(fā)大模型”使用啟動(dòng)，截至目前，日活人數(shù)達(dá)1.2萬人, 代碼采納率達(dá)40%~45%，編碼提效30%, 整體研發(fā)提效10%。
關(guān)鍵技術(shù)突破，“星云研發(fā)大模型”達(dá)業(yè)內(nèi)領(lǐng)先
星云研發(fā)大模型具有“三全兩一”的特性，“三全”即中興通訊全自研編碼模型；全流程助力研發(fā)提效；支持與合作伙伴的全方位合作；“兩一”即“星云研發(fā)大模型”位于編碼類模型第一梯隊(duì)；助力整體研發(fā)提效10%
中興通訊將大量高質(zhì)量的領(lǐng)域數(shù)據(jù)、Know-How知識(shí)積累、中興通訊多年沉淀的數(shù)十萬篇通信領(lǐng)域技術(shù)文檔和1000億token的無線/核心網(wǎng)/云代碼語料等注入大模型，進(jìn)行增量預(yù)訓(xùn)練，使用并行訓(xùn)練框架。其次，使用高質(zhì)量精調(diào)數(shù)據(jù)進(jìn)行模型精調(diào)，滿足輔助編程場(chǎng)景應(yīng)用，提升研發(fā)效率。
中興通訊自研部署方案，使用動(dòng)態(tài)batch策略、PagedAttention技術(shù)，結(jié)合無損模型量化，吞吐量大幅提升，單GPU（A800）達(dá)到1500tokens/s，僅使用4張GPU卡（A800）可滿足超千人使用需求。對(duì)比業(yè)界常規(guī)的部署方案，（NVIDIA FasterTransformer和Huggingface Transformer），單GPU吞吐量分別提升10+倍和20+倍；結(jié)合int4量化技術(shù)，在模型精度不下降情況下，模型大小和顯存使用量均下降一半，能有效降低部署成本。
“星云研發(fā)大模型”攜手伙伴，加速演進(jìn)
大規(guī)模預(yù)訓(xùn)練語言模型正以驚人的速度演進(jìn)，在自然語言處理、計(jì)算機(jī)視覺、語音識(shí)別等領(lǐng)域取得了顯著進(jìn)展，通用人工智能的前景正日益清晰。面向未來，中興通訊“星云研發(fā)大模型”將從模型、算子、語料、算法、平臺(tái)等全產(chǎn)品維度，與行業(yè)伙伴全方位合作，助力數(shù)智化轉(zhuǎn)型，攜手共赴智能山海，開創(chuàng)智算生長(zhǎng)新篇章。
