官方网站-首页

　　3 月 24 日消息，据新浪科技报道，针对有关蚂蚁“百灵(líng)”大(dà)模(mó)型(xíng)训(xun)练(liàn)成(chéng)本(běn)有(yǒu)关消(xiāo)息(xi)，蚂(mǎ)蚁(yǐ)集团(tuán)回(huí)应(yīng)称(chēng)，公(gōng)司(sī)针(zhēn)对(duì)不(bù)同(tóng)芯(xīn)片(piàn)持(chí)续(xù)调(diào)优(yōu)，以(yǐ)降(jiàng)低(dī) AI 应(yīng)用(yòng)成(chéng)本(běn)，目(mù)前(qián)已(yǐ)经(jīng)取(qǔ)得(de)一(yī)定(dìng)进(jìn)展(zhǎn)，也(yě)将(jiāng)逐(zhú)步(bù)通(tōng)过(guò)开(kāi)源分享。

　　附事件背景：

　　近日，蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要：无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》，宣布推出两款不同规模的 MoE （混合专家）大语言模型 —— 百(bǎi)灵(líng)轻(qīng)量(liàng)版(bǎn)（Ling-Lite）与(yǔ)百(bǎi)灵(líng)增(zēng)强(qiáng)版(bǎn)（Ling-Plus），并(bìng)提(tí)出(chū)一(yī)系(xì)列(liè)创(chuàng)新(xīn)方(fāng)法，实(shí)现在低性能硬件上高效训练大模型，显著降低成本。

　　百灵轻量版参数规模为 168 亿（激活参数 27.5 亿），增强版基座模型参数规模高达 2900 亿（激活参数 288 亿），性能均达行业领先水平。实验表明，其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练，性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。