我将为您调研国产计算卡在FP8精度下的进展情况。为了更好地满足您的需求，我想先了解几个关键点：

1. 您是否特别关注某些国产GPU厂商(如摩尔线程、沐曦等)在FP8精度方面的进展，还是希望获得整体市场概况？

2. 您更关注FP8在训练还是推理场景的应用进展？或者两者都需要？

3. 您是否需要了解国产计算卡与国际产品(如NVIDIA)在FP8支持方面的对比分析？

好的，收到您的调研任务。

为了系统性地完成“国产计算卡在FP8精度下的进展”这一研究，我为您制定了以下分步骤的总体计划。该计划旨在确保最终产出的研究报告结构清晰、内容详实、论证有力，并包含必要的图文对比。

国产计算卡在FP8精度下的进展研究报告

摘要

本报告系统性地调研了国产计算卡在FP8精度下的最新进展。随着大模型时代的到来，FP8精度因其在保持模型精度的同时显著降低计算资源需求的优势，已成为AI计算的重要发展方向。报告从FP8技术原理、国际标杆分析、国产厂商进展、技术路径对比以及生态建设五个维度，全面剖析了国产计算卡在FP8领域的现状与挑战。研究发现，国产计算卡在FP8支持上已形成"硬件原生支持"与"软件优化适配"两条技术路线，其中摩尔线程率先实现了硬件层面的原生支持，而华为昇腾等厂商则通过创新的软件方案实现了等效支持。"赤兔"等第三方推理引擎的出现，为国产芯片生态提供了重要支撑。尽管与国际领先水平仍存在差距，但国产计算卡在FP8领域的快速进展展现了强劲的发展势头。

一、背景与技术概述

1.1 FP8精度的技术原理与优势

FP8（8位浮点数）是一种低精度数值表示方法，在AI计算领域具有重要意义。FP8采用两种主要表示方式：E4M3（4位指数和3位尾数）和E5M2（5位指数和2位尾数）developer.nvidia.com。在表示范围内，E4M3更精准，而E5M2有更宽的动态范围developer.nvidia.com。

与传统的FP16（16位浮点数）和FP32（32位浮点数）相比，FP8显著减少了存储需求，提高了计算吞吐能力developer.nvidia.com。FP8的核心优势包括：

• 性能提升：FP8数据宽度更小，减少显存占用，降低通信带宽要求，提高GPU内存读写的吞吐效率。在相同硬件条件下，支持FP8的Tensor Core可以在相同时间内进行更多次的浮点运算，加快训练和推理速度developer.nvidia.com。

• 模型优化：FP8的使用促使模型在训练和推理过程中进行量化，有助于模型的优化和压缩，进一步降低部署成本developer.nvidia.com。

• 与INT8相比的优势：相较于INT8，FP8在LLM的训练和推理中更有优势。因为INT8在数值空间是均匀分布的，而FP8有更宽的动态范围，更能精准捕获LLM中参数的数值分布developer.nvidia.com。

1.2 FP8在AI大模型中的应用价值

FP8技术在大模型训练和推理中的应用价值日益凸显：

• 训练效率提升：新一代GPU如NVIDIA Ada Lovelace、Hopper架构配备了支持FP8数据精度的Tensor Core，相比之前的FP16或BF16数据类型，FP8的Tensor Core可提供两倍的TFlops算力雪球。

• 降低内存占用：FP8数据类型占用的比特数比16比特或32比特更少，针对内存占用较大的操作，可以显著降低内存消耗雪球。

• 训推一致性：FP8不仅适用于模型训练，同样可用于推理加速。相对于传统的INT8推理方法，使用FP8进行模型的训练和推理，可以保持训练和推理阶段模型性能及数据算法的一致性，带来更好的精度保持，避免了使用INT8进行额外的精度校正雪球。

二、国际标杆分析：NVIDIA的FP8实现

2.1 NVIDIA在FP8领域的技术布局

NVIDIA作为AI芯片领域的领导者，在FP8技术上的布局为行业树立了标杆：

• 硬件支持：NVIDIA的Hopper架构和Ada Lovelace架构GPU都支持Transformer Engine进行FP8的训练和推理developer.nvidia.com。具体支持FP8的设备包括H100、A800、H20以及基于Ada Lovelace架构的4090等CSDN技术社区。

• 软件生态：NVIDIA提供了Transformer Engine作为专门为加速Transformer模型训练和推理而打造的软件库，应用混合的FP8和FP16/BF16精度格式developer.nvidia.com。此外，TensorRT-LLM等推理优化方案也支持FP8，大幅提升了LLM的训练和推理性能developer.nvidia.com。

2.2 NVIDIA FP8实现的性能表现

NVIDIA的FP8实现在性能上表现出色：

• 训练加速：FP8可大幅加速Transformer训练，同时保持准确性developer.nvidia.com。

• 推理提速：FP8可大幅提升大型语言模型推理的速度，性能提升高达Ampere架构的30倍developer.nvidia.com。

• 能效比优化：通过使用8位浮点算术，相对于float-16算术，能量效率可以提高多达4倍，相对于float-32算术可以提高多达16倍CSDN技术社区。

三、国产计算卡FP8支持现状

3.1 摩尔线程：国产GPU原生FP8支持的先行者

摩尔线程在国产计算卡厂商中率先实现了对FP8的原生硬件支持：

• 硬件支持：2025年5月，摩尔线程发布了Torch-MUSA v2.0.0版本，基于MUSA Compute Capability 3.1计算架构，率先在国产GPU上实现了对FP8数据类型的完整支持网易。摩尔线程的全功能GPU原生支持FP8计算，为Torch-MUSA v2.0.0实现FP8矩阵乘法和分布式通信优化提供了坚实基础搜狐网。

• 性能优势：依托底层架构优势，Torch-MUSA v2.0.0能够充分发挥FP8的计算效能，显著提升大语言模型训练和推理的效率网易。与同类旗舰产品相比，在训练速度上提升了30%，而内存利用率则降低了25%搜狐网。

• 软件生态：摩尔线程的Torch-MUSA v2.0.0不仅支持原生FP8数据类型，还引入了多项创新功能，包括虚拟内存管理支持、MUSA Graph支持以及torch.compile的Triton后端支持网易。这些功能进一步提升了深度学习任务的执行效率，特别适用于FSDP、DeepSpeed和Megatron-LM等主流大模型训练框架网易。

3.2 华为昇腾：软件优化路径的代表

华为昇腾采取了不同于摩尔线程的技术路径，通过软件优化来支持FP8模型：

• 软件适配方案：华为昇腾推出了高性能保精度量化方案"OptiQuant"，通过层间自动混精、自动混合校准、离群值抑制、可学习的截断和SSZW参数量化算法等技术，实现了INT8量化模式与FP8的模型推理精度持平观察者。

• 量化框架创新：OptiQuant框架支持Int2/4/8和FP8/HiFloat8等数据类型，支持业界的Qserve，HQQ，LUT等量化方法，并提出了可学习截断和量化参数优化等算法，进一步减少了量化误差观察者。

• 实际性能表现：基于Atlas 800I A2服务器的精度测试实验结果显示，对于DeepSeek-V3-0324模型，W8A8C16和W4A8C16均采用Per-channel量化，实现了推理精度与FP8-GPU持平观察者。

3.3 沐曦：积极适配FP8模型

沐曦作为国产GPU厂商，也在积极适配FP8模型：

• 硬件基础：沐曦的曦思N100是一款面向云端数据中心应用的AI推理GPU加速卡，内置异构的GPGPU通用处理器核心"MXN100"，同时集成了HBM2E高带宽内存，单卡的INT8整数算力达160TOPS，FP16浮点算力则达80TFLOPS腾讯。

• FP8模型适配：沐曦已确认DeepSeek-V3全精度满血版（671B）可以成功运行在沐曦训推一体GPU上今日头条。通过与DeepSeek的适配，沐曦验证了自身芯片在AI领域的能力infoobs.com。

• 软件生态：沐曦自主研发的MXMACA软件栈与硬件架构紧密耦合，支持多种主流框架的网络模型，支持主流计算机视觉处理和多媒体处理框架腾讯。

3.4 寒武纪：FP8支持的探索者

寒武纪作为国内AI芯片的重要参与者，在FP8支持方面也有所布局：

• 现有产品能力：寒武纪的MLU370系列产品，包括MLU370-S4/S8、MLU370-X4和MLU370-X8，支持FP32、FP16、BF16、INT16、INT8、INT4等多种计算精度寒武纪电子发烧友，但目前官方产品规格中尚未明确列出对FP8的支持。

• 思元590的潜力：有报道指出寒武纪即将推出的思元590芯片可能支持FP8低精度计算微博，但官方尚未确认这一信息。

• DeepSeek适配：寒武纪思元590芯片已完成DeepSeek框架适配，算力密度提升40%微博，这表明寒武纪在适配支持FP8的模型方面已有进展。

3.5 昆仑芯：百度自研AI芯片的FP8之路

昆仑芯作为百度旗下的AI芯片公司，在FP8支持方面的信息相对有限：

• 硬件进展：百度智能云已成功点亮昆仑芯三代万卡集群，这是国内首个正式点亮的自研万卡集群中国科技网。昆仑芯三代P800万卡集群在硬件扩展性方面实现了重大突破搜狐网，但关于其是否原生支持FP8的信息尚不明确。

• DeepSeek适配：昆仑芯与其他国产AI芯片厂商一样，也在积极适配DeepSeek模型新浪财经，这表明其在FP8相关技术上有所布局。

四、"赤兔"引擎：国产芯片FP8支持的关键推手

4.1 赤兔引擎的技术突破

清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合开发的"赤兔"（Chitu）推理引擎，为国产芯片支持FP8提供了重要支撑：

• 核心突破：赤兔引擎首次实现了在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型tsinghua.edu.cn。传统技术方案需将FP8模型提前转换为FP16或BF16格式才能运行，而赤兔通过硬件适配优化，无需提前转换模型，即可实现"无痛""无损"支持FP8数据类型tsinghua.edu.cn。

• 性能表现：在A800集群的测试中，赤兔引擎部署DeepSeek-R1-671B满血版时，相比部分国外开源框架，在GPU使用量减少50%的情况下，推理速度仍有3.15倍提速凤凰网。

• 技术原理：赤兔引擎通过底层技术革新，首次实现了非H卡设备（包括英伟达Hopper架构之前的GPU卡及各类国产卡）对原生FP8模型的高效部署，摆脱对特定硬件的依赖凤凰网。

4.2 赤兔引擎对国产芯片生态的赋能

赤兔引擎为国产芯片生态提供了重要赋能：

• 多元算力适配：赤兔引擎不仅支持英伟达全系列GPU，还针对国产芯片深度优化，未来将陆续开源适配版本凤凰网。

• 全场景可伸缩：赤兔引擎目标建立覆盖从纯CPU到大规模集群的全场景大模型部署需求，适配英伟达多款GPU及多款国产芯片科学网—新闻。

• 生态建设加速：赤兔团队与多家国产芯片制造商展开了紧密合作，开通了代码贡献通道，进一步缩短了硬件适配的周期搜狐网。开源不仅是技术的共享，更是为国产芯片"抢时间"，帮助国产芯片迅速适应国际节奏，缩小与国外先进芯片之间的技术差距搜狐网。

五、国产计算卡FP8支持的技术路径对比

5.1 两条技术路线的比较

国产计算卡在FP8支持上形成了两条明显的技术路线：

1. 硬件原生支持路线：以摩尔线程为代表，通过在硬件层面集成FP8计算单元，实现对FP8的原生支持。这种路线的优势在于性能更高、效率更好，但需要硬件升级，开发周期较长。

2. 软件优化适配路线：以华为昇腾为代表，通过软件层面的优化（如OptiQuant框架），在现有硬件上实现与FP8相当的性能。这种路线的优势在于可以快速适配现有硬件，但在极限性能上可能不如原生支持。

下表对比了两种技术路线的主要特点：

5.2 第三方生态的桥接作用

第三方生态，特别是"赤兔"推理引擎，在国产计算卡FP8支持中扮演着重要的桥接作用：

• 技术赋能：赤兔引擎通过底层技术革新，使缺乏原生FP8硬件支持的国产芯片也能高效运行FP8模型，为国产芯片生态提供了重要支撑。

• 降低门槛：赤兔引擎降低了企业部署AI模型的门槛和成本，使更多企业能够利用国产芯片部署先进的AI模型。

• 生态建设：赤兔引擎的开源为业界提供了国产开源新选择，加速了"国产大模型 + 国产引擎 + 国产芯片"的完整技术闭环形成搜狐网。

六、国产计算卡FP8支持的挑战与前景

6.1 当前面临的主要挑战

国产计算卡在FP8支持上仍面临一些挑战：

1. 硬件原生支持不足：除摩尔线程外，大多数国产计算卡厂商尚未在硬件层面实现对FP8的原生支持，这限制了其在FP8模型训练和推理上的性能表现。

2. 软件生态不完善：与NVIDIA的CUDA生态相比，国产计算卡的软件生态仍不够成熟，开发者工具、算法库等支持不足，影响了FP8在国产芯片上的应用效果。

3. 技术迭代压力：随着AI技术的快速发展，FP8可能只是一个过渡阶段，未来可能出现更低精度（如FP4）的计算格式，国产厂商需要持续跟进技术迭代。

6.2 未来发展趋势与机遇

尽管面临挑战，国产计算卡在FP8支持上仍有广阔的发展前景：

1. 硬件升级加速：随着摩尔线程成功实现FP8原生支持，其他国产计算卡厂商也将加速硬件升级，在新一代产品中实现对FP8的原生支持。

2. 软件优化深化：华为昇腾等厂商将继续深化软件优化路线，通过更先进的量化算法和优化技术，进一步提升FP8模型在国产芯片上的运行效率。

3. 生态协同发展："赤兔"等第三方推理引擎的出现，为国产芯片生态提供了重要支撑，未来将有更多类似的工具和平台出现，促进国产计算卡生态的协同发展。

4. 应用场景拓展：随着FP8在国产计算卡上的支持不断完善，其应用场景将从云端推理扩展到边缘计算、移动设备等更广泛的领域，为国产计算卡带来更多市场机会。

七、结论与展望

7.1 主要结论

1. 技术路径分化明确：国产计算卡在FP8支持上已形成"硬件原生支持"与"软件优化适配"两条技术路线，各有优势。

2. 摩尔线程领先一步：摩尔线程率先实现了对FP8的原生硬件支持，在国产计算卡中处于领先地位。

3. 华为软件创新显著：华为昇腾通过OptiQuant等创新软件方案，实现了INT8量化模式与FP8模型推理精度持平，展现了强大的软件优化能力。

4. 第三方生态关键："赤兔"等第三方推理引擎为国产芯片生态提供了重要支撑，是构建自主算力生态的关键一环。

5. 整体进展迅速：尽管与国际领先水平相比仍有差距，但国产计算卡在FP8支持上的进展迅速，展现了强劲的发展势头。

7.2 未来展望

1. 硬件升级加速：随着AI大模型的普及，更多国产计算卡厂商将在新一代产品中实现对FP8的原生支持，硬件升级将加速推进。

2. 软硬协同深化：软件优化与硬件升级将协同发展，共同提升国产计算卡在FP8模型上的性能表现。

3. 生态建设完善：国产计算卡的软件生态将不断完善，开发者工具、算法库等支持将更加丰富，促进FP8在国产芯片上的应用。

4. 应用场景拓展：FP8在国产计算卡上的应用将从云端推理扩展到边缘计算、移动设备等更广泛的领域，为国产计算卡带来更多市场机会。

5. 国际竞争加剧：随着国产计算卡在FP8支持上的进展，其与国际领先厂商的竞争将更加激烈，但也将促进技术创新和产业升级。

资料来源： 网易观察者tsinghua.edu.cn

资料来源： 腾讯腾讯中国科技网今日头条tsinghua.edu.cntsinghua.edu.cn网易观察者

参考文献

1. NVIDIA. "FP8：前沿精度与性能的新篇章". NVIDIA Developer Blog, 2024-03-19.

2. 雪球. "如何使用 FP8 加速大模型训练". 雪球, 2024-12-26.

3. CSDN技术社区. "FP8 Formats For Deep Learning——FP8 深度学习格式". CSDN, 2025-01-22.

4. 网易. "国产GPU突破！摩尔线程发布Torch-MUSA v2.0.0：FP8原生支持". 网易, 2025-05-09.

5. 搜狐网. "摩尔线程发布Torch-MUSA v2.0.0：首个支持FP8的国产深度学习库". 搜狐网, 2025-05-09.

6. 清华大学. "我国自研推理引擎开源首次支持国产卡原生运行FP8模型". 清华大学官网, 2025-03-17.

7. 清华大学. "国产大模型推理引擎"赤兔"开源". 清华大学官网, 2025-03-19.

8. 凤凰网. "又一清华团队出手！助力国产芯片突破FP8模型及DeepSeek部署成本与效率难题". 凤凰网, 2025-03-14.

9. 观察者. "华为昇腾推出高性能保精度量化方案，更好适配DeepSeek". 观察者网, 2025-05-25.

10. CSDN技术社区. "fp8部署deepseek". CSDN, 2025-02-10.