为什么H20卡不需要covos包装?

情况解析1、这张卡分为H20和L20+L2两类。H20类似于H800，L20\L2用于其他架构。基于pcie的L20\L2，在intel第三代平台上，性能相对较低。英伟达出卡是因为intel第三代平台在中国将继续销售一年，不需要深入研究，带宽、缓存和计算能力相对较低。2）H20：它是高缓存、高带宽，但计算能力差，这主要是美国禁令的要求和限制。H20卡计算能力差，约为华为升腾910计算能力的一半，缓存和带宽比910B高，带宽是910B的两倍。NV有NVlink架构。通过多卡使用和多卡堆叠模式，英伟达的卡与国内华为的高计算能力卡竞争。国内910B的性能与A100单卡非常接近。1）国内卡的缺点是互联带宽弱，卡间和人工智能服务器弱；2）软件生态不够成熟。在互联带宽和CUDA生态的基础上，英伟达的卡是在这个软肋的基础上推出的。2、正式宣布后，英伟达将引入测试和采购。H20的价格没有官方价格，低于910B。在产品方面，H20的生产工艺不是很高，不需要cowos的生产能力，所以节省了卡的成本。NV有A\V100工艺，H20可以用它们的工艺包装，节省成本。国内制造商的包装刚刚起步，成本没有得到优化，因此NV具有节约制造工艺成本的优势。2-2.5H20的性能达到A100，既能达到互联特性，又能多卖卡，还能赚钱，还能规避美国禁令的风险。H20没有官方价格，价格不会高于910B，910B市场价格5-6w，A1007w 一个RMB。3H20代替A100，明显不错。3、Q1小批量供应国内云厂商，Q2批量供应。华为推出910B，明年910B销量也将为15-20w张910B，对国内卡来说是个不错的量级。H20的销量不会很差，30-40w。国产卡和NV卡还处于相互PK阶段。明年下半年华为920出来后，NV挑战，920类似H100，可以取代H20。NVH20是一项临时措施，可能对华为产生很大影响。Q&AQ1：H20是H800训练的6-70%。原来H的计算能力使用效率是3-40%，新的H20增加了带宽，组成集群的大模型训练效率可能比H800好吗？A：国内软件训练框架相对较弱，国内主要是GPT1.0\2.0架构，H800计算能力很高，但仍无法使用数百万的训练参数，H800使用效率很低。但在H20方面，更容易获得训练参数不是很高的方面，非常适合多卡堆叠和多人工智能服务器。Q2：大模型训练是否更容易改进芯片？A：在国内大模型训练中，我们不能单独看硬件。一是卡，二是框架。GPT4.国内所有知识基本都包括在内，但国内3.0、4.0不能使用，正规渠道为1.0/2.0，训练参数和性能有限。由于底层软件有局限性，即使H100有卡也无法训练。英伟达推出H20卡，可以通过国内客户购买更多卡和A100卡实现、H800效率相同。NV可以多买卡，满足美国禁令，不会让基于GPT2.0训练模型框架的训练场所有更高的模型，一举多得。NV不会完全切断NV与国内的交流，硬件可以给，但软件层面切断，国内不能使用1000亿级培训模型的框架。不需要NVIB交换机，400G\800G光模块。因为H100 AI服务器可以使用400G光模块或800G(8张卡是4个800G光模块)。由于AI服务器数量较多，光模块数量也较多。在网络方面，是NV用ib交换机，正常网络还是以太网交换机。Q3：H20产品HBM3是一个板用了3个，即计算能力为A100的30%，HBM用量相同？A：与H800相比，单卡的HBM量与H800相似，H20的cowos工艺比800简单。卡的计算能力在于晶元工艺，nm越低，集成度越高，计算能力越强。就H20计算能力而言，设计工艺一般，不如910B计算能力设计工艺好。对于OEM来说，可以使用一些相对较差的制造工艺进行再利用，成本降低。唯一的是HBM，价值是3倍。Q4：H20NVLINK是900GB/S，H800只有400，能达到吗？A：NVLINK不是高端NV，非常成熟，H系列可以支持。网络带宽支撑这么大，可以多买卡，nvlink的传输速度可以领先。升腾达不到的，现在是400G，8卡一连200。Q5：训练框架是指？A：训练模型由语言框架和软件框架支撑。软件更新或技术迭代在国内训练语言框架方面相对较低，为1.0、2.0，海外升级到GPT 4.0版本。API端口不会为国内账户申请试用，因此不能体验4.0中的软件功能。不愿意分享美国封锁A100\H100的制造工艺。Q6：为什么H20卡不需要covos包装？A：看到HBM，但cowos是4或3nm以上，是高端封装，所以A100\A800\H20，制造工艺不如H100高，所以封装架构不需要cowos，成本降低。明年北美H100需求旺盛，不会为了中国的数量占用封装产能。Q7：对计算力租赁的影响？A：过去大部分都是A\H800，但现在对于禁令，算力租赁停滞不前。现在NV推出H20后，可以建立计算中心和计算租赁中心。NVLINK、IB网络架构，多个H20，多个基于H20的人工智能服务器，构建数据中心。大多数计算能力公司都是基于cuda架构的，H20的出现将有助于计算能力租赁中心缓解数据中心建设的缺卡。Q8：是否可以理解为缓解计算能力短缺，限制计算能力价格上涨，对计算能力租赁公司不利？A：对于算力公司来说，这是一种负面状态。计算租赁行业非常依赖卡，没有生存价值。Q9：H20能保留NVLINK吗？以前带宽要求不影响吗？A：在限制A\H100时，网络互联带宽受到限制。但现在11月对H800禁令，取消带宽限制。这是美国政府的问题，如何既不给高端卡，也不切断业务往来，多买卡，达到A\H100的性能。NV将对NVLINK卡之间的互联网进行文章，堆叠卡可以提高性能，是一种很好的商业模式。Q10：与HW相比，H20组成集群的性能？A：服务器卡间瓶颈，服务器间瓶颈。卡间互联910B的互联带宽是H20的一半，卡间互联性能下降了一半。英伟达拥有一分半IB交换机，服务器之间互联，没有替代解决方案。国内是400、800G集群交换机计算能力损失较大。Q11：A100升腾卡的性能标杆，软件有什么区别？A：在软件方面，商业软件方面，基本的高端软件都是海外软件公司。国内公司很难适应兼容性。NV会在出卡前进行相应的性能兼容性测试和调整，所以NV是销售平台上最好的。2)国内卡客户在互联网公司，不使用商业软件，而是开源软件开发，因为每个互联网公司都有不同的商业方式，会做一些开发。他们使用互联网自主研究平台，迁移适应国内卡，迁移成本相对较低。我们非常关注互联网行业，国内芯片行业也非常关注它，因为在NV中，互联网是最容易切入的，没有商业软件的影响，是自主研发的。软件开发周期比硬件长得多。Q12：17号禁令下单后，H20订单会转换吗？还是再次下单？A：禁令后取消订单，NV取消。因此，H20的订单是重新开始的，不能同等替代。Q13：阉割版上市有用吗？业务适配需要4多长时间才能适应客户端？A：英伟达的卡在互联网公司，从引进测试到小批量需要半年时间才能适应小批量-大批量。卡的阶段是英伟达的设计和测试，但没有下面的OEM制造商，交付给互联网进行测试，下面的服务器OEM厂进行小批量生产调试，然后进行小批量供应，与互联网同步，半年采购。Q14：从训练模型的角度来看，我们觉得有很多说法可以看到INT8、FP16甚至FP32。国内外卡的计算能力主要取决于哪个指标？A：主要是FP32和FP64，FP16是由于国内设计工艺原因无法实现的，真正看浮点操作，还是FP32和FP64。英伟达基本上不会做FP16浮点操作参数。FP16仍然可以用于国内模型框架，但一旦训练参数激增，就是FP32和FP64。Q15：与H100等先进芯片相比，NV变通方案的成本会上升多少？A：运营成本的上升将与卡的采购量成正比。以一个流行的例子来看，H100卡的运营成本不同于H800。在空间、功耗和人员成本方面，卡的成本非常高。H20的功耗略低于H100，但远高于A100。从H20的角度来看，未来大规模使用A100的成本将增加3-4倍，低于H100。Q16：H20使用液冷方案吗？A：H20是风冷，液冷还是H100，750w功耗。H20加了2-3张卡，功耗是A100的3-4倍。Q17：H20组网会比原H800组网增加功耗和散热需求吗？A：由于计算能力和功耗低，H20的散热会低于H800。Q18：英伟达现在有合规产品，但是单卡计算能力下降是否意味着同一计算能力集群需要更多的服务器？A：是的，H20留下了很多带宽的原因，让国内用户实现一些堆叠。Q19：假设有足够的信用卡购买资源，不考虑能耗，基于H20计算能力集群计算能力是否达到基于H100计算能力集群计算能力？A：可以的。三思行研