第一，历史上最快的大模型诞生了
一觉醒来，AI圈又变天了。
在消化了Sora带来的冲击之前，另一家硅谷初创公司以历史上最快的大模型和自主研发的芯片LPU占据了热门搜索。
就在昨天，人工智能芯片制造商Groq（不是马斯克的Gork）开放了自己产品的免费试用。与其他人工智能聊天机器人相比，Groq闪电响应速度迅速引爆了互联网讨论。经过网民测试，Groq每秒生成近500 tok/s，碾压GPT-4的40 tok/s。
但需要强调的是，Groq并没有开发出新的模型，它只是一个模型启动器，开源模型Mixtral运行在主页上 8x7B-32k和Llama 270B-4k。
来自驱动模型的硬件Groq并没有使用英伟达的GPU，而是开发了一种新型的AI芯片——LPU（Language Processing Units）。
每秒500 tokens，写论文比眨眼快
LPU最突出的特点是速度快。
Groq根据2024年1月的测试结果 LPU驱动Meta Llama 2模型，推理性能遥遥领先，是顶级云计算供应商的18倍。
前一篇文章提到，Groq LPU搭配Meta Llama 2 70B可以在7分钟内生成与莎士比亚哈姆雷特相同数量的单词，比普通人快75倍。
如下图所示，一些推特网民问了一个与市场营销相关的专业问题，Groq在四秒钟内输出了成千上万个单词。
还有网友同时测试Gemini、GPT-代码调试问题与Groq完成。
因此，Groq的输出速度是Gemini的10倍，是GPT-4的18倍。
Groq在速度上打击了其他AI模型的降维
二，LPU，英伟达GPU的挑战者？
Groq还没有开发出新的模型，它只是使用了不同的芯片。
根据Groq官网的介绍，LPU是专门为AI推理设计的芯片。GPU驱动，包括GPT等主流大型模型，是一种图形渲染并行处理器，有数百个核心，LPU架构不同于GPUSIMD（单指令、多数据），该设计可以使芯片更有效地利用每个时钟周期，确保一致的延迟和吞吐量，也减少了对复杂调度硬件的需求：
GroqLPU推理引擎不是一个普通的处理单元；它是一个端到端系统，为需要大量计算和连续处理的应用程序（如LLM）提供最快的推理。LPU推理引擎的性能比传统GPU高出几个数量级，以消除外部内存瓶颈。
简单地说，对用户来说，最直观的体验就是“快”。
使用过GPT的读者必须知道等待大模型一个接一个地吐出字符是多么痛苦，而LPU驱动的大模型基本上可以实时响应。
三、技术介绍
Groq没有走GPU路线，而是创造了世界上第一个LPU路线（anguage）PU方案。
2)简化设计:LPU是一种新型的端到端处理单元系统，不同于 GPU SIMD(单指令、多数据)模型采用更简洁的方法消除了对复杂调度硬件的需求。该设计允许有效地利用每个时钟周期，以确保一致的延迟和吞吐量。
3)擅长LLM：LPU可以为具有序列组件的计算密集型应用程序（如LLM）提供快速的推理速度。LPU的核心意义是克服两个LLM瓶颈——计算密度和内存带宽。
Groq芯片采用14nm工艺，配备230MBSRAM，保证内存带宽，内存带宽达到80TB/s。
Gorq芯片的整型(8位)运算速度为750TOPS，浮点(16位)运算速度为188TFLOPS。
与需要依赖高速数据传输的英伟达GPU不同，GroQLPU在其系统中没有使用高带宽存储器（HBM）。它使用SRAM，比GPU使用的存储器快20倍左右。
鉴于人工智能的推理计算，GroQLPU比模型训练所需的数据量更节能。在执行推理任务时，它从外部内存中读取的数据较少，消耗的电量也低于英伟达的GPU。
相关概念股：北京君正、纳思达、中电港、光力科技、C华微等。
特别是北京君正，其控股北京硅业务实体主要是ISSI，ISS主要业务是集成电路存储芯片、模拟芯片及其衍生产品的研发和销售，产品主要用于汽车电子、工业制造和通信设备行业，是全球DRAM和SRAM行业领导者之一。
兆易创新:是中国的存储芯片和芯片 MCU 领军企业。公司成立于 2005 年，于 2016 年在上 交所主板上市。以兆易创新产品 SRAM 开始，然后扩展到 NOR FLASH、MCU、NAND FLASH、DRAM 而传感器领域，目前是世界第三，国内第一 NOR Flash 供应商， 累计出货超 212 亿颗。公司连续 7 年位居国内 32 位 MCU 制造商第一，GD32 系列累 计出货量超 13 目前，它在世界上排名第一 7。公司拥有丰富的产品和平台布局 旅游消费、工业、汽车、安全等领域，并进入华为、苹果、三星等知名客户 应链。
西方测试：根据公司招股说明书，EEPROM可以通过电子元器件的检测和筛选来实现、SRAM、NOR fl ash等存储芯片读写擦除功能的自动测试提高了存储芯片的测试效率，接近思科瑞的水平。2024年1月30日，公司有能力为低空飞机测试提供部分测试。
航宇微：sram+卫星互联网；
新亚电子：SRAM+5.5.5G。
10月10日，上交所再次举行券商座谈会，现场宣讲并购重组最新政策精神，并就进一步活跃并购重组市场、打通政策落地“最后一公里”听取意见建议。中信证券、中金公司、中信建投、华泰联合、国泰君安、国信证券、东方证券、广...
来源：券商中国作者：时谦今天早盘，A股市场波动较大，但经过一段下挫之后，很快就被多头拉起。而从盘面来看，以代码601开头的大盘蓝筹股（亦是高股息板块）今天表现非常突发，红利ETF大多涨幅在4%左右水平。那么，究竟又是何逻辑呢？分析...
中字头及红利资产全天保持强势，沪深两市交易量连续第4日突破2万亿元！市场对后续政策的期待仍在升温。今日（10月10日），A股三大股指走势分化，截至收盘，上证指数涨1.32%，深证成指跌0.82%，创业板指跌2.95%。全市场个股涨多跌少，超30...
要点1通化东宝控股股东所持股份质押率高遭质疑，公司董事长李佳鸿称，系东宝集团投资项目周期长造成；要点2业绩方面，李佳鸿预计称下半年公司营收将逐季恢复；要点3公司还对新产品销售情况做了介绍。财联社10月10日讯（记者 何凡...
要点1海外市场需求持续旺盛，赛轮轮胎预计公司前三季度业绩同比增约六成；要点2天然橡胶、炭黑、合成橡胶等生产原材料均有涨价，为应对成本压力，多家轮胎公司宣布产品涨价。财联社10月10日讯（记者 肖良华）海外市场需求持续旺...
本文“人工智能芯片制造商Groq闪电响应速度引爆互联网讨论”由壹米财经整理发布，欢迎转载收藏，转载请带上本文链接。
免责声明：【壹米财经】发布的所有信息，并不代表本站赞同其观点和对其真实性负责，投资者据此操作，风险请自担。部分内容文章及图片来自互联网或自媒体，版权归属于原作者，不保证该信息（包括但不限 于文字、图片、图表及数据）的准确性、真实性、完整性、有效性、及时性、原创性等，如有问题，请联系我们！
