咨询热线：
137-5178-6446
咨询热线：
137-5178-6446
世界冠军杯2026欧足2026冠军系构制）意味着它不必连续站起来从堆里抢更多的论文LPU机合事业的额表格式（这是时态指令集估计打算机体。PU差异这与G，体系供给更多的文献GPU继续需求高速。”
以做个比较那么就可，等算力来看若是从同，NT8来推理若是都是用I，台包罗72片的办事器集群采用Groq的计划需求9，H100而若是是，需求2台8卡办事器抵达划一算力约莫，算力仍然到64P此时的INT8，模子数目抵达80多个可能同时安插的7B大。
机架合连用度这还没有算，务器险些占用一切规范机柜）和损耗的电费（9台4U服。
公然基准测试结果遵循其模子的初度，eal模子正在估计打算和反响速率上远超ChatGPTGroq云办事搭载的Llama2或Mistr。功能的背后这一超卓，M）量身定制的专用芯片（ASIC）是Groq团队为大措辞模子（LL，成高达500个 token它使得Groq每秒可能生。之下比拟，本每秒只可天生约莫40个token目前ChatGPT-3.5的公然版。
上算了一笔账贾扬清正在推特，内存容量（230MB）由于Groq幼的可怜的，-2 70b模子时正在运转Llama芯片专家详解刷屏的Groq芯片：如今并不行替换英伟达，，roq卡才足够需求305张G，则只需求8张卡而用H100。代价来看从目前的，划一模糊量下这意味着正在，是H100的40倍Groq的硬件本钱，是10倍能耗本钱。
2 = 60万美金（海表）● H100：30万美金*，0万百姓币（国内现实市集价300万百姓币*2=60）
开荒的用户赞赏有从事人为智能，品的“游戏规矩变革者”Groq是探索低延迟产，求到获取反响所需的年华低延迟指的是从解决请。户则显示另一位用，人为智能操纵需求方面实行“革命性提拔”Groq的LPU正在他日希望对GPU正在，00芯片的“高功能硬件”的有力取代品并以为它可以成为英伟达A100和H1。
评释了一下LPU和GPU的差异另一位安卡拉大学的助教更局面的，象一下“思，个工人你有两，们称他们为“LPU”）一个来自Groq（我，（咱们称之为“GPU”）另一个来自Nvidia。疾整饬一大堆文献两人的职业都是尽。
因此能遽然发生这一次他们之，oq云办事的上线主假使由于Gr，不卡顿的AI用起来有多爽让专家真的能亲自感思一下。
的规格中从芯片，SRAM的容量是230MB可能看到几个要害讯息点：，TB/s带宽80，188TFLOPsFP16的算力是。
章对标的是英伟达H100目前社交媒体通俗宣传的文，0G的HBM其采用的是8，个7B的大模子实例这个容量可能安插5；来看算力咱们再，化后零落，6下的算力快要2PH100正在FP1，上也快要4P正在INT8。
0B的模子若是是7，INT8同样是，600张卡要用到起码，台办事器快要80，会更高本钱。
PU需求依赖高速数据传输差异于Nvidia G，有采用高带宽存储器（HBM）Groq的LPU正在其体系中没。是SRAM它利用的，的存储器疾约20倍其速率比GPU所用。
方面另一，一个高效机合职业的工人Groq的LPU就像，么疾地交付文献他们不需求那，的更幼的桌子（这就像SRAM因此用了一张就放正在他们身边，幼的存储器）一种更疾但更，顷刻获取所需的东西因此他们险些可能。速交付体系的处境下火速事业这意味着他们可能正在不依赖疾。
团队也相对较幼Groq目前的，加州山景城其总部位于，80余名员工该公司仅有1，制商所需工程师数目的四分之一乃至还不到英特尔等大型芯片制。
相像于倒霉用那么多半据的人为智能职业）对付不需求查看堆中每一篇文献的职业（，乃至更好LPU。常雷同来回搬动它不需求像往，了能源既俭省，达成事业又能火速。
·舒默（Matt Shumer）正在演示中亲身体验了Groq的强健功用电子邮件首创企业Otherside AI的首席奉行官兼连合创始人马特。oq疾如闪电他赞赏Gr，数百个单词的毕竟性、援用性谜底也许正在不到一秒钟的年华内天生。惊异的是更令人，年华用于查找讯息它赶上3/4的，短到只要几分之一秒而天生谜底的年华却。
模子的推理安插依照眼前对大，14G以上的内存容量7B的模子约莫需求，一个7B的模子那么为了安插，片把握的芯片约莫需求70，露的讯息遵循透，应一张估计打算卡一颗芯片对，置8张估计打算卡来估计打算依照4U办事器配，险些占了一个规范机柜了）就需求9台4U办事器（，颗估计打算芯片总共72，处境下正在这种，188T * 72 = 13.5P算力（正在FP16下）也抵达了惊人的，8来算便是54P若是依照INT。推理7B的大模子54P的算力来，形貌一点也不为过用大炮打蚊子来。
海潮中的绝对当先位子“英伟达正在本次AI，首以盼挑拨者使得环球都翘。眼球的作品每次吸引，初被人信托总会正在最，由来以表除了这个，比时的“套道”依旧由于正在做对，其他身分存心渺视，度来做对比用简单维。言“掷开毕竟不叙这就比如那句名，点错的地方吗？莫非你就没有一”
刚刷屏的期间正在Groq刚，闪电速率的振撼之中AI行业都浸醉正在它。撼事后然而震，大佬一算账许多行业，价格可以有点高出现这个疾的。
超越了英伟达？对此Groq是否真的，达了本身差异的见识姚金鑫（J叔）也表：
天资刷屏固然今，初出茅庐的新创企业但Groq公司并非。际上实，于2016年该公司设置，了Groq字号并正在那时就注册。11月昨年，智能模子Grok时当马斯克宣布人为，一篇作品说马斯克撞名本身的公司Groq公司的开荒者们就发了。挺逗的信写的，们是一点没吃到但这波流量他。
金*72=144万美金● Groq：2万美，*9=18万美金办事器2万美金，（统共都是依照最低格式来估计打算）纯的BOM本钱160万美金以上。
的容量是230MB其额表内存SRAM，TB/s带宽80，算力为188TFLOPs正在INT8、FP16下。
U之父”的前谷歌员工乔纳森·罗斯Groq的CEO是被称为“TP；特曼也来自谷歌TPU团队连合创始人性格拉斯·怀，了四家公司并先后创立。云估计打算办事AWS打算算力硬件的有劲人该公司首席身手官吉姆·米勒曾是亚马逊，cintosh的市集宣布CMO曾主导了苹果Ma。
切的投资人k_zeroS分享遵循推特上与Groq合联密，与GPU半斤八两LPU的事业道理。struction Set Computer）架构它采用了时序指令集估计打算机（Temporal In，M）的GPU那样一再地从内存中加载数据这意味着它无需像利用高带宽存储器（HB。避免HBM欠缺的题目这一特征不但有助于，低浸本钱还能有用。
起来总结，构作战正在幼内存Groq的架，力上大算，实质对应着极高的算力所以有限的被解决的，度特别疾导致其速。
模子演练需求的数据量远幼鉴于AI的推理估计打算相较于，PU所以更节能Groq的L。理职业时正在奉行推，读取的数据更少它从表部内存，vidia的GPU损耗的电量也低于N。
话反过来如今把句，正在很有限的单卡模糊才具上的Groq极高的速率是作战。00同样模糊量要保障和 H1，更多的卡你就需求。
成式AI中正在守旧的生，广泛的事故守候是稀松，个个蹦出字符一，解答完毕半天资略。放的云办事体验平台上但正在Groq即日开，是一秒一屏你看到的会。到提示后当模子收，即天生谜底险些也许立。仅可靠可托这些谜底不，有援用还附，到数百个单词长度更是达。
对着许多潜正在的题目固然Groq还面，GPU以表的可以道途但它依旧让人看到了。背后的超强团队这关键得益于其。
采用Groq的LPU若是正在AI解决场景中，GPU装备额表的存储办理计划可以就无需为Nvidia 。样对存储速率有极高恳求LPU并不像GPU那。公司宣扬Groq，强健的芯片和软件其身手也许通过其，代GPU的脚色正在AI职业中取。
中提到原文，en天生速率是750 Tokens/sGroq对Llama2-7B的Tok，H100办事器若是对标的是，颗的H100芯片那这2台总共16，不懂得哪里去了并发模糊就高到。本的角度若是从成，oq办事器9台的Gr，器（纵使方今代价仍然高到离谱）也是远远贵过2台H100的办事。
速率很疾的工人GPU就像一个，或HBM）将悉数文献火速传送到他们的办公桌上但也需求利用高速传送体系（这就像高带宽存储器。可以很高贵这个人系，为HBM产能有限）有时很可贵到（因。
猎杀大象“这就像，斯说道”罗，就能保卫本身的人命“你只需求少数猎物，云云弱幼的期间加倍正在咱们还。”
来叙比较掷开场景，不适宜的原来是。这种架构来讲对付Groq，处的操纵场景也有其尽显长，高的带宽真相这么，据搬运的场景来说对很多需求一再数，好但是了那便是再。
q复制他正在谷歌的获胜阅历罗斯等人的标的是正在Gro，部芯片项目打制一个内，向新身手迈进引颈一切行业。少数要害客户他指望吸引，为公司供给巩固的收入开头通过通俗安插Groq芯片，的独立发达鼓舞公司。前目，向潜正在客户发送样品这家首创公司已起头。