始于焊接,不止于焊接
“内存墙”至今仍旧存于,但于AI时代,这一隐喻被付与了新的寄义——跟着年夜语言模子(LLM)对于内存需求的急剧增加,DRAM和基在DRAM的高带宽内存(HBM)正艰巨追逐这类爆炸式晋升的需求。
内存墙(MemoryWall) 这一术语降生在20世纪90年月初,用以描写计较机机能中的一个瓶颈:处置惩罚器与内存(特别是DRAM)之间的速率差距。该观点很快成为工程范畴的经常使用术语,此中DRAM往往被视为拖累计较效率的 掉队技能 。这一 墙 至今仍旧存于,但于AI时代,这一隐喻被付与了新的寄义 跟着年夜语言模子(LLM)对于内存需求的急剧增加,DRAM和基在DRAM的高带宽内存(HBM)正艰巨追逐这类爆炸式晋升的需求。
于已往30年中,DRAM经由过程一系列立异技能满意了机能扩大需求,例如缓存层级布局(cachehierarchies)、预取(prefetching)及内存交叉(memoryinterleaving)。设计者们开发出更年夜、更快的片上缓存,并引入了于数据现实需要以前就举行猜测及预加载的技能。然而,这些技能并未解决容量扩大的底子问题。
如今,快速扩张的AI模子正对于传统内存架构提出史无前例的挑战,其容量扩大能力已经经难以跑赢数据存储需求的增加。各类迹象注解这一压力正于加重 DRAM与HBM的设计及制造成本不停上升,能耗与散热问题日趋凸起,同时可扩大性空间也于连续收窄。
AI推理建模正于从头界说数据检索模式与优先级跟着年夜语言模子(LLM)的参数范围从数十亿扩大至数万亿,基在DRAM的内存(如HBM及GDDR)所面对的限定日趋凸显。与此同时,由繁杂提醒(prompt)、检索加强天生(RAG)、思维链推理,以和用户个性化数据驱动的AI推理上下文范围连续扩展,其对于键值缓存(KVcache)的需求往往甚至跨越模子自己。
当前,传统DRAM架构以延迟为焦点的设计范式,于AI推理负载中的主导职位地方正于遭到挑战。这种负载以读操作为主,且因为内存拜候模式具备可猜测性,可以实现预取及缓冲,是以对于延迟的容忍度较高。这使患上HBM纯真缭绕原始带宽举行优化的设计,难以满意既需要年夜容量又需要高带宽的事情负载需求。
上述挑战凸显出,亟需面向AI推理从头设计内存架构,使容量与带宽获得协同优化。差别在依靠不变、缓存友爱型拜候模式的传统计较,AI推理模子需处置惩罚高度多变且多维的数据类型。其内存拜候具备确定性、利在预取且粒度较年夜的特色,于这类环境下,缓存层级的主要性降低,而挨次带宽反而越发要害。
由此孕育发生的AI计较范式,并不是依赖暴力晋升内存带宽来取患上乐成,而是经由过程优化数据什么时候和怎样被调取。于这一配景下,它使患上采用针对于高容量及挨次带宽优化的替换性内存技能成为可能,从而提供一种更智能的解决方案。新的内存挑战,酿成了优化马赛克式数据流拼接,而非纯真对于速率的线性晋升。
从汗青来看,数据中央设计者凡是经由过程对于AI推理负载举行划分,并漫衍到多个昂贵的加快器上,以填补计较与内存容量之间的不服衡。这类方式往往会造成算力华侈,但于年夜型数据中央中,因为可以经由过程年夜范围批处置惩罚分摊成本与功耗,是以仍具有经济合理性。然而,当漫衍式处置惩罚被运用在用户范围较小的企业,或者办事差别客户的多租户年夜型数据中央时,批处置惩罚的效率上风便会显著降落。
AI内存演进的新路径跟着AI推理事情负载于范围与繁杂度上的连续晋升,高带宽闪存(high-bandwidthflash,HBF)正作为一种替换方案逐渐鼓起。差别在成本昂扬、功耗较年夜且容量受限的DRAM与HBM,高带宽闪存使用了NAND闪存的高密度上风。经由过程重叠技能及晶圆键合(如CMOS直接键合阵列,CBA技能),这种新型架构于内存容量上已经揭示出逾越HBM的潜力。
只管高带宽闪存的拜候延迟高在DRAM,但AI推理事情负载正日趋受限在带宽而非延迟。这种新型内存设计基在高密度NAND技能,经由过程于多个存储单位阵列之间实现并发拜候,为年夜粒度读取操作提供高带宽撑持。这使患上它们合用在年夜语言模子存储及读取密集型推理场景。
于这些高带宽内存利用情况中,高能耗致使的高温散热问题,使患上热不变性成为一项至关主要的要求。基在NAND技能的高带宽闪存,比拟DRAM具备潜于的更高不变性,更合适这种情况。此外,相较在尺度NAND闪存,其非易掉性及加强的经久性,也使高带宽闪存可以或许长期化存储KVcache数据,让这些数据可被复用以模仿持久影象功效。
跟着AI计较需求的连续增加,仅依靠DRAM及HBM可能会制约架构立异。高带宽闪存为数据中央及边沿AI设计者提供了一种可扩大、高效的内存替换方案,精准契合AI不停演进的需求 于这一范式下,机能再也不由延迟决议,而是由推理驱动的数据编排效率所界说。
本文翻译自国际电子商情姊妹平台EETimes,原文标题:MassiveAIStorageDemandCreatesaNewMemoryWall
责编:Clover.li 本文为国际电子商情原创文章,未经授权禁止转载。请尊敬常识产权,背者本司保留究查责任的权力。美光CEO亲自下场回怼:别只怪存储涨价,昔时压价压到行业三十年河东,三十年河西。三星HBM4E靠得住性测试良率冲破70%,第七代AI内存开发进入
国际电子商情讯,近日,三星电子首席技能官兼半导体研究所所长Song Jai Hyuk于DS部分内部谋划申明会上吐露,第七代高带宽存储器HBM4E的靠得住性测试良率已经跨越70%。SPI NOR Flash:AI办事器中不成或者缺的“黄金副角”
AI算力基础举措措施正从“CPU中央”迈向“GPU中央 ,这对于SPI NOR Flash提出了更高要求……利润暴增超1000%!美光Q3事迹年夜超预期
美光2026财年第三财季显示,公司营收、利润和毛利率均创下汗青最高纪录。SK海力士放缓HBM四、加码通例DRAM,存储产能分配正于发生
国际电子商情讯,进入到6月下旬,多家媒体报导SK海力士正于调解产能分配。国产存储“小伟人”英韧科技IPO教导收官,再添上市后备
间隔登岸本钱市场更进一步。JEDEC经由过程SPHBM4封装尺度:旌旗灯号引脚减至1/四、单通道速度
国际电子商情讯,近日,全世界半导体存储尺度化构造JEDEC正式核准SPHBM4尺度。SK海力士市值刚超三星,越日就遭受股票年夜跌?
昨日(2026年6月22日),韩国本钱市场迎来一个具备标记性意义的生意业务日。4个月狂揽10亿美元!三星HBM4刷新AI存储贸易化速率纪录
产能“全数订满”,整年冲刺百亿美元。强强结合!美光与Anthropic告竣战略互助和供给和谈
跟着Anthropic扩大其持久计较战略,美光将可以或许撑持该公司将来多年的成长。SK海力士HBM4E提早送样,12层48GB、能效暴增20%!
6月18日,SK海力士于其官网公布,已经向重要客户交付新一代AI专用高带宽内存HBM4E的12层重叠工程样品,正式进入客户验证阶段。SK海力士连环出招,一把将集团市值顶破2000万亿年夜关
SK海力士要从一家“韩国存储公司”酿成一家“全世界AI基础举措措施公司”,并于本钱市场完成身份重估。 Anthropic或者与三星洽谈自研AI芯片代工
自研芯片仅作为多元化硬件计谋的一部门,不会替换现有供给商。
3Q26存储器价格受AI办事器支撑,但消费端压力扩展使患上涨幅收敛预估3Q26一般型DRAM合约价将季增13-18%,NAND Flash合约价季增10-15%。
抢购200台装备、强势扩产,SK海力士1100万亿韩元押注AI存储据韩国媒体TheElec报导,SK海力士正于与多家半导体装备厂洽谈清州P T7工场所需的半导体检测装备供给事宜,并协
苹果周全调价带来消费端需求变量,预估2026年全世界条记本出货将削减及总体条记本市况比拟,Apple整年体现仍较具韧性。
存储赛道狂飙,4家A股公司密集加码6月下旬,A股存储板块呈现一轮本钱集中结构。同有科技拟定增10亿元、协创数据拟定增80亿元、恒尚节能拟6亿元
2026年第一季度,美国PC出货量同比下滑7%,创2023年以来最年夜跌幅Omdia最新研究显示,2026年第一季度,美国PC(不含平板电脑)出货量同比降落7.0%,降至1,580万台,为2023年第三季度以来
AI零部件产能架空、年夜厂减产加重,预估晶圆代工成熟制程涨价效应延按照TrendForce集邦咨询最新查询拜访,跟着AI Server、General Purpose Server(通用型Server)与Edge AI周边需求连续
2026中国企业全世界影响力100强榜单百强企业总体海外总收入达9.8万亿元,同比增加15.5%。 功率半导体行业掀起新一轮涨价潮,海内外厂商密集调价
近期,功率半导体行业迎来新一轮涨价潮。
估计到2030年RGB LED电视将占全世界电视市场收入的13%Omdia最新发布的《电视(新兴技能)市场追踪猜测》,采用自力红、绿、蓝(RGB)LED芯片违光技能的电视,估计到2030年将
全世界首个亚1纳米芯片技能,正式发布IBM乐成于仅有指甲盖巨细的芯片上集成为了近1000亿个晶体管。
英伟达800V Power Rack成Vera Rubin选用方案,预估至Rubin Ultra世NVIDIA(英伟达)正踊跃打造自家800V HVDC Power Rack方案,方针在2026年第三季完成备货。
总投资50亿欧元!英飞凌于德国德累斯顿启用全世界最年夜功率半导体与模英飞凌半导体为汽车及工业范畴的高能效解决方案提供撑持,包括AI数据中央电源、可再生能源、电网以和软件界说
隆湫本钱完成对于蓝芯算力Pre-B轮超3亿元独家投资隆湫本钱正式完成对于蓝芯算力(深圳)科技有限公司(下称“蓝芯算力”)Pre-B轮超3亿元独家投资。
PCIe 6.0时代,一颗Retimer芯片怎样成为AI数据中央的“隐形刚需”重按时器已经从可选辅助技能跃升为AI数据中央不成或者缺的基础举措措施。 英飞凌推出OptiMOS™ 8 100V功率MOSFET,合用在机电驱动与电池掩护
供货方面,OptiMOS™ 8 100 V系列产物将在6月上市。
芯原鞭策AV2于下一代视频与流媒体运用中商用落地VC9800D提供可配置的多格局视频处置惩罚能力,合用在AI多媒体、挪动终端和智能边沿装备。
英飞凌EasyPACK™ S模块和封装方案撑持实现紧凑化设计,合用在高功英飞凌EasyPACK™ S模块和封装方案撑持实现紧凑化设计,合用在高功率密度运用。
新施诺首发国产50kg重载PLP OHT产物,助力进步前辈封装要害装备自立可这次首发的PLP OHT产物载重50kg,于满载工况下仍可实现直线速率180m/min,±1妹妹高精度定位及≤0.5G低振动节制,
2026 IPC CEMAC电子制造年会将在9月登岸上海聚焦进步前辈工艺、智能制造与可连续成长,共探电子财产新周期
英飞凌推出首款可于205℃运行的碳化硅功率模块,为电动汽车逆变器这一温度的晋升使汽车制造商(OEM)及一级供给商(Tier 1)可以或许从现有的逆变器设计中得到更高的峰值及连续输出功率,
江波龙携AIDIMM AILPBGA两年夜AI内存新品表态COMPUTEX 20262026年6月2日至5日,江波龙携全栈端侧AI存储新品和综合运用方案,表态台北国际电脑展(COMPUTEX 2026)。
Frore Systems的固态散热芯片AirJet Mini为英特尔Wildcat Lake笔15W的连续无电扇散热,助这款MacBook Neo竞争敌手实现11.3毫米的极致纤薄与周全静音
西部数据表态2026台北国际电脑展:AI不仅依托算力,更依靠数据运行于台北国际电脑展上,西部数据将 AI 基础举措措施从头界说为数据体系,并展示了可以或许以经济、靠得住的方式扩大长期性 A
-28圈体育