1. SemiAnalysis分析43.2万次真实编程Agent请求,发现中位数输入token高达96K,约50%请求超128K token。
2. 影响计算架构与存储层级,属芯片设计、HBM及互连环节。
3. 影响英伟达、AMD、Cerebras及HBM供应商(SK海力士等)。
4. 背景是Agent会自动塞入系统提示、工具定义等,导致默认上下文极长。这对于刚入行的你而言,意味着AI芯片设计正从单纯追求模型“聪明度”,转向解决如何快速处理超长上下文的KV缓存和内存带宽瓶颈。
[1] [2] [3]