文章
67
标签
123
分类
13
首页
关于我
技术笔记
全部技术文章
Agent
LLM
机器人
自动驾驶
图像生成
开发笔记
科技最新资讯
生活随笔
全部生活随笔
读书
健身
求职
日常随笔
归档
标签
Ryan's Blog
搜索
首页
关于我
技术笔记
全部技术文章
Agent
LLM
机器人
自动驾驶
图像生成
开发笔记
科技最新资讯
生活随笔
全部生活随笔
读书
健身
求职
日常随笔
归档
标签
optimization
推理为什么贵:从显存带宽看加速技术栈
发表于
2026-10-01
|
tech
llm
自回归解码是显存带宽受限问题,这是所有加速技术的共同出发点。梳理投机解码、KV 缓存、量化、MoE、批处理调度五族的原理与实测数字,以及为什么技术能叠加但收益不是乘法——高并发下投机解码会坍缩到一点三倍。
Ryan
热爱技术,热爱生活
文章
67
标签
123
分类
13
Follow Me
最新文章
AI 周报:两大旗舰被安全刹车,FTC 调查头部实验室
2026-10-02
消费电子周报:折叠屏 iPhone 发布,9 月成史上最密集旗舰季
2026-10-02
前沿科技周报:星舰首次入轨后解体,聚变进入锁供应链阶段
2026-10-02
芯片周报:美光营收同比涨 379%,存储超级周期进入极端阶段
2026-10-02
公司周报:AMD 82 亿美元收购 World Labs,Anthropic 启动 IPO
2026-10-02
分类
life
16
career
1
fitness
6
journal
3
reading
6
tech
51
agent
9
autonomous-driving
6
标签
springboot
robotics
android
javascript
mysql
management
semiconductor
safety
redis
prompt-engineering
reinforcement-learning
gpt
hexo
ros2
tesla
video-generation
finance
quantization
skill
grounding
网站信息
文章数目 :
67
本站访客数 :
本站总浏览量 :
最后更新时间 :
搜索
数据加载中