前言
9月17日上午，上海创芯学院“芯火相传·智汇创芯”企业大咖讲座第1期顺利举办。壁仞科技联合创始人、首席技术官洪洲先生应邀出席，并以《造芯人的春天——当模型吃掉中间层》为题发表主题演讲。学院师生百余人齐聚，现场气氛热烈。
壁仞科技始终将人才培养与产学研协同视为产业长远发展的根基。
上海创芯学院是一所服务国家集成电路设计战略需求，创新人才培养模式，汇聚高校、企业、产线资源的新型研发机构，致力于打造中国集成电路设计人才的“黄埔军校”。学院由上海市经济和信息化委员会主管，上海科技大学、上海交通大学、复旦大学和集成电路企业共同参与创建，通过整合产业链资源、发挥各校优势，着力构建具有创新活力的枢纽型产教融合平台，承担起体制机制探索、高端人才集聚与领军人才培育的三重使命。
此次壁仞科技深度参与上海创芯学院讲座活动，是产教融合、校企合作、双向奔赴的又一次生动实践。一方面，壁仞科技将产业一线的真实需求、工程方法与实战案例带入课堂，助力学院培养面向AI时代的高端芯片人才；另一方面，双方也将以此为起点，围绕AI芯片领域前沿技术方向开展联合攻关，把课堂与产业真正连接起来。
在演讲中，洪洲围绕AI时代芯片产业的发展逻辑与人才的核心能力要求展开深度分享。其以“一个Token的旅程”为切入点，逐层拆解计算、互连、存储三大核心环节的技术演进与产业格局变化。
壁仞科技联合创始人、首席技术官洪洲在给学生演讲
造芯人的春天
造芯人的春天，是指芯片需求的爆发。洪洲举例称，在25年前，彼时所言的芯片需求增长，来自于互联网电话。全世界用户都通过互联网通话，从而带来带宽需求的迅速扩张。不过，用户数量有上限，而声音也可以压缩。此外，用户使用时间也有限，不可能24小时通话。
壁仞科技高管与上海创芯学院师生合影
但是AI时代，需求并不受限于用户数量和使用时间。当下，人们的学习与工作，已经从搜索、生成式AI走向智能体AI，从搜索信息到接受整体解决方案。当AI已经变成“自动驾驶”的助理甚至同事，它对芯片的需求便有别于“互联网泡沫”。
大模型的参数在增加，用户提问所带来的上下文长度也在增加，而AI的用法也从一问一答变成Agent连续工作，这些带来了芯片需求的爆发。
他指出，过去三十年芯片一直“安静地躲在软件身后”，而大模型的兴起正在把芯片推到台前。在手机上的各种应用，大部分都是GUI+Database+Rules，即界面层、各类用户信息以及规则。但这些，实际上没有那么复杂。因此，手写规则、手工特征、领域专用流水线在未来或将都被一个端到端模型吸收。当中间层消失，计算世界最终将只剩下两样东西——模型和跑模型的芯片。
不过，这里的芯片并非仅仅指的是AI算力芯片，还包括CPU、光芯片、LPDDR、HBM和Switch芯片等。这些芯片一起，组成一个庞大的系统。
一个Token的旅程
当下流行的“Token工厂”，主要依靠上述庞大的系统来生成Token。其中，主要有三大核心环节，包括计算、互连和存储。
计算方面，AI芯片主要分为GPGPU和AI ASIC两大类。其中，传统的GPGPU主要使用SIMT（单指令多线程）架构，传统的AI ASIC主要使用SIMD（单指令多数据）架构。SIMT的优势在于，程序员只写标量代码，其余交给硬件，并行性被藏进了硬件。简而言之，就是适应力强。但它也有代价，即能效没有那么极致。
SIMD的优势在于，把“并行”从硬件搬到了软件，换来了能效。它的代价在于，向量宽度写在指令里，程序员自己负责对齐，自己用掩码处理分支。并行性被暴露给程序员，硬件只负责按照程序员写得宽度去计算。
不过，GPGPU和AI ASIC的架构也不是一成不变的。AI ASIC中，有的NPU在Vector中就使用了两种指令，一种是SIMT，另一种是SIMD。而GPGPU也在把AI ASIC的数据流塞进通用架构。AI芯片的两大路线，正在根据应用、算法走向收敛。
互连、存储方面，AI需求的爆发，也给芯片产业提出了更高的要求。随着大模型的持续演进，单卡已经装不下一个模型的权重，这也带来了当下超节点的流行。也就是说，需要依靠Scale up域内高速互联，来缓解存储容量的瓶颈。
超节点的好处在于，带来“非线性收益”。比如64卡超节点的性能并非8卡的8倍，并非简单的线性收益。芯片的规模为原来2倍，性能可能提升至4倍乃至8倍。
以大模型量化类比，从16比特量化至8比特，相当于内存容量、内存带宽、算力提升至2倍，从而带来算子效率、计算单元利用率、通信效率等多方面提升。
既然单卡时代已经过去，通信就必须从一开始就纳入芯片设计。在系统层次上需要区分3个Level，即单颗GPU内部多个Chiplet集成，Scale up和Scale out。值得注意的是，超节点并非能够无限扩大。洪洲认为，下一代超节点的规模上限，受制于光模块的成本、可靠性，以及单机柜能放多少。
寄语未来
互动问答环节，多位同学围绕半导体领域的学习与职业发展提问交流。
洪洲结合自身近30年产业经验，给出了具体建议：半导体领域覆盖面广，应先广泛涉猎多方向内容，再逐步聚焦深耕细分领域，避免过早窄化发展路径。核心基础能力可以通过各类线上课程自主补全，掌握学习的主动权，不囿于学校既定的课程安排。实战经验在校即可积累，在校期间就应主动参与相关项目，积累实战经验，主动搭建落地性平台。企业更看重员工的主动性与项目落地能力，而非单纯的学历背景；人才成长核心依靠实战项目打磨，需主动钻研技术细节，在项目推进中积累核心竞争力。