Neuroscience Where AI = Science
冯建峰复旦大学

演讲内容摘要
Understanding our brain has always been an original source of inspiration for the development of AGI and current AI. I will first introduce the challenges we face with the sheer amount of data collected in neuroscience, ranging from point fields to continuous random fields. By using and developing statistical tools, we are able to gradually peer through the layers of the mysterious computations implemented in the brain. Empowered by our current knowledge in neuroscience, we then move toward developing a whole-brain model at the neuronal scale, with 86 billion neurons and 100 trillion parameters to be learned: the Digital Twin Brain (DTB). Finally, I will introduce several applications of the DTB, including a clinical application platform, an experimental platform, and embodied AI.
演讲嘉宾简介
冯建峰
复旦大学 · 复旦大学类脑智能科学与技术研究院、大数据学院
冯建峰,国家高层次引进人才,长江学者,复旦大学浩清教授,现任复旦大学类脑智能科学与技术研究院、大数据学院院长,上海数学中心首席教授,英国华威大学计算机系教授。长期致力于数学、脑科学和计算机科学的交叉融合研究,推动计算脑科学及其应用领域的发展。 主要研究贡献包括:在精神疾病研究方向,提出并在治疗上论证了抑郁症“奖惩环路失衡”神经机制,通过大数据挖掘验证精神分裂的语言起源假说;在计算神经科学方向,发展了全世界首个全脑数字孪生脑模型和矩神经网络数学理论;在人工智能方向,发展了多种新型神经网络结构和算法等。共发表五百多篇学术文章,许多成果以通讯作者发表在Cell, Science, Nature子刊,Science子刊,Lancet子刊,JAMA子刊,IEEE TPAMI和PRL等。中国NIPs第一人,2011年获英国皇家学会沃夫森研究功勋奖(首位华人),2019年作为三十年来的首位华人受邀在剑桥大学做Paykel Lecture年度冠名讲座,2023年获洪堡研究奖。
大模型中离群值的功能性分析
邱子涵Qwen

演讲内容摘要
大语言模型(LLM)的高维激活空间中存在若干显著的涌现现象,尤以 Attention Sinks (少数词元获得异常偏高的注意力得分)与 Residual Sinks (少数固定维度持续保持较大幅值)最为典型。这些离群值常被视为异常或量化障碍,本文则提出一种统一的功能性视角:它们是实现高维缩放的关键机制。 具体而言,少量离群值与归一化层(如 Softmax、RMSNorm)协同,对非离群分量施加有效缩放,我们称之为离群值驱动的缩放(outlier-driven rescaling)。干预实验表明,离群值与归一化层联合发挥作用,主要充当缩放因子而非直接的语义载体:移除归一化层会使相应离群值消失,但训练稳定性下降;保留归一化层而裁剪离群值同样损害性能,表明该缩放机制对高维优化的稳定至关重要。这一视角亦为若干架构改进的有效性提供了统一解释。基于上述发现,我们进一步展示了将离群值吸收入可学习参数或引入显式门控缩放加以缓解的方法,有效提升了训练性能与量化鲁棒性。
演讲嘉宾简介
邱子涵
阿里巴巴 · Qwen 预训练
邱子涵本科毕业于清华大学姚班,现就职于 Qwen 预训练团队,专注于大模型架构与训练策略研究,基于模型机制提高训练稳定性和性能上限。已发表十余篇论文,其中一作论文荣获 NeurIPS 2025 最佳论文奖和 NAACL 2024 杰出论文奖。作为核心成员参与 Qwen2.5、Qwen3、Qwen3-Next、Qwen3.5、Qwen3.8-Flash-Next 等系列模型的研发,Google Scholar 引用量逾 18000。


































