Transformer 之外的架构新探索。 作者丨张贤 编辑丨岑峰 AI 科技评论独家获悉,复旦大学人工智能创新与产业研究院教授、博导陈曦近期已启动创业,新公司名为“深度汇贤”,公司的核心技术主线聚焦“Diffusion+RNN”的融合架构。 (本文作者长期关注具身赛道上下游,欢迎添加微信交流:zhangxian2021) 公开信息显示,陈曦曾任职剑桥卡文迪许实验室、英国巴斯大学。2024 年,陈曦加入复旦 AI³ 院,担任人工智能创新与产业研究院教授。 研究方向上,陈曦致力于在贝叶斯推断框架下研究领域知识驱动的概率建模、统计机器学习与大模型/多智能体方法,探索下一代 小参数量基础模型架构 、智能体自进化方法、多智能体隐空间协作机制等。构建面向复杂科学问题的可靠基础模型与智能体架构,并服务AI4S、科学发现、生命科学、临床医学和工程科学等交叉学科场景。本次创业,也是其从学术研究走向工程化落地的重要一步。 当前,大模型赛道在持续探索 Transformer 之外的备选架构,“Diffusion+RNN”属于小众、偏底层的融合技术路线。 区别于 Transformer 的全局注意力范式,Diffusion RNN 是一条融合扩散模型与循环状态记忆的底层序列建模路线。扩散模型并非自回归逐 Token 生成,而是从噪声出发经由多轮去噪迭代完成生成,可控性强、概率建模能力突出,存在显存开销高、推理速度偏慢的短板。而RNN 循环结构依靠持续更新的隐状态承载记忆,适配长序列与流式输入,缺点是可控生成能力不足。 “Diffusion+RNN”将两者结合,以循环结构负责长程记忆与线性递推,借助扩散过程实现概率采样与迭代修正,目标是在固定显存的约束条件下兼顾长上下文能力与可控生成优势。 据了解,深度汇贤项目还处于早期阶段,已经有部分投资机构正在接触并参与投资。 未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载! 公众号
为篮球运动员提供防守技能专项训练,包括一对一防守、区域防守等。...
为篮球运动员提供防守技能专项训练,包括一对一防守、区域防守等。...