pc6下载站：安全、高速、放心的专业下载站！ pc6首页|软件分类pc6游戏网|pc6安卓网|pc6苹果网电脑版|精品模板|软件发布

所在位置：首页 → 资讯 → 系统工具 → 突破算力限制！Meta开源“记忆层”，重塑Transformer架构大模型 评论

突破算力限制！Meta开源“记忆层”，重塑Transformer架构大模型

今天凌晨3点，全球社交巨头Meta分享了一个创新研究——Memory layers（记忆层）。目前，Transformer架构的预训练大模型在存储、查询数据时，随着参数的变大对算力的需求呈指数级增长。“记忆层”提出了新的高效查询机制替代了传统的查询方法，通过比较查询键与两个较小集合中的键，可以快速找到最相关的键，而无需遍历模型的整个记忆层。

网友评论共0条

发表评论

您的评论需要经过审核才能显示

精彩评论

最新评论