BERT 于 2018 年发布，这个时间点，如果按照 AI 的纪事年代来说，可以说是一千年以前的事了！虽然过去了这么多年，但至今仍被广泛使用：事实上，它目前是 HuggingFace 中心下载量第二大的模型，每月下载量超过 6800 万次。

团队还使用两个技巧，加速模型的训练过程，一个是常见的batch-size warmup，另一个是受微软Phi系列模型启发，利用现有的性能良好的ModernBERT-base模型权重，通过将基础模型的权重“平铺”扩展到更大的模型，提高权重初始化的效果。

在技术细节方面，ModernBERT目前推出了两个模型版本：一个为1.39亿参数，另一个为3.95亿参数。这种细分设计使得用户可以根据自身需求选择合适的模型，不论是在资源有限的个人项目中，还是对于大型企业级应用，ModernBERT都能提供灵活的解决 ...

西风 发自 凹非寺量子位 | 公众号 QbitAI 时隔6年，一度被认为濒死的“BERT”杀回来了—— 更现代的ModernBERT问世，更快、更准、上下文更长，发布即开源！

他们最新拿出了参数分别为139M（Base）、395M（Large）的两个模型，上下文长度为8192 token，相较于以BERT为首的大多数编码器，其长度是它们的16倍。

在人工智能领域，语言模型的发展一直走在前沿。近日，Hugging ...

标题：现代BERT模型震撼发布，挑战2018年经典版，下载榜第二名地位即将改写 ...

品玩12月30日讯，据 HuggingFace 页面显示，由HuggingFace、英伟达和约翰霍普金斯大学联合推出的编码器模型BERT 推出了全新版本 ModernBERT。 开发团队表示，尽管 BERT 模型自 2018 ...

近日，HuggingFace、英伟达和约翰霍普金斯大学的专家合作推出了一项全新的技术成果——ModernBERT。该模型是在BERT的基础上进行了改进的，旨在提高效率并支持处理更长的上下文。根据开发团队公布的数据，ModernBERT在 ...

IT之家 12 月 29 日消息，Hugging Face、英伟达和约翰霍普金斯大学研究人员联手为 Hugging Face 上的热门编码器模型 BERT 推出了全新版本 ModernBERT，号称在满足效率的同时新增支持处理长达 8192 个 ...

与现有大型语言模型如 GPT-4相比，ModernBERT 在大规模文本处理上大幅降低了成本。GPT-4每次查询的费用为数美分，而 ModernBERT 则可以在本地运行，更快且更便宜。例如，FineWeb Edu 项目在过滤150亿个标记时，使用 BERT 模型的成本为6万美元，而即便使用谷歌的 Gemini Flash 解码器，成本也超过了100万美元。

BlockBeats 消息，12 月 1 日，据 Moonshot Listings 监测，Moonshot 上线 Solana 链上 Meme 币 BERT（Bertram），当前市值 1.1 亿美元，24 小时涨幅 39.65%，24 小时成交 ...