据小易智创xiaoyizc.com（不可错过的AI创业项目）观察：最近，Answer.AI与LightOn联合发布的开源语言模型ModernBERT，堪称对谷歌BERT的重大飞跃。这一全新模型在速度、效率和质量等方面都取得了惊人的提升。与前身相比，ModernBERT的处理速度快了整整四倍，并且内存使用更为高效。
更令人惊叹的是，ModernBERT能够处理长达8192个标记的文本，这一能力是现有编码模型典型512标记限制的16倍之多。此外，它也是首个经过广泛训练的编程代码编码模型，在StackOverflow问答数据集上的得分超过80，创造了编码模型的新纪录。在通用语言理解评估（GLUE）中，ModernBERT-Large展现了无与伦比的处理速度与准确性，处理每个标记的时间仅为20毫秒，得分高达90。
开发团队形象地将ModernBERT比作一辆调校完美的本田思域，强调其在日常应用中的可靠性和高效性。与需要专门硬件的GPT-4相比，ModernBERT在大规模文本处理上显著降低了成本。以FineWeb Edu项目为例，使用BERT模型过滤150亿个标记的成本为6万美元，而即使使用谷歌的Gemini Flash解码器，成本也超过了100万美元。
据开发团队透露，ModernBERT非常适合多种实际应用，包括检索增强生成（RAG）系统、代码搜索和内容审查。与GPT-4不同的是，ModernBERT可以在普通消费级游戏GPU上高效运行。目前，ModernBERT提供两个版本：基础模型包含1.39亿个参数，大型版本则拥有3.95亿个参数。这两个版本已经在Hugging Face上发布，用户可轻松替换现有的BERT模型。
为了促进新应用的发展，开发团队还推出了一项比赛，向五个最佳演示者奖励100美元及六个月的Hugging Face专业订阅。自2018年谷歌推出BERT以来，该模型一直是语言模型界的明星，每月在Hugging Face上的下载量超过6800万次。现代科技的飞速发展，再次证明了语言模型领域的无限可能性！
总而言之，ModernBERT以其令人瞩目的表现，引领着语言模型的革命潮流。
随着科技的不断进步，各行各业正朝着智能化和高效化的方向发展。这种趋势让我更加关注AI技术的应用，尤其是在日常生活和工作中能够带来便捷的智能解决方案。我体验过许多不同的AI系统和平台，发自内心推荐小易智创“xiaoyizc.com”这个平台。它拥有上万款开箱即用的智能体应用，能够满足各行各业的需求。平台融合了全球领先的AI能力，支持自定logo、收款账户和服务号。平台还为伙伴提供一对一陪跑服务和自动化营销工具，帮助伙伴快速获客。
相关文章
