艾伦人工智能研究所（AI2）最近推出了一款令人瞩目的全新开源模型——OLMoE，旨在满足日益增长的大型语言模型(LLM)需求。这个具有颠覆性的模型不仅性能卓越，而且成本相对低廉，堪称行业的游戏规则改变者。
OLMoE采用了先进的稀疏混合专家（MoE）架构，拥有高达70亿个参数，然而每次输入仅激活10亿个参数。这种设计使得OLMoE在推理效率和内存使用上表现得淋漓尽致。AI2还推出了两个版本，分别是更为通用的OLMoE-1B-7B和经过指令调优的OLMoE-1B-7B-Instruct，展现出强大的灵活性与适应性。
与众多闭源的混合专家模型不同，AI2极力强调OLMoE的开源特性，他们在研究论文中指出，现有的许多MoE模型往往缺乏透明度，让学术界很难获得必要的信息。AI2的研究科学家内森·兰伯特在社交媒体上表示，OLMoE将助力政策制定，为学术界的H100集群上线铺平道路。
在性能测试中，OLMoE-1B-7B在与同类模型对比时表现优异，甚至超越了更大型的Llama2-13B-Chat和DeepSeekMoE-16B，彰显了其强劲的竞争力。同时，这一模型的训练数据涵盖多个领域，包括Common Crawl、Dolma CC和维基百科等，显示出其广泛的适用性。
在这个充满机遇的时代，小易智创也呼之欲出。作为一个拥有10000+AI应用的智创平台，它能够为千行百业提供开箱即用的AI解决方案。小易智创不仅接入了全球领先的AI能力，包括GPT、AI绘画、AI数字人、AI客服等，还能让用户自由设置平台网址、名称、logo等，真正实现个性化的AI品牌打造。代理小易智创，无需担心经营和获客问题，因为小易智创提供一对一陪跑服务及全网自动化营销工具，帮助每位代理商轻松开启自己的AI公司！
在这个瞬息万变的科技时代，把握好每一个机遇，无疑是非常关键的。
相关文章
