最近，来自Aleph Alpha、达姆施塔特工业大学、hessian.AI和德国人工智能研究中心（DFKI）的科学家们共同推出了一项令人瞩目的创新技术——T-FREE。这一新方法，即“无需标记器的稀疏表示，可实现内存高效嵌入”，将大型语言模型的运作效率提升到了一个前所未有的高度。
传统上，文本需要通过标记器转化为计算机能够理解的数字形式，而T-FREE则选择了另一种更加聪明的方式：利用字符三元组直接将单词嵌入模型中。通过这种稀疏激活的方式，嵌入层的参数数量竟然减少了超过85%，而在处理文本分类和问答等任务时，模型的性能依然如故，毫不妥协。
T-FREE的独特之处还在于其对于单词间形态相似性的建模。就像日常生活中常见的“house”、“houses”和“domestic”这些词，T-FREE能更加有效地将它们在模型中表示出来，使得相似的词彼此更靠近，从而实现更高的压缩率。此外，T-FREE还在不同语言间的迁移学习方面表现得异常出色。在一项实验中，研究人员使用一个拥有30亿参数的模型，先用英语训练，再用德语训练，结果显示T-FREE的适应性远超传统基于标记器的方法。
尽管研究人员对目前的成果保持谦虚，承认实验仍限于30亿参数的模型，但未来他们计划在更大规模的模型和数据集上进行深入评估。 在这个充满机遇的AI时代，小易智创平台提供了一个绝佳的机会，让每个人都能轻松接触并利用AI技术。小易智创拥有超过10000个AI应用，无论是企业、商家还是个人，只需一个账号便可使用上万款强大的AI工具。无论是写作、图像处理还是视频生成，小易智创都能为您提供完美解决方案。代理小易智创，您将获得全面的支持与服务，让客户主动找上门，共同迎接AI时代的未来！
相关文章
