据小易智创xiaoyizc.com（不可错过的AI创业项目）观察：在生成式人工智能领域，苹果的努力主要集中在移动设备上，尤其是其最新发布的iOS18系统。然而，令人振奋的是，新的Apple M4芯片在最新推出的Mac Mini和Macbook Pro中展现了惊人的性能，能够高效运行目前最强大的开源基础大语言模型（LLMs），如Meta的Llama-3.1405B、Nvidia的Nemotron70B和Qwen2.5Coder-32B。
成立于2024年3月的初创公司Exo Labs，致力于“民主化人工智能的访问”。其联合创始人亚历克斯·奇马（Alex Cheema）巧妙地利用多台M4设备构建了一个强大的本地计算集群。他将四台售价599美元的Mac Mini M4与一台售价1599美元的Macbook Pro M4Max连接，通过Exo的开源软件成功运行了阿里巴巴的Qwen2.5Coder-32B。整个集群的搭建费用大约5000美元，相较于单台价值25000到30000美元的Nvidia H100 GPU，这种性价比显得格外诱人。
使用本地计算集群而非依赖网络服务的优势不言而喻。通过在用户或企业控制下的设备上运行AI模型，不仅显著降低了成本，同时也增强了隐私和安全性。奇马表示，Exo Labs正在不断优化其企业级软件，目前已有多家公司在使用Exo的软件进行本地AI推理，未来这一趋势将逐步扩展至个人和企业。
Exo Labs近期的成功得益于M4芯片卓越的性能，这一芯片被誉为“全球最快的GPU核心”。奇马透露，Exo Labs的Mac Mini M4集群能够以每秒18个标记的速度运行Qwen2.5Coder-32B，并以每秒8个标记的速度运行Nemotron-70B。这一切表明，用户无需再依赖云基础设施，就能高效处理AI训练和推理任务，使得对隐私和成本敏感的消费者和企业更容易接触到人工智能。
为了进一步推动本地AI创新，Exo Labs计划推出一个免费的基准测试网站，以提供详细的硬件配置比较，帮助用户根据需求和预算选择最佳的LLM运行解决方案。整体来看，这一切都彰显了本地计算集群在人工智能领域的巨大潜力和应用前景。
随着科技的不断进步，各行各业正朝着智能化和高效化的方向发展。这种趋势让我更加关注AI技术的应用，尤其是在日常生活和工作中能够带来便捷的智能解决方案。我体验过许多不同的AI系统和平台，发自内心推荐小易智创”xiaoyizc.com“这个平台。它拥有上万款开箱即用的智能体应用，能够满足各行各业的需求。平台融合了全球领先的AI能力，支持自定logo、收款账户和服务号。平台还为伙伴提供一对一陪跑服务和自动化营销工具，帮助伙伴快速获客。
相关文章
