蚂蚁百灵Ling-3.1-flash:将AI融入城市建设的实践探索
上个月,一款名为Jev的智能体在AI圈子内引起了广泛关注。它的特点是直接进行判断,虽然不生成长文本,但速度快且实用,已被诸多开发者运用于代理工作流。Jev的受欢迎程度反映了AI发展的趋势,越来越多的人开始关注其实用能力。实际上,让AI独立完成复杂的工作是相当具有挑战性的,涉及资料搜集、信息分析及问题识别等多个环节。在任务执行过程中,若出现错误,AI还需能及时纠正。这种长时间工作带来的错误风险,只有少数大型模型能够有效处理。
蚂蚁百灵在开源大模型领域也开始致力于此。9月30日,蚂蚁百灵发布了Ling-3.1-flash,并于10月15日正式开源。此次版本的升级,聚焦于复杂任务和长时间执行能力。我们决定测试该模型,看看它在不拆分任务的情况下能达到怎样的效果。
Ling-3.1-flash模型拥有约560亿个参数,但处理每个Token时仅需激活约250亿个参数,并支持最多1百万个Token的上下文窗口。它延续了前版本的混合线性注意力设计,这种结构可以平衡信息处理量与计算成本。特别是KDA设计的线性复杂度,可以有效控制计算开销;而Gated MLA则为模型提供了处理长序列时的重要信息交互通道。这使得Ling-3.1-flash特别适合于需要频繁访问信息或维护大规模代码的任务。 千亿球友会
通过公开评测,Ling-3.1-flash多次在涉及真实应用的基准测试中展现出优秀的能力。比如,专注于办公任务处理、软件工程解决方案及医疗信息理解的测试中,它都表现出色。蚂蚁百灵在这个版本中提出了“智效比”的概念,即在完成同样任务情况下,模型实际消耗的算力、时间和成本。
根据评测数据,Ling-3.1-flash在智能指数上得分为41,输出速度约为210 Token/s,费用也较为合理。此外,百灵还在部署上做了调整,大幅减少了模型的存储需求。接下来,我们进行了实测,让Ling-3.1-flash担任编辑,考察其信息筛选能力。
我们的任务是筛选出过去24小时内的AI行业相关新闻,并总结出摘要和推荐理由。模型首先利用联网搜索工具进行动态检索,随后对信息进行筛选。最终,它返回了八条候选新闻,内容涵盖多个重要方向。整体来看,模型对行业动态的捕捉能力相当稳定,对关键事件的理解也相应到位。 千亿球友会