6月19日消息，据“中国电信”官微发文，中国电信人工智能研究院（TeleAI）联合北京智源人工智能研究院发布全球首个单体稠密万亿参数语义模型Tele-FLM-1T，成为国内首批发布稠密万亿参数大模型的机构。
面对大模型训练过程中算力消耗巨大的挑战，TeleAI与智源通过深度研发，结合模型生长和损失预测等关键技术，成功推出了Tele-FLM系列模型。这一系列模型在算力资源的使用上，仅消耗了业界普通训练方案的9%，展现出极高的算力能效。
通过使用112台A800服务器，TeleAI团队在短短4个月内完成了3个模型总计2.3T tokens的训练，全程无需任何调整和重试，充分证明了模型训练的稳定性和收敛性。
值得一提的是，Tele-FLM-1T版本即将开源，此举旨在为社区提供训练万亿稠密模型的技术参考，有效解决万亿模型训练收敛难等问题，进一步推动大模型技术的进步。
TeleAI不仅在技术创新上不断突破，还积极通过开源方式推动大模型技术的普及和国产化进程。他们接连开源了7B、12B、52B参数规模的大模型，这些模型在开源社区中引发了广泛讨论和使用，开源模型下载量已超过万次，吸引了超过40万用户。
文章内容举报
本文转载于：快科技，仅供信息分享，无其他用途
© 版权声明
本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！
THE END
