百川智能与鹏城实验室开展合作,突破国产算力大模型长窗口技术

来源:华夏生活 网址:http://www.baby17go.cn/a/www.keyan.dzxwnews.com/

播报:

            当快艇飙过水道,就可以看见中间深色湛蓝,两侧青翠浅绿两种不同颜色的海面,这里也是魟鱼和众多鱼群聚集地方,附近也是著名的生态潜点,最出名的潜点就是MantaRock。这个岛国受邀参会,它有何主要诉求?“一带一路”对斐济以及南太平洋地区的发展意味着什么?在启程前往北京前,姆拜尼马拉马总理在首都就这些问题接受了中国媒体的专访。火山泥据说有美颜功效,不过真实情形是:它可以去角质。

            A:各家酒店不同,大约是12:00或14:00Checkin/11:00或12:00Checkout,在说明资料中会註明。帕劳的珊瑚花园(CoralGarden)浮潜点是非常有名的,有大片茂盛的软、硬珊瑚。

            你也会找到肉类,主要是牛肉和鸡肉,不过都是进口的。2、不会游泳的游客下湖水中洗净火山泥时必须穿上救生衣。

            而且由于受到多种宗教信仰和不同移民风俗的影响,这里的节日有着不同的风格。浮潜中不要去触摸水底的珊瑚,珊瑚会非常的锋利,应当避免用手、脚、膝盖或任何部位去触碰珊瑚,浮潜时被珊瑚刮伤可不是闹着玩的。

          重点推荐:宁波镇海第二医院招聘 代表团看望并慰问了第十七批中国援塞医疗队全体队员和第八批援塞青年志愿者中的医务工作者,与大家进行了亲切交流。不过你如果不太会游泳或是不想下潜到几米以下或是去浪小的地方,半干式还是够用的,毕竟便宜一半价钱。

          宁波镇海第二医院招聘

          宝藏28网讯 11月16日,百川智能与鹏城实验室宣布携手探索大模型训练和应用,合作研发基于国产算力的128K长窗口大模型“鹏城-百川·脑海33B”。这是国产算力大模型创新与落地的一次实践,对国产算力大模型发展具有积极示范作用。

          百川智能携手鹏城实验室助力国产算力大模型创新

          众所周知,训练大模型需要海量的算力,并且大模型参数数量的增长与算力的平方成正比。大模型性能的竞争,一定程度上是算力的比拼。在复杂多变的国际环境下,国内算力供给与需求之间的“鸿沟”持续扩大,国产化算力已经成为国内大模型企业的必要选择。

          虽然国内诸多企业在通用AI芯片方面早有布局,在芯片量产、生态构建、应用拓展领域也取得了不错进展,但基于国产算力训练大模型,仍面临着生态建设、成本控制、能效比优化等阻碍。因此算力完全自主,仍需要芯片厂商、大模型企业、学术科研机构等多方共同努力。

          鹏城实验室表示,鹏城实验室秉持“国产算力+自主大模型”的创新理念,依托“鹏城·脑海”开源联合体,广泛联合企业、高校和科研院所,致力于通过开源群智的合作模式共享资源,为千行百业插上宝藏28网人工智能的“翅膀”。百川智能是国内领先的大模型企业,自成立以来一直在推动大模型研发和开源生态建设,其开源和闭源模型在同等量级权威评测中都取得了优异成绩。双方在合作过程中能够充分发挥各自优势形成合力,更好地满足我国不断增长的智能化转型需求,助力中国人工智能产业快速崛起。

          百川智能表示,百川智能希望通过开源、与合作伙伴共创等方式助力中国大模型创新,繁荣本土大模型生态。鹏城实验室作为国家战略科技力量的重要组成部分,在国产算力大模型研发和应用等方面一直处于国内领先位置。本次百川智能与鹏城实验室合作研发“鹏城-百川·脑海33B”长窗口大模型,是国产算力大模型技术创新和落地的一次突破。未来,百川智能将在技术、算力等诸多维度不断深化与鹏城实验室的合作,持续助力本土大模型创新发展。

          国产算力最长上下文窗口,“鹏城-百川·脑海33B”率先实现国产算力技术突破

          论坛上,百川智能和鹏城实验室展示了双方共同研发的“鹏城-百川·脑海33B”大模型。“鹏城-百川·脑海33B”的128K长上下文窗口基于“鹏城云脑”国产算力平台训练,未来可升级至192K,是基于国产算力训练的最长上下文窗口。

          上下文窗口长度对模型理解和生成与特定上下文相关的文本至关重要,是大模型的核心技术之一。通常而言,更长的上下文窗口可以提供更丰富的语义信息、消除歧义,能够让模型生成的内容更准确、更流畅。

          为了更好地提升“鹏城-百川·脑海33B”上下文窗口长度和模型整体性能,百川智能和鹏城实验室对模型进行了全流程优化。在数据集构建方面,采用精细的数据构造,实现了段落、句子粒度的自动化数据过滤、选择、配比,良好的提升了数据质量;在训练架构上,通过NormHead、max-Z-Loss、dynamic-LR等自研或业界领先的模型训练优化技术,对Transformer模块进行深度优化,确保模型收敛稳定的同时,全面提升了模型优化效率和最终效果;此外,还在全生命周期的模型工具集中,通过与北京大学王亦洲、杨耀东老师团队的合作,首创了带安全约束的RLHF对齐技术,有效提升了模型内容生成质量和安全性。

          未来,双方将在国产算力大模型技术创新和模型落地等方面继续加强合作,并与相关领域的优势单位如北京大学、清华大学等开展协同创新,助力本土大模型在模型性能、技术创新方面持续突破,推动本土大模型进一步开源开放,为更多行业智能化转型提供帮助和支持。(栀橙)

          (0)
          上一篇 2023年11月17日 10:49
          下一篇 2023年11月17日 11:35
          分享:

          收藏

          --

          --

          无障碍浏览