1760亿参数,支持中文,可商用!高性能类ChatGPT开源模型
添加书签专注AIGC领域的专业社区,关注GPT-4、百度文心一言、华为盘古等大语言模型(LLM)的发展和应用落地,以及国内LLM的发展和市场研究,欢迎关注!
近日,SambaNova与Together联合推出了类ChatGPT开源模型——BLOOMChat。(开源地址:https://huggingface.co/sambanovasystems/BLOOMChat-176B-v1)
据悉,BLOOMChat有1760亿参数,支持中文、英文、日文、法文、等46种语言;支持代码生成,包括Python、java、php、cpp、Ruby、C++等13种编程语言;可用于 Apache 2.0 修改版本下的研究和商业用例;知名开源平台持续提供技术迭代等。
总之,BLOOMChat与目前市面上大多数类ChatGPT开源模型相比,在预训练数据、指令调优、功能扩展、AI对齐等方面拥有巨大优势。对于企业和个人开发者来说,无论用于商业化项目还是技术研究都是一个不错的选择。
在线体验地址:https://huggingface.co/spaces/sambanovasystems/BLOOMChat
强强联手推出BLOOMChat
Together是一家「AIGC开放社区」多次介绍的开源厂商,前不久,Together凭借出色的技术获得了2000万美元(约1.4亿元)种子轮融资。其开源产品RedPajama-INCITE具备性能强、资源消耗低的特点,普通笔记本就能跑。
此外,Together曾完美复制了LLaMA模型上的训练数据集,按照其论文的数据模式从维基百科、GitHub、普通抓取、C4、图书、ArXiv、Stack Exchange抓取了1.2万亿训练数据,并将其进行开源。
SambaNova则是一家企业级生成式AI平台,可为金融、销售、政务、医疗保健、制造、汽车等行业,提供从模型数据预训练、指令调优、本地部署、特殊场景化部署、运维等一站式解决方案。其产品已在金融、医疗、制造等领域实现场景化落地。
所以,SambaNova与Together联合推出的BLOOMChat与学术机构推出的开源模型相比,技术层面有很大优势。因为,他们有实际项目落地经验能得到客户的实时反馈,这对于BLOOMChat的功能迭代、安全防护等有着巨大帮助。
SambaNova与Together也希望蹭上ChatGPT的风口,凭借推出少有的支持多语言开源项目拉动业务增长,持续对产品进行技术创新在开源界俘获更多的企业用户。
BLOOMChat介绍
BLOOMChat是基于BigScience在2022年7月开源的大语言模型BLOOM开发而成,并在OpenChatKit、Dolly 2.0和OASST1的数据训练集上进行微调。 所以,BLOOMChat也算是一个组合模型,通过将市面上最强大的开源模型与海量数据训练集相融合,属于开源界的“变形金刚”。
从BLOOMChat发布的测试数据来看,与GPT-4相比,在英文、中文、法语等6 种语言的人工评估中,BLOOMChat的响应首选次数为 45.25%。
在同是6种语言的环境下,BLOOMChat与OpenAssistant、LLaMA-Adapter、BLOOMZ开源模型相比,BLOOMChat的响应在65.92%,成为最佳开源产品,有效填补了开源领域多语言聊天能力的空白。
尤其是在中文领域,国外多数开源类ChatGPT几乎都不支持中文,即便是支持中文其训练数据也非常少,在回答问题方面生硬、老套极易出错。根据BLOOMChat的展示的中文示例来看,其文本回答的逻辑、词语搭配、丝滑程度几乎可以与ChatGPT相媲美。
不过「AIGC开放社区」在测试时,BLOOMChat会出现延迟的情况,并且特定的问题可能会拒绝回答。
BLOOMChat的翻译能力也非常出色。根据其在 WMT14-fr-en、WMT14-hi-en的翻译任务上的表现来看,BLOOMChat仅比GPT-4略差,比OpenAssistant、LLaMA-Adapter、BLOOMZ等开源模型的性能高出一大截。
BLOOMChat表示,其性能与所有大语言模型一样会出现“胡说八道”、重复语句、非法内容输出、代码生成可能会出现BUG等问题。但BLOOMChat会持续优化这些问题,为用户提供最先进、高性能的开源模型。
本文素材来源BLOOMChat,如有侵权请联系删除
END
「AIGC开放社区」ChatGPT对话机器人大合集,扫描二维码免费使用