OpenAI正开发 “G3PO”开源模型,以应对Meta的Llama 2

添加书签

专注AIGC领域的专业社区,关注OpenAI、百度文心一言等大语言模型(LLM)的发展和应用落地,关注LLM的基准评测和市场研究,欢迎关注!

7月25日,The Information消息,OpenAI正在内部开发一个代号为“G3PO”的开源大语言模型,以应对科技巨头Meta最新发布的Llama 2。

Llama被誉为类ChatGPT开源模型的“鼻祖”,几乎国内外所有知名开源项目都是借鉴或基于该模型,但一直不允许商业化只能用于学术研究。

今年7月18日,Meta发布了Llama 2性能方面大幅度提升,同时允许商业化这对OpenAI造成了严重冲击,吸引了大批开发者。

此外,微软成为Meta技术合作伙伴,将在Azure云、Windows上提供Llama 2的部署、微调等服务。微软作为OpenAI的最大股东,与Meta的合作让OpenAI有“失宠”的感觉。

多重打击之下,OpenAI开发一个开源模型也是情理之中的事。

OpenAI正开发 “G3PO”开源模型,以应对Meta的Llama 2插图

据悉,G3PO模型不太可能与GPT-3.5、GPT-4竞争,但功能方面会有一些变化。

OpenAI没有公布G3PO的详细发布时间,这是因为希望专注于推出应用商店和创建个性化的ChatGPT助手。他们认为构建一个良性、高活的生成式AI应用商店,同样可以吸引更多的开发者。

早在今年5月份,HumanLoop的联合创始人Raza Habib表示,他曾与OpenAI 联合创始人Sam Altman以及其他 20 位开发者进行了一次闭门会议,讨论了关于 OpenAI 接下来的发展计划。其中,Sam透露了OpenAI一项重要决议,正在考虑开源GPT-3。

OpenAI正开发 “G3PO”开源模型,以应对Meta的Llama 2插图1

此外,OpenAI 受 GPU算力限制,这推迟了他们的许多短期计划。最大的客户抱怨是关于 API 的可靠性和速度。Sam 表示,大部分问题是 GPU 短缺造成的。

微调 API 也目前受限于 GPU 资源。他们还没有使用像 Adapters 或 LoRa 这样的高效微调方法,因此微调运行和管理非常消耗计算资源。

目前,全球严格的AI监管框架也阻碍了OpenAI的技术创新,他们需要将更多的人力、算力资源用于安全策略方面,无法在短期内提供更多的创新功能。

本文素材来源The Information,如有侵权请联系删除

END

OpenAI正开发 “G3PO”开源模型,以应对Meta的Llama 2插图2