对标GPT-4!谷歌发布大语言模型PaLM 2,可在手机上运行!
添加书签专注AIGC领域的专业社区,关注GPT-4、百度文心一言、华为盘古等大语言模型(LLM)的发展和应用落地,以及国内LLM的发展和市场研究,欢迎关注!
5月11日凌晨,谷歌召开 “2023 Google I/O”技术大会,生成式AI成为本次大会的重要主题。
会上,谷歌首席执行官Sundar Pichai介绍了最新发布的大语言模型PaLM 2,主要功能包括支持100多种语言、具备逻辑推理、代码生成等,基本上与ChatGPT的最新模型GPT-4类似,并开放了API测试申请渠道。(API申请地址:https://makersuite.google.com/waitlist)
值得一提的是,PaLM 2提供了Gecko、Otter、Bison和Unicorn四种模型。其中,Gecko非常非常轻巧,可以在移动设备端运行快速运行(手机、Pad等),即便是离线状态也能与应用程序进行交互。谷歌希望开发者通过Gecko模型,加速生成式AI在移动端的开发进程。
谷歌并没有公开PaLM 2的参数,但之前的PaLM是5400亿参数。「AIGC开放社区」带着这个问题询问了Bard,它回答道:“目前仍在开发中,无法访问非公开信息。”
PaLM 2采用了一种“计算最优缩放”技术,能在最小的参数实现最大的性能,也就是说开发者可以用最少的算力资源,开发强大的生成式AI应用。
Bard回答
Sundar Pichai介绍PaLM 2
下面「AIGC开放社区」为大家介绍PaLM 2的主要功能
多语言
PaLM 2比之前的PaLM,在多语言文本方面接受了更多的训练,涵盖100多种语言。显著提高了在多种语言中理解、生成和翻译细微差别文本(包括成语、诗歌和谜语)的能力。PaLM 2还通过了“精通”级别的高级语言能力考试。
生成代码
PaLM 2在大量公开可用的源代码数据集上进行了预训练。这意味着擅长Python、JavaScript 等流行的编程语言,同时也可以生成 Prolog、Fortran 和Verilog 等语言的专用代码。
推理能力
PaLM 2的广泛数据集包括科学论文和包含数学表达式的网页。因此, PaLM 2具备强大的逻辑、常识推理和数学方面的能力,比之前的PaLM更容易理解人类的意图。
PaLM 2是如何构建
根据谷歌官方的说法,PaLM 2 因擅长高级推理、翻译和代码生成等任务,通过融合大型语言模型中三个不同的研究进展,对其前身PaLM进行了三大优化。
使用计算最优缩放:计算最优缩放的基本思想是,按比例缩放模型大小和训练数据集大小。
这种新技术使PaLM 2比PaLM更小,但效率更高,整体性能更好,包括更快的推理、更少的服务参数和更低的成本。
增强数据集混合:之前的PaLM的训练数据集主要是英文。PaLM 2通过更多语言和多样化的预训练混合,改进了语料库,其中包括数百种人类和编程语言、数学方程式、科学论文和网页等。
更新的模型架构:PaLM 2增强了模型架构,并接受了各种不同任务的训练,所有这些都有助于PaLM 2学习不同的语言和任务。
负责任的AI
谷歌承诺向用户、企业、个人开发者提供负责任的AI服务,并进行了以下优化。
预训练数据:谷歌删除了敏感的个人身份信息,过滤了重复的文档以减少记忆,并分享了在预训练数据中的表现方式的分析。
非法内容过滤:PaLM 2展示了改进的多语言非法内容分类的能力,并且内置了对非法内容生成的控制。
危险评估:谷歌评估了PaLM 2一系列潜在下游用途的危害和偏见,包括对话、分类、翻译和问答等,并对这些非法内容进行了有效控制。
本文素材来源谷歌官网,如有侵权请联系删除
END