今日-人称“GPT-4最强平替”的Llama 2，究竟厉害在哪里？
本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。
编译| 铭滟
编辑 | 徐珊
智东西7月26日消息，据The Information报道，Llama 2与GPT-4在性能与成本方面各有优势。除此之外，虽然Llama 2为免费商用的开源模型，但大模型的创建过程还需要专业人员操作。Llama 2的发布也激发了AI爱好者的积极讨论与应用。
在性能方面，根据大规模多任务语言理解的基准测试，GPT-4和GPT-3.5的表现均优于Llama 2；在训练成本方面，Llama 2的700亿参数模型则通过分组机制降低成本，且同时还可以处理更多请求。上周Meta正式发布Llama 2后，Llama 2强大的参数规模以及性能表现，对OpenAI带来了不小的压力，人称为“GPT-4最强平替”。
Llama 2作为Meta发布的首个免费商用的开源大模型，这并不等于各个商业公司可以自行创建大语言模型（LLM）。使用开源AI模型构建LLM和聊天机器人仍需要专业人员完成。
一、比起GPT-4，Llama 2的优势在哪里？
The Information称Llama 2的发布是Meta的夺权之作，因为几乎每家公司都可以选择收费商用，但Meta选择免费商用。OctoML的联合创始人Jason Knight认为，Llama 2将抢夺OpenAI旗下GPT-4的市场份额，OctoML是一家机器学习（ML）模型优化和部署的平台公司。
但OpenAI或将推出与Llama 2对标的开源商用LLM，据The Information消息，OpenAI未发布模型的代号是G3PO，但尚未有消息表明它将于何时发布。考虑到OpenAI的员工数量，新模型的发布或将延迟。
The Information称，OpenAI将开发一种闭源模型与开源模型的混合体，前者用于营收，后者仍将向开发者开放，并吸引开发者为闭源模型付费。目前，扎克伯格并未对此消息作出进一步表示。
Llama 2大模型有70亿、130亿、700亿三个参数规模版本。参数是指大模型在训练过程中用来对所学内容进行编码的参数，参数数量越大，模型复杂性越高，对服务器的性能要求也越高。较小的模型运行起来更快更轻松，较大的模型更适合复杂推理任务。
▲图为Llama 2大模型70亿、130亿、700亿三个参数规模版本介绍
与其他LLM相比，Llama 2在性能方面表现居中。根据大规模多任务语言理解（MMLU，一种常用的文本模型基准），Llama 2的700亿参数模型在数学和编码等各种任务上的表现优于MosaicML预训练转换器（MPT）和阿联酋阿布扎比的技术创新研究所（Technology Innovation Institute）的Falcon。但Llama 2的表现略落后于OpenAI的GPT-3.5，在编码基准方面，两者有很大差距。与GPT-4和谷歌的Pathways Language Model（PaLM）2（Bard聊天机器人的运行基础）相比，Llama 2的性能差距更大。
在训练和使用AI模型的成本方面，Llama 2的表现则优于其他LLM。Llama 2的700亿参数模型中使用了分组查询注意机制（Grouped-Query Attention，GQA）。GQA是一种降低LLM内存需求的建模技术。这一技术可以降低每一字节的计算成本，使得LLM能同时处理于更多的请求。如今这一点变得越发重要，因为训练和使用AI模型的成本激增。以GPT-4为例，它的训练费用就超过了1亿美元。
二、商用免费后，公司还需要花钱买LLM吗？
Llama 2发布后，似乎每家公司都可以自行创建LLM和聊天机器人了。但这没有想象中那么简单。使用开源AI模型构建LLM和聊天机器人需要多重步骤，包括托管模型、构建聊天机器人用户界面、以模型路径存储专有数据，以及微调模型。这些都是费时费力的工作，即使是Databricks等销售AI模型工具的公司也需要数据科学家来完成这项任务。
然而，AI从业者和爱好者已经开始互帮互助，共同开发Llama 2。Reddit社区上充斥着各种教程，从如何告诉模型要生成什么东西，到教人们个性化设置Llama聊天机器人。与此同时，GitHub上的Ollama也发布脚本，辅助用户在笔记本电脑上本地运行Llama 2，这也让更多的人可以使用Llama 2。
▲图为Reddit社区Llama 2讨论区
Meta此举还将提升提供应用程序和服务器的公司的估值，因为此类公司能够辅助运行人工智能模型。据多位知情人士透露，Modal最近以1.5亿美元的税后估值获得了Redpoint Ventures的资助，该公司主营业务为帮助开发者在线上运行人工智能应用程序代码。Redpoint发言人兼Modal首席执行官拒绝置评。
结语：Meta的开源之举或将影响AI领域生态
Llama 2的发行吸引了AI业内大量的关注，为Meta在AI领域的后续发展提供了难得的机会。Meta的免费开源之举可能会给业内带来一个蓬勃发展的开发者生态，开发者可以免费改进各项应用软件。
对于包括OpenAI在内的其他AI企业来说，Meta的行为是否会改变他们的产品发布节奏？或者影响其内部战略决策？对此，我们也会持续关注。
来源：The Information