|
文 / Tencent科技 郭晓静 郝博阳
“开源模型会越来越落后。”Create 2024百度AI开发者大会上，百度创始人、董事长兼首席实行官李彦宏的这句话，以及在大会上发布的PPT，在网络上广为流传，并引起了科技圈关于大模型开源vs闭源的辩论。
引起对大模型是否要开源的系统性讨论的，还有李彦宏发表的关于大模型开源的多个看法：
“开源模型已经很多了，不缺百度一家。”
“大家以前用开源觉得开源便宜，其实在大模型场景下，开源是最贵的。”
“而且模型开源也不是一个众人拾柴火焰高的情况。这跟传统的App开源一比如Linux、安卓等等很不一样，由于是模型带来的开源，大家也不知道参数为什么变成了那个样子，这种情况下很难实现众人拾柴火焰高。虽然Llama也鼓励大家去贡献各种各样的数据、代码，但是实际上大家明白最主要的开发者就是Meta这些人，它并不是一个真正由大家一起来协同开发的产品。”
360创始人周鸿祎一直是开源的信徒，很巧的是，他4月13号在哈佛有个演讲，在演讲中也提到了关于开源的态度“没有开源就没有Linux，没有PHP，没有MySQL，甚至没有互联网。包括在人工智能的发展上，如果没有当初GOOGLE开源Transformer，就不会有OpenAI和GPT。大家都是受益于开源成长起来的个人和企业。”
网民猜测周鸿祎在“暗怼”李彦宏。周鸿祎随后在4月20日再次发文澄清，“这两天有人挑事儿，说我攻击李厂长，我不是针对李厂长，我还是从产业发展的角度来看开源和闭源。”
其实，两位科技企业的创始人关于大模型开源vs闭源的争论，不是简简单单的开源好、还是闭源好的二元论问题，而是一个关于复杂系统的争论，涉及到多个问题：
① 在大模型领域，开源模型的能力是否永远会落后于闭源模型的能力？
② 开源模型，是否可能有商业化落地的闭环？
③ 当真正应用大模型的时候，究竟是开源还是闭源性价比更高？
④ 从科技发展的角度来讲，大模型的开源和传统意义的开源，究竟有什么不同？
开源不仅是开放源代码这么简单
开源（Open Source）的起源可以追溯到计算机技术初期，那时候App和硬件就像是一对连体婴，用户常常得自己动手编写或修改App来解决问题。到1955年，IBM为了让大家都能深入研究他们的操作系统，搞了一个“IBM用户组分享”。
70年代中叶，随着计算机技术的发展，App开始成为一种商品，而不再免费地与硬件一起提供。这种变化导致了App的共享学问开始受到限制。为了反对这种趋势，自由App运动（Free Software Movement）开始兴起，Richard Stallman在1983年发起了GNU项目，并在1985年创立了自由App基金会（Free Software Foundation, FSF），推动自由App的发展。
1998年，Eric Raymond和Bruce Perens成立了开源促进会（Open Source Initiative, OSI），并提出了“开源定义”（Open Source Definition），这是对开源App的正式定义。OSI的目标是推广开源App，并为开源项目提供认证。
按照开源促进会的说法，开源App不光是把源代码公开那么简单，它还得满足一些条件，比如允许大家自由地用、改和分享这个App，甚至基于它创造新的东西。但是，开源App也不是啥都不管，它得在某种开源许可证下发布，比如大家常听到的GPL、Apache、BSD和MIT这些许可证。
为何周鸿祎会特别提到，没有开源就没有Linux、PHP、和MySQL，这三者和开源的关系是什么？和现在的科技产业又有什么关系？
● Linux：Linux是一个开源的操作系统内核，由Linus Torvalds在1991年首次发布。Linux内核是许多现代操作系统的基础，包括Android和大多数服务器操作系统。Linux的开发模式——开放源代码、社区驱动、协作开发——成为了开源App运动的一个标志性案例。
● Apache HTTP Server：一个强大的Web服务器App，处理HTTP请求并提供Web页面。Apache HTTP Server是互联网上最常用的Web服务器之一，以其性能和可配置性而受到青睐。
● PHP：PHP是一种开源的服务器端脚本语言，特别适用于Web开发，并且是创建动态网站和Web应用的常用工具。PHP的开源特性允许开发者自由地使用、修改和增强其功能，从而推动了Web开发技术的发展。
● MySQL：MySQL是一个流行的开源关系数据库管理系统（RDBMS），广泛用于网站和在线应用的数据存储。MySQL的开源性质使得它能够被社区广泛采用和定制，成为许多网站和网络应用后端的关键组件。
这三者共同构成了所谓的LAMP（Linux, Apache, MySQL, PHP/Python/Perl）栈的一部分，这是创建动态网站和网络应用的常用技术组合。Linux作为操作系统，Apache作为Web服务器，MySQL作为数据库，而PHP（或其他语言如Python或Perl）作为脚本语言，共同支撑了互联网上的大量网站和应用。
用通俗的语言说明就是，LAMP就像是一个团队，里面有打地基的Linux，接待用户的Apache，管理数据的MySQL，还有写代码的PHP（或Python、Perl）。这个团队合作无间，可以说是互联网世界的基础。
除了这些技术的发展和普及，开源还为全球开发者社区提供了一个共享常识、协作创新的平台。通过开放源代码，这些项目能够快速迭代，聚集全球开发者的智慧，形成了强大的生态系统，推动了整个App行业的进步。
来到大模型时代，开源变了吗？
那么，来到大模型时代，开源有什么不同了吗？在早期的App时代，开源主要是由个人和小型团队推动的，重点在于共享代码和协作解决问题。开源项目通常是由爱好者和志愿者社区维护的，商业化程度较低。例如，Linux操作系统的诞生和GNU项目的推动，都是这一时期开源生态的代表。
随着互联网的兴起，开源生态开始加速发展，开源项目开始得到更广泛的认可和使用，如上文提到的LAMP，它们成为了构建网站和网络应用的基石。此外，开源也开始与商业模式相结合，如通过提供技术服务和支撑来盈利。
到了云计算时代，云服务提供商开始大量采用和贡献开源技术，如OpenStack和Docker等，它们成为了云计算基础设施的重要组成部分。开源App开始与云服务紧密结合，提供更加灵活和可扩展的解决方案。同时，云服务商通过提供基于开源App的云服务来创造商业价值，如AWS、Azure等。
大模型的技术浪潮，某种程度上也是由开源开启，GOOGLE开源了Transformer，才有了后来OpenAI引爆行业的ChatGPT。
图：大语言模型进化树
但OpenAI不再Open，GOOGLE也不再那么Open，大模型的开源大旗，反而被Meta以其Llama系列模型扛起，马斯克开源Grok模型，位于法国巴黎的Mistral AI，成为另外两股最被关注的大模型开源力量。
但是，Llama2刚刚发布后不久，就有批评说，Llama2并不符合开源促进会（OSI）设定的定义，Llama2的许可证包含了一定的限制，比如禁止使用Llama2去训练其它语言模型，如果该模型用于每月用户超过7亿的应用程序和服务，则需要获得Meta的特殊许可证。
大模型时代的开源，也变得更加复杂。
首先是开源的方式，单单从最具代表性的Llama系列模型和Mistral系列模型，它们的开源方式就不太相同。一位熟悉开源生态的专家表示，它们的区别主要在于Restrict License（限制许可）VS Apache。Llama的开源属于前者，从前面描述的Llama2的限制方式可以看出，这种开源方式是指在开放源代码的同时，对使用、修改和分发该模型的行为施加一定的限制。
这与完全开放的开源许可证（如MIT、Apache 2.0等）不同，后者通常允许用户在几乎不设限的情况下使用和修改App，而Mistral、GOOGLE的开源模型Gemma都采取了这种方式，既开源了模型的权重也开源了模型的架构。但是对于训练的数据和训练过程并不开源。
除了开源方式的不同，训练一个大模型通常需要大量的数据、计算资源和专业常识来进行训练和优化，这些资源往往只有大型科技企业或研究机构才能提供。所以，大模型时代的开源主体，往往是大型科技企业，或者资源优势强的创业企业，而不是个体；这也造成了，开源虽然可能吸引更广泛的社区参与，但由于技术门槛和资源需求，实际贡献可能集中在有限的专家群体中；某些大企业的开源，还有着占据竞争生态位的考量，所以对于开源条款的设计，也会有更加复杂的考虑。
这些变化呼应了文章开头提到的李彦宏的观点，“模型开源不是一个众人拾柴火焰高的情况。这跟Linux、安卓等传统的App开源很不一样，由于是模型带来的开源，大家也不知道参数为什么变成了那个样子。虽然Llama也鼓励大家去贡献各种各样的数据、代码，但是实际上大家明白最主要的开发者就是Meta这些人，它并不是一个真正由大家一起来协同开发的产品。”
但是大模型的生态刚刚萌芽，从目前看来，确实是能够获取有限资源的少部分人，推动了大部分的技术进步，但是随着算力资源成本的降低及门槛的下降，是否未来还能呈现“众人拾柴火焰高”的情况，目前也无法下定论。
但是，大模型的生态发展究竟会如何演变？相对于开源历史，又会呈现出哪些不同的特点？这是值得科技界长期关注和深度讨论的问题。
从Benchmark来看， 开源闭源模型的能力对比
基于大模型开源生态的演进，还有一个讨论的焦点，“开源大模型的能力，真的会越来越落后吗？”
被称为最强开源大模型的Llama3在4月19日发布，有8B和70B的版本，并预告大版本的超过4000亿参数的模型也将在晚些时候发布。Llama 3 在多项性能基准上展现了最先进的性能，提供了包括改进的推理能力在内的新功能。
从Benchmark看，仅仅70B的Llama 3在各项指标上已经能和据推测参数量为175B的Gemini Pro1.5相抗衡，联合Claude 3给出的数据，70B的Llama3即使对敌GPT4，在各项benchmark上比较也已经非常接近。这还是在Llama3未进行微调的情况下达成的，这说明它后续还有很大的提升空间。
同样的，开源界的另外两个巨头Mistreal 和 Grok近期放出的模型也都展示出与GPT-4“同代”的水平。Grok1.5V具有多模态能力，且各项指标与GPT4不分伯仲。Mistreal近期流出的基于Llama2训练的Miqu 70B模型据EQbenchmark测试也和GPT4能力相近。
2023年，外国媒体报道GOOGLE曾经流出一份文件，主题是“大家没有『护城河』，OpenAI 也没有。当大家还在争持时，第三方已经悄悄地抢了大家的饭碗——开源。”
这份文件认为，现在的一些开源和闭源模型的差距正在以惊人的速度缩小。开源模型更快、可定制性更强、更私密，而且功能性也不落下风。“几乎任何人都能按照自己的想法实现模型微调，到时候一天之内的训练周期将成为常态。以这样的速度，微调的累积效应将很快帮助小模型克服体量上的劣势。”
连GOOGLE都不得不面对这样的难题，开源模型，正在从能力上不断接近闭源模型，而从商业上，也在蚕食威胁闭源模型的护城河。
从技术发展的历史规律来看。技术发展的曲线必然会经历从陡峭到放缓的阶段，这就意味着，即使领先者一开始“遥遥领先”，后来者也会逐渐追上，并逐渐缩短与领先者的差距。
随着Llama3一起发布的，还有扎克伯格的一个专访，他对于大模型的Scaling law这条路持有比较悲观的态度，他认为从现在开始,进展将是渐进式的。2025年前不会有通用人工智能(AGI)出现。
这也就意味着大模型技术迭代速度可能会慢下来，是否开源也会慢下来？开源和闭源之间的差距，会缩小吗？
开源还是闭源，究竟如何选？
选择开源还是闭源？对于企业用户来讲，最优先的问题只有一个，哪个性价比更高？
清华大学汪玉教授曾经在一次公开演讲上给出了使用GPT系列模型的推理成本，如下图所示：
如果使用闭源模型做API运营，假设GPT-4 Turbo每天要为10亿活跃用户提供服务，每年的算力成本可能超过两千亿。目前很多企业的收入规模也就在亿级，即使用户规模不会有这么大，但是算力的成本也很难支撑自身业务，从而形成有盈利的商业闭环。
但如果用GPT3.5的话，推理价格会降低。OpenAI在定价策略上为了打压竞争对手，将GPT3.5的定价定的非常低廉，100万token只需要1美金，而与其对应的同水平Llama2 70B模型在大多数情况下使用快速API，定价都要1美金/100万token乃至更高。Mixtral-8x7b的价格也要0.7美金/100万token，相对OpenAI的报价优势有限。当然开源模型还有本地部署的优势。在本地运行的情况下，其成本就只有硬件费用和电费了，这对于有云服务能力或者硬件基础的大企业来说肯定是最经济的选择。当然这种底子并非人人都有。
对于初创企业来讲，想做个性化应用，更多是先要拥有自己的专有微调模型。这就涉及到微调训练费用的问题。在开源模型上进行相应的训练和微调的话，Llama2 的优势就很明显了。云服务商Anyscale 提供的价格中，70b版本只需4美金/100万token。GPT3.5则比它整整贵一倍要8美金/100万token。所以当你想真正为自己的业务建构专用模型时，从成本角度看，开源模型还是有一定优势的。
在节省成本这方面，创业企业还能再精细化一步。很多企业都选择了多种模型混用。通用大模型的性能固然出色，但是在实际应用中，使用中小型开源模型，并用特定数据微调，最终达到的效果可能更好。
如果用闭源模型，100万token消耗速度很快，成本远高于0.6美金每小时。LeptonAI创始人贾扬清曾经在一次闭门活动中分享过：在北美，很多企业都是先用闭源大模型来做实验（比如OpenAI的模型）。实验规模大概在几百个million（百万token），成本大概为几千美金。一旦数据飞轮运转起来，再把已有数据存下来，用较小的开源模型微调自己的模型。现在这已经变成了相对比较标准的模式。
国内另外一家使用大模型构建业务的企业的相关负责人也表示，“企业级应用，不太会用到单一模型，现在已经开始按照应用目的分模型了，但是跨系统调度的带宽成本更高。所以，一个系统里面，有高中低（参数）模型混合的模式是企业应用现在合理的方案。”
开源与闭源，并不是企业考虑的最核心因素，最优性价比、企业的数据安全，能助力企业未来战略的发展，可能才是选择的优先点。
开源还是闭源，究竟如何选？
李彦宏的开源观点，之所以引起这么大的关注，也是因为，目前各家企业都在探索在大模型时代，如何找到PMF（Product Market Fit）。
百度对于公有大模型生态的布局，是比较早的，对于百度来说，模型本身也是产品。
据媒体消息，金沙江创投主管合伙人朱啸虎在行业微信群中表示：“GPT-4能实现90%以上的商业需求，开闭源无所谓了，以后大模型API就是自来水的价格。但是用户需要的是纯净水，气泡水，乌龙茶……”
纯净水、气泡水、乌龙茶是多样化的产品形态思考，针对了用户多样化的需求。
发布会的第二天，贾扬清在朋友圈发表了一个观点“我觉得Robin这点说得非常对，在初始的应用尝试过去之后，模型的特化会是一个从效果上和从性价比上更加make sense的选择。”普通大众的关注点，可能是李彦宏在发布会上究竟说得对不对，产业内的人，关注的其实是，开源闭源争论的背后，以模型作为产品的企业，究竟如何打造商业闭环，未来的增长空间在哪里。“以平台化产品，实现模型的特化部署、从训练到商业化落地、到模型迭代再训练，实现最高效率和最优性价比。”
而开源模型的头部企业，如Meta，提供的是未经封装的更原始的技术创新。他们本身有雄厚的算力资源、研发团队及资金实力，能够以技术影响力，实现生态布局。最终带来商业价值的，可能不是产品本身，而是基于生态衍生出来的更多的技术服务费用、咨询费用等。
扎克伯格专访中表示，如果模型本身就是产品, Meta会考虑停止开源，“也许模型最终更像是产品本身。我认为这时候,是否开源就是一个更棘手的经济考量了。”
坚持Scaling law的闭源模型面对一个难解的矛盾，一方面，scaling law（规模定律）的路还没走到尽头，巨大的投入还将持续，而且不能公开技术的秘密；另一方面，免费、高质量、有极高性价比的开源模型，又让持续烧钱的闭源大模型压力巨大。
就在最近，OpenAI顶着压力修改了API付费模式，从先用后付，改成了pre-paid。对OpenAI来说，这样的模式减少了坏账率、增加了资金回笼的速度，从某些方面来讲，可以稍稍缓解资金的压力。但是从应用API的企业来讲，按照之前的最长60天左右的账期，等于企业增加了60天的资金占用成本。OpenAI变相涨价了。
在这个定价策略推出不久，Llama3就发布了中小规模版本。一个能和GPT-4差不多，而且优化过性能，可以在小算力硬件下运行的模型，甚至直接给闭源模型带来了一堆竞争对手。
性能优秀的大规模开源模型，为其它科研机构及有更宏大目标的商业机构，提供了更好的技术参考路径，可能提高科研效率、缩短到达目标的时间。而中小规模模型，确是商业上闭源大模型的竞争对手。
企业看到了基于开源中小模型，自己拥有私有模型、保障数据安全、搭建应用、上下游通吃，完成自我闭环的希翼。
这全部的链条，其实也可以在模型企业的平台上一站式完成，这部分的市场，其实被开源模型“无心”地侵占了很多。
从竞争的角度来讲，如果Meta采取闭源的策略，在同一个赛道上，可能永远都不能颠覆OpenAI成为引领者，而另辟蹊径的开源策略，让Meta抢到了开源大模型的头把交椅，暂时坐稳了另外一个生态的王座。而迅速开源Grok模型的马斯克，也许暂时只是想给“Closed AI”和Sam Altman制造另外一个的竞争对手……
这场开源与闭源之争的另外一个焦点人物是，“开源的坚决拥护者”周鸿祎。其实周鸿祎和李彦宏，两个人根本不存在对立的观点。周鸿祎主要从产业发展的宏观方向来讲，“大家要善用开源、利用开源，通过开源来学习，快速提高人工智能的核心能力。”他也补充了自己的观点，开源和闭源是两种不同的商业模式，没有必要相互贬低。安卓和iOS，Linux和Windows都是一个开源一个闭源，也都活得很好。”
从商业角度来讲，360并不是一家模型企业，而模型也不是360的主要产品，这和百度是有本质区别的。360目前推出了AI浏览器，和AI办公全家桶等基于模型的应用。开源生态越繁荣，这意味着，企业可以有更多样的选择。
也有企业选择了既开源又闭源的双轮驱动模式，以开源切入大模型赛道的百川智能，在发布完Baichuan-7B、Baichuan-13B开源大模型后，又拿出了Baichuan-53B闭源大模型。在Baichuan-53B发布会的媒体沟通会上，王小川被问到为什么没有继续开源，他回答称：“模型变大之后没有走开源的这样一种方式，因为大家部署起来成本也会非常的高，就使用闭源模式让大家在网上调用API”。
“1.关于开闭源之争，核心是要看谁在开源。2.双轮驱动，是一线创业AGI企业的唯一解。”根据第一财经报道，百川智能CEO王小川在行业微信群讨论中发表了以上观点。王小川认为，“从To B角度，开源闭源其实都需要。未来80%的企业会用到开源的大模型，因为闭源没有办法对产品做更好的适配，或者成本特别高，闭源可以给剩下的 20%提供服务。二者不是竞争关系，而是在不同产品中互补的关系。”
开源和闭源，本来就不是单选题，而是一个综合应用题。如果资源够、决心够，完全可以既通过开源显示技术实力、获得更多的技术和数据反馈、打造开源生态；又通过强大的闭源模型将其封装为产品，直接实现商业化变现。
王小川也认为，开源和闭源并不像手机中iOS或者安卓操作系统只能二选一，开源确实容易“建立人品”，“朋友多多的”，让大家迅速了解和评测大模型的好坏。同时开源也是为商业化做准备，如果大家用起来觉得不错，当需要更好的服务和更大的参数时，可以探索进一步的商业化路径。
| 
264
发表于 2024-4-23 09:31:35
