很可惜 T 。T 您现在还不是作者身份,不能自主发稿哦~
如有投稿需求,请把文章发送到邮箱tougao@appcpx.com,一经录用会有专人和您联系
咨询如何成为春羽作者请联系:鸟哥笔记小羽毛(ngbjxym)
前沿科技,数智经济
“OpenAI不足为惧,开源会慢慢赶上来。”
彼时Hugging Face创始人Clem Delangue的一句预言,正在迅速成为现实。
ChatGPT横空出世7个多月后,7月19日,Llama 2宣布开源,并且可直接商用。
如今回看,这一天也成为了大模型发展的分水岭。在此之前,全世界开源的大模型不计其数,可只是停留在开发研究层面。“可商业”短短三个字,犹如一颗重磅炸弹引爆了大模型创业圈,引得傅盛连连感叹,“有的人哭晕在厕所,而有的人在梦中也能笑醒”。
AI大模型圈一夜之间变了天,同时也宣告着大模型加速商业化时代的到来。
自Llama 2后,开源逐渐成为主流趋势。以Llama架构为首,先掀起了一波以其为核心的开源,如Llama 2低成本训练版、Llama 2最强版、微调版等等。截至发稿前,以“LLama 2”为关键词在国外最大的AI开源社区Hugging Face检索模型,有5341条结果;在全世界最大的开源项目托管平台Github上,也有1500个词条。
之后,创业者们的目光从解构、增强Llama 2转向了构建行业专有大模型,于是又掀起了一波Llama 2+司法、Llama 2+医疗等一系列的行业开源大模型。据不完全统计,Llama 2开源后,国内就涌现出了十几个开源行业大模型。
国内头部厂商和创业公司纷纷加入开源浪潮中,阿里QWEN-7B开源一个多月下载量破100万,9月25日升级了QWEN-14B;百川智能开源的Baichuan-7B、13B两款开源大模型下载量目前已经突破500万,200多家企业申请部署开源大模型。
与此形成强烈对比的是,短时间内,Llama 2对一些闭源的大模型厂商造成了致命性的打击。闭源大模型多采用调取API的方式使用,数据需要先上传至模型厂商,按照调用次数收取费用;而开源则可以在本地部署,且完全免费,可商用后产生的利润也可以收归己有。
行业内人士告诉光锥智能:“在这种情况下,基于成本的考虑,已经开始有许多企业选择放弃支付上千万元的费用,转而部署和微调Llama 2”。
以上种种,共同揭开了大模型开源闭源之争,发展重心的转移也让人疑惑:开源大模型是否正在“杀死”闭源?
光锥智能梳理后发现,目前,大模型厂商和创业公司在开源和闭源的选择上,一共有三条路径:
一是完全闭源,这类代表公司国外有OpenAI的GPT-3.5、GPT-4,国内有百度的文心大模型;
二是先闭源再开源,这类代表公司有阿里云的通义千问,智谱AI开源GLM系列模型;
三是先开源再闭源,这类代表公司有百川智能的Baichuan-7B、Baichuan-13B。
现在中国市场上能够主动开源大模型,且提供商业许可的企业数量还比较有限,主要公司包括了以开源为切入的百川智能、大模型厂商代表阿里、大模型初创公司代表智谱AI以及走精调Llama 2路线的虎博科技。
这从侧面也说明了一个问题,大模型开源并不是没有门槛,相反开源对一家企业的基础技术能力要求十分高,比如智谱AI的GLM-130大模型是去年亚洲唯一入选斯坦福大学评测榜的大模型;阿里通义千问大模型在IDC的“AI大模型技术能力评估测试”中获得了6项满分。
如果再进一步将以上的公司分类,可以归为两类,一类是走自研大模型开源路线,一类是走Llama 2路线。
这两条路线在国际上也十分典型,譬如走自研模型开源路线的Stability AI,已经陆续开源了Stable DiffusionV1、StableLM、Stable Diffusion XL(SDXL)1.0等模型,凭一己之力撑起了文生图开源领域;另一类如中东土豪研究院就死盯住Llama 2,在其基础上继续做大参数、做强性能, Llama 2开源50天后,地表最强开源模型Falcon 180B横空出世, 霸榜Hugging Face。
不过,这两条路线也不是完全泾渭分明,Llama 2的开源也进一步促进了许多自研开源大模型的更新升级。8月Stability AI迅速推出类ChatGPT产品——Stable Chat,背后的大语言模型Stable Beluga就是其在两代Llama的基础上精调出来。更开放,更快迭代发展,这或许也是开源的意义。
除了逆天的Falcon,目前开源模型的参数基本都控制在7B-13B左右。大模型厂商告诉光锥智能,“目前7B-13B亿参数量是一个较为合理的开源规模”。这是基于多重因素所得出的参数量规模,如计算资源限制、内存限制、开源成本考量等。
阿里云CTO周靖人基于云厂商的角度考虑道:“我们希望企业和开发者,在不同的场景可以根据自己的需求选择不一样规模的模型,来真正地应用在自己的开发环境。我们提供更多可能性。”
谈起为何开源大模型,周靖人强调了安全性,“我们不单单只是开源大模型,更重要的是要能够呈现出各项指标的表现效果,基于此,才能够让大家去评估其中的使用风险,更加有效地进行模型应用。”
“重要的是,随着参数量的增加,模型效果提升会逐渐收敛。当模型达到一定规模后,继续增加参数对效果提升的边际效益只会下降,70-130亿参数量一般已经接近收敛状态了。”上述大模型厂商道。
光锥智能发现,除了阿里云在视觉语言模型的细分领域发布了开源大模型外,其余公司皆提供的是通用能力的大模型。这或许与大模型开源仍处于非常早期阶段有关系,但考虑到开源大模型也要落地到场景中,太过于同质化的通用大模型对企业来说也容易沦为“鸡肋”。
如何避免开源大模型重蹈覆辙,体现出开源的价值,回顾Meta接连祭出的“大招”,一条开源的路径似乎逐渐显现——构建开源大模型生态。
2月份,Meta凭借开源的Llama大模型回到生成式AI核心阵列;
5月9日,开源了新的AI 模型ImageBind,连接文本、图像 / 视频、音频、3D 测量(深度)、温度数据(热)和运动数据六种模态;
5个月后,Llama 2开源可商业,含70亿、130亿和700亿三种参数规模,其中700亿参数模型能力已接近GPT-3.5;
8月25日,Meta推出一款帮助开发人员自动生成代码的开源模型——Code Llama,该代码生成模型基于其开源大语言模型Llama 2;
8月25日,发布全新AI模型SeamlessM4T,与一般AI翻译只能从文本到文本不同,这款翻译器还能够“从语音到文本”或者反过来“从文本到语音”地直接完成翻译;
9月1日,允许开源视觉模型DINOv2商业化,同时推出视觉评估模型FACET。
可以看到,Meta开源的思路是在各个AI领域遍地开花,通过发布该领域最先进的AI开源模型,吸引更多开发者的关注和使用,壮大整个AI开源生态后来反哺业务、巩固行业地位,这就如同当年的英伟达推动GPU计算的开源策略。
当年英伟达推动GPU计算的开源化,不仅吸引了大量研究人员在Caffe、TensorFlow等框架上进行创新,也为自身GPU产品积累了大量优化经验,这些经验后来也帮助英伟达设计出了更适合深度学习的新型GPU架构。
另一方面,GPU计算的开源生态越来越繁荣后,也为其带来了巨大的市场空间,Nvidia DGX企业级的深度学习训练平台概念应运而生,为英伟达的显卡和平台销售创造了千亿级市场。
国内阿里云也在通过建设完善生态的方式,试图帮助开发者更好的用好大模型,据周靖人介绍,目前阿里云不仅有自研开源大模型,也接入了超过100个开源模型,同时打造了开源社区魔搭,更好地服务开发者和企业用户,用好、调好大模型。
据外媒爆料,Meta正在加紧研发全新的开源大模型,支持免费商用,能力对标GPT-4,参数量比Llama 2还要大上数倍,计划在2024年初开始训练。
国外大模型格局看似是OpenAI“一超多强”,实则是众多公司环伺,可以预见,开源大模型对闭源的围剿,越来越步步紧逼。
国外一份研究报告称,大模型前期的发展创新由OpenAI、微软、谷歌等大公司闭源模型主导,但越到后期开源模型和社区的贡献值就越大。
光锥智能也了解到,在国内开源大模型也成为了企业的“新卖点”,有企业甚至通过对外宣称已使用了“史上最强大模型Falcon 180B”,来展现其底层模型技术能力的强大,顶着“史上最强”的称号,又收割了“一波韭菜”。
现阶段,开源大模型已经证明了几点重要的事实。
首先,在非常大的数据集上进行训练,拥有几十亿个参数的大模型在性能上就可以与超大规模大模型相媲美;其次,只需要极少的预算、适量的数据以及低阶适应(Low-rank adaptation,LoRA)等技术就可以把小参数的大模型调到一个满意的效果,且将训练成本降低了上千倍。开源大模型为现在的企业提供了闭源的替代方案,低成本成为最吸引他们的地方;最后,我们也看到开源大模型的发展速度也远快于封闭生态系统。
开源固然“迷人”,但更为关键的是,既不能为了开源而开源,也不能为了闭源而闭源。开源与闭源只是形式上的区别,并不矛盾,开源本身不是目的,而是手段。
以开源切入大模型赛道的百川智能,在发布完Baichuan-7B、Baichuan-13B开源大模型后,王小川拿出了Baichuan-53B闭源大模型。在问到为什么没有继续开源时,王小川回答称:“模型变大之后没有走开源的这样一种方式,因为大家部署起来成本也会非常的高,就使用闭源模式让大家在网上调用API”。
由此可见,是否开源或闭源并非完全没有参考,能够闭源一定是其能够提供价值。在当前,这个价值的集中体现可能是替用户完成高性能的大模型训练、推理和部署,通过调用API的方式来帮助降低门槛,这也是OpenAI闭源的思路,但因为其自身技术的绝对领先优势,使得其价值也非常得大。
如果回顾红帽子公司的开源,也能探寻到同样的逻辑。过去十多年间,红帽从销售企业Linux操作系统,扩展到现在的存储、中间件、虚拟化、云计算领域,靠的就是“筛选价值”的逻辑。在最上游的开源社区,参与开源技术贡献,做大做强生态;提取开源社区中的上游技术产品,沉淀到自己小开源社区;再将其认为最有价值的技术检验、测试、打包,形成新的产品组合,完成闭源出售给客户。
腾讯云数据库负责人王义成也曾对光锥智能表示:“开源的本质也是商业化,要从宏观层面看是否能满足一家公司的长期商业利益。开源的本质还是扩大生态,扩大你的影响力。开源还是要找清楚自己的定位,目标客户群。开源能否帮助产品突破,帮助公司完成阻击,还需要具体问题具体分析。”
事实上,开源还是闭源,二者并不是完全对立的关系,只是在技术发展的早期,路径选择的不同。
这也并不是科技领域第一次面对这样的分叉路,参考数据库发展的路径,早期需要培育土壤,培植生态,以MySQL为主的开源数据库获得了爆发式的用户增长,但走过第一阶段后,更多企业用户发现开源数据库在面对业务时的短板,毕竟术业有专攻,谁也没办法一招打天下。
为此,数据库厂商开始根据不同的企业需求针对性的研发闭源数据库,如在分布式数据库、流数据库等细分类别进行长足的创新。
周靖人也认为:“未来,一定不是one size fits all”,不同的场景适配不同的参数,不同的形式,届时大模型将走过野蛮生长阶段,来到精耕细作。
这也足以说明,开源还是闭源,或许只是阶段和位置的不同,但可以肯定的是,大模型时代,已经加速进入下一赛段。
本文为作者独立观点,不代表鸟哥笔记立场,未经允许不得转载。
《鸟哥笔记版权及免责申明》 如对文章、图片、字体等版权有疑问,请点击 反馈举报
Powered by QINGMOB PTE. LTD. © 2010-2022 上海青墨信息科技有限公司 沪ICP备2021034055号-6
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。
一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
1)反对宪法所确定的基本原则;
2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
5)煽动民族仇恨、民族歧视,破坏民族团结;
6)破坏国家宗教政策,宣扬邪教和封建迷信;
7)散布谣言,扰乱社会秩序,破坏社会稳定;
8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法规禁止的其他内容;
2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
1)轻蔑:贬低、轻视他人及其劳动成果;
2)诽谤:捏造、散布虚假事实,损害他人名誉;
3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
6)谩骂:以不文明的语言对他人进行负面评价;
7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
8)威胁:许诺以不良的后果来迫使他人服从自己的意志;
3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
2)单个帐号多次发布包含垃圾广告的内容;
3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。
4. 色情低俗信息,主要表现为:
1)包含自己或他人性经验的细节描述或露骨的感受描述;
2)涉及色情段子、两性笑话的低俗内容;
3)配图、头图中包含庸俗或挑逗性图片的内容;
4)带有性暗示、性挑逗等易使人产生性联想;
5)展现血腥、惊悚、残忍等致人身心不适;
6)炒作绯闻、丑闻、劣迹等;
7)宣扬低俗、庸俗、媚俗内容。
5. 不实信息,主要表现为:
1)可能存在事实性错误或者造谣等内容;
2)存在事实夸大、伪造虚假经历等误导他人的内容;
3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。
6. 传播封建迷信,主要表现为:
1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
2)求推荐算命看相大师;
3)针对具体风水等问题进行求助或咨询;
4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;
7. 文章标题党,主要表现为:
1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
2)内容与标题之间存在严重不实或者原意扭曲;
3)使用夸张标题,内容与标题严重不符的。
8.「饭圈」乱象行为,主要表现为:
1)诱导未成年人应援集资、高额消费、投票打榜
2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序
9. 其他危害行为或内容,主要表现为:
1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
2)不当评述自然灾害、重大事故等灾难的;
3)美化、粉饰侵略战争行为的;
4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。
二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。
三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)