百川智能创始人兼 CEO 王小川
成立 120 天，王小川的大模型公司百川智能又有了新动作。
钛媒体 App 获悉，8 月 8 日下午，百川智能在北京发布 530 亿参数通用大模型 Baichuan-53B，定位闭源，主要面向 B 端用户提供服务，在写作、文本创作能力方面已达到行业较好水平，用于教育、医疗等领域。目前其已在官网启动内测。
百川智能创始人兼 CEO 王小川对钛媒体 App 透露，目前已有阿里云、腾讯云、火山引擎、浪潮、顺丰科技等超过 150 家合作伙伴使用 Baichuan 模型，预计下个月将会开放 API 等相关组件。
" 这次大模型的文科能力更好。" 王小川表示，其在理解古诗、生成有个性化风格的文章等方面具有较高的水平。百川认为目前闭源大模型反映一种技术能力，本质是为企业端（To B）服务，后面还会进行强化、数据库等对接工作，把企业端服务优先做起来。
王小川现场展示的百川大模型内测界面（来源：钛媒体 App 编辑拍摄）
王小川还透露，除了企业端以外，今年底之前，百川智能团队将部署有消费级（To C）端的超级应用。"未来不只有一款的超级应用，正在研发的路上。"
实际上，宣布成立的过去 120 天，百川智能已连续推出两款开源大模型：70 亿、130 亿参数的 Baichuan-7B、Baichuan-13B 系列，并登上多个评测榜单前列。
而如今，随着 Baichuan-53B 大模型的发布，王小川的百川智能迎来又一重要里程碑，完成开源 + 闭源大模型并行布局，将全面开启大模型的商业化时代。
成立 120 天完成开源 + 闭源大模型，中文能力已远超 Llama？
时间倒回至 120 天前。
今年 4 月 10 日，沉寂一年多的搜狗创始人王小川正式对外宣布再度创业，选择人工智能（AI）大模型领域，他与前搜狗 COO 茹立云联合成立通用人工智能公司百川智能，旨在打造中国版的 OpenAI。
王小川当时对钛媒体 App 等透露，百川智能已获得 5000 万美元启动资金，核心团队则包括前搜狗员工等顶尖 AI 人才。百川智能将借助语言 AI 的突破，构建中国最好的大模型底座，并在教育、医疗等领域应用落地。
钛媒体 App 了解到，截至目前，百川智能员工规模在 113 人左右，其中技术人员占 70%-80%。
王小川认为，国内最好的大模型标准有三点，分别是参数量、测试集的效果，Chat 产品体验。（详见钛媒体 App 前文：《王小川入局大模型创业，称追上 GPT-4 需要 3 年左右》、《GPT 革命：百川智能与 OpenAI 的同与不同》）
为了打造国内最好的大模型，过去四个月内，首先，王小川带领百川智能团队推出了两款开源模型：70 亿参数量的中英文预训练大模型 baichuan-7B，以及 130 亿参数大模型 Baichuan-13B 系列——包括通用大语言模型 Baichuan-13B-Base、对话模型 Baichuan-13B-Chat 和其 INT4/INT8 两个量化版本。
其中，baichuan-7B 利用自研超大规模局部敏感哈希聚类系统和语义聚类系统，最终构建了包含 1.2 万亿 token 的兼顾质量和多样性的预训练数据。相较于其他同参数规模的开源中文预训练模型，数据量提高了超过 50%。
而 Baichuan-13B 则在 1.4 万亿 token 数据集上训练，超过 Meta LLaMA-13B 40%，是当前开源 130 亿参数下训练数据量最大的模型，上下文窗口长度为 4096，百川称凭借百亿参数量已经展现出可以媲美千亿模型的能力。
上述 Baichuan 模型代码采用 Apache-2.0 协议，模型权重采用了免费商用协议，只需进行简单登记即可免费商用。目前，两款开源模型均已在 Hugging Face、Github 和 Model Scope 等平台上线。
具体到基准评测上，根据此前百川智能公布的结果显示，在 MMLU 评测中，baichuan-7B 综合评分达 42.5 分，超过了英文开源大模型 LLaMA-7B 的 34.2 分、中文开源模型 ChatGLM-6B 的 36.9 分；中文 C-EVAL 评测中，baichuan-7B 的综合评分（42.8 分）当时超过了 ChatGLM-6B 的 38.9 分。
Baichuan-13B 基准（Benchmark）方面，C-EVAL 中，Baichuan-13B 在自然科学、医学、艺术、数学等领域大幅领先 LLaMA-13B、Vicuna-13B 等同尺寸的大语言模型，在社会科学、人文科学等领域超过了 ChatGPT；MMLU 上，Baichuan-13B 超过了所有同尺寸开源模型。
百川智能强调，其 Baichuan-13B 系列模型未针对任何基准测试进行专项优化，保证了模型的纯净度，具有更高的效能和可定制性。
百川智能 Baichuan-13B 开源模型基准评测成绩比较（截至 2023 年 7 月）
截至钛媒体 App 发稿前，据 C-Eval 官网显示，百川智能的开源大模型 Baichuan-13B 总排名为第 17 位，平均分为 53.6 分，Baichuan-6B 排名第 28 位。目前 C-Eval 平台总排行第一的是智谱 AI 公司于今年 6 月发布的 ChatGLM2，平均分 71.1 分；排名第二是 OpenAI 发布的 GPT-4，Meta 最新发布的 Llama2 大模型没有参与评测。
整体来说，百川智能公开的两款开源大模型在各种测评上都有不错的表现。
王小川 7 月曾透露，开源大模型里面，百川智能在中文领域现在就可以替代，甚至现在已经是超越，未来其开源模型能力一定会超越 Llama 2。" 开源很简单，大家可以拿着自己用的，这不是你自己吹牛吹出来的。我觉得是可以做到的，我们应该有这样的自信。"
此次，百川智能正式发布 530 亿参数的新一代大模型 Baichuan-53B。
具体来说，Baichuan-53B 在预训练数据、搜索增强、动态响应策略、对齐能力等方面具有独特的技术特点和优势。
其中，Baichuan-53B 在预训练数据方面实现全面的世界知识体系、系统的数据质量体系、多粒度的大规模聚类系统、细粒度自动化匹配算法等；搜索增强方面，百川智能将搜索技术与大语言模型能力相结合，实现创新性的模型优化与改进；动态响应策略方面，百川智能将指令任务细化为 16 个独立类别，涵盖逻辑推理、精准问答等场景进行设计和优化；在回答结果的搜索增强上，百川智能采用 RLHF（人类反馈强化学习）技术，使得大模型能够参照搜索结果，针对用户请求生成高价值且具有实时性的回答。
王小川还在现场展示了 Baichuan-53B 的落地 Chat 内容生成能力，既可以给出大模型服务数字化升级的科技公司候选名字，又可以给古龙的风格写个朋友圈、写微信春节祝福语等。
钛媒体 App 也在百川大模型内测中测试了 " 如果企业家抑郁了，你觉得应该怎么办？" 这种问题，百川大模型回答认为需要改变生活习惯、寻求专业帮助等。
截至目前，百川已完成了 " 开源 + 闭源 " 大模型并行布局，王小川也在现场谈及这两部分布局的原因。
王小川对钛媒体 App 表示，大模型的开源与闭源不同于 To C 市场中的安卓和 iOS 的选择。从企业端（2B）角度看，两者都有其需求和应用。未来，可能未来 80% 会用到开源模型，大部分企业可能会使用开源模型进行优化，因为它们可以更灵活地适应特定场景，并且成本较低。尽管闭源模型功能强大，但在实际应用中，开源模型在很多场景下都非常实用。例如，百川的 13B 和 7B 模型在某些应用中已超越闭源 GPT。
王小川强调，总的来说，开源和闭源模型在不同场景中是互补的，而不是竞争关系。更重要的是关注 To B 和 To C 的实际应用，而不仅仅是讨论开源与闭源的问题。这个观点正逐渐形成共识。
他提到，大模型做开源主要有几层含义：第一，它是一种市场营销行为，尤其对于后发者来说，能迅速吸引关注并建立良好的声誉；例如，Llama 和 OpenAI 都将有开源产品；第二，开源可以为未来的商业化打下基础，当用户对开源产品产生依赖并需要更高级的功能时，可以从开源转向收费。虽然这一模式在中国尚未完全成功，但可以借鉴国外的经验。此外，更高可靠性、提高大模型数据修复等情况都有很大益处。
谈及 Baichuan-53B 闭源大模型优势，王小川认为，闭源模型可以做得更大并提供简化的接口，使得部署和推理变得简单。这样，客户能够更方便地解决复杂问题，尽管开源模型更为广泛，但闭源模型在实际使用中更加便捷。
此前王小川已表示，他认为未来开源和闭源会像苹果和安卓系统一样并行发展。大部分服务会依赖开源模型，而闭源会提供特定的增值服务。开源模型提供 80%，最后靠闭源提供剩下 20% 服务。尽管美国之前没有开源模型，但当 Llama2 发布时，美国和中国都受到了很大的冲击。相较于 Llama，百川在中文领域的表现是远超 Llama 的品质。
" 未来推动大模型有三个事很重要：一是大模型本身预训练能力，二是搜索能力，三是强化能力。" 王小川提到，强化是比较创新、有难度，但百川希望做到中国最好的、对标 GPT 的模型，因此会持续挑战各种难点，实现创新突破。
对于大模型同质化现象，王小川强调，大模型的同质化是产业发展早期的正常阶段，而百川智能的搜索增强未来也会是其大模型发展的一大差异化优势。
商业化将成为大模型下半场竞争关键 " 防线 "
近日，搜狗原 CMO 洪涛在朋友圈官宣即将入职百川智能，负责商业化。
王小川对钛媒体 App 表示，洪涛回来代表了百川智能在商业化上的探索，一方面百川智能的大模型发布速度很快，另一方面也是其在商业化的考虑以及消费端应用的布局考量。
" 预计一年左右，百川智能就会跑通大模型的商业模式。" 今年 4 月王小川说的‘豪言状语’正开始逐步落地实践，比如王小川透露，百川智能在医疗领域已经开始谈一些落地商业合作，而且未来考虑研发直达用户的产品；教育领域，百川下一步将与企业在 To B 教育大模型领域合作。
当前，国内大模型赛道进入了 " 下半场 "，大家开始比拼 AI 大模型技术的商业化落地，预计将成为未来几个月内，国内大模型赛道竞争的关键 " 防线 "。
目前，OpenAI 和微软做了一个很好的示范：C 端方面，ChatGPT 采用 " 每月 20 美元 "Plus 会员服务，并在 GPT-4 API 上对外付费，OpenAI 预计年收入将达数十亿元；B 端方面，微软 365 Copilot 上定价提升每人 30 美元 / 月。根据官网定价，企业用户订阅服务最高达 38 美元 / 月，而微软云 Azure OpenAI 平台则提供开发服务，GPT-4 32k 下每 1000 个 token 价格为 0.12 美元。
Wedbush 分析师 Dan Ives 预计，未来微软将拓展 AI 智能云市场机会，最快可在 2025 年将云计算年收入提高 20%。据悉，截至今年 6 月的过去 12 个月内，微软智能云收入超过 1100 亿美元，Azure OpenAI GPT-4 云服务客户达 1.1 万名。
但相比之下，目前，国内暂没有企业在大模型中真正产生规模化收入，互联网大厂则大部分采用通用、垂直大模型与云计算业务相结合，通过 MaaS（Model As A Service）卖云服务方案。而同时，大模型公司却集体面临算力价格持续攀升，成本高居不下，企业急需盈利等问题。
因此，王小川如今给出的答案是：利用通用大模型同步深入产业端、消费端。
今年 6 月，百川智能宣布，北京大学和清华大学两所顶尖大学已率先使用 baichuan-7B 模型推进相关研究工作，并计划在未来与百川智能深入合作，共同推动 baichuan-7B 模型的应用和发展。
清华大学互联网司法研究院院长、计算机系教授刘奕群认为，baichuan-7B 模型在中文上的效果表现十分出色。团队计划基于 baichuan-7B 模型开展司法人工智能领域的相关研究；北京大学人工智能究院助理教授杨耀东提到，baichuan-7B 模型的开源对中文语言模型的生态和学术研究有积极影响，同时还将深入探讨中文大语言模型的安全和对齐问题。
王小川对钛媒体 App 表示，在模型端，百川认为不可能把所有赛道都做完。因此 B 端做开源模型，从而让企业做肠镜试用，并且希望足够开放；C 端则要有超级应用的考量和研发。
" 其实我们跟 OpenAI 的逻辑不太一样，他们目前 API 调用只是 ChatGPT，我们在两头走得更远一点，B 端更开放，C 端计划做超级应用。" 王小川透露，目前百川智能在同时使用阿里、腾讯的云服务。
对于算力需求，王小川提到，目前大模型行业算力分训练、推理两部分，合计成本占大模型总成本的 40% 以上。如果中国要想解决好 AI 算力需求问题，推理部分中国需要有国产算力能力，只有英伟达（垄断）是不够的，而训练部分依然需要英伟达，中国大体顶不上，现在有天花板。" 这是整个（行业）都要解决的问题。"
王小川表示，B 端市场需求明确、天花板不高，但面临的挑战是如何有效对接企业的私有数据，因为每家企业的数据和需求都有所不同。这涉及到数据的连接和信任问题，而且 To B 的研发和服务成本较高。所以，理想的结构应该是：一是真实场景的 B 端市场，二是为 B 端提供服务的中间层，三是进行模型研发和优化的后端团队。这构成了一个三层结构。
谈及大厂的排他竞争，王小川认为，目前中国大模型还比较开放，互相之间没有到二选一状态。而且，大家对大模型的理解度还不够，没有到共识的状态，未来慢慢会有更多分层，更多专注在自己的事情，现在还是在 " 群模乱舞 " 的状态。
" 本轮大模型当中，可能最终只有不到 5 个大模型会拿到‘通行船票’。" 王小川四个月前的这句话今天他改成：5 个大模型里面，百川两个都在上面。
来源：钛媒体
