编译：深超TechFlow
简单总结一下介绍
根据皮尤研究中心 2024 年的一项调查，64% 的美国人认为社交媒体对国家弊大于利； 78%的人认为社交媒体公司在政治方面的影响力和影响力太大； 83% 的人认为这些平台可能会故意审查他们不同意的政治观点。对社交媒体的不满已经成为美国社会罕见的共识之一。
回顾过去20年社交媒体的发展，这种局面似乎已经注定。这个故事并不复杂：少数大型科技公司吸引了用户的注意力，更重要的是，吸引了他们的数据。尽管最初希望开放数据，但这些公司很快改变了策略，利用这些数据创造牢不可破的网络效应并关闭外部人员的访问。结果就是今天的局面：不足10家大型科技公司主导社交媒体行业，形成“寡头垄断”格局。由于现状对他们如此有利，这些公司几乎没有动力去改变。这种模式是封闭的，缺乏竞争。
如今，AI技术的发展轨迹似乎正在重演这一幕，只不过这一次的影响更为深远。少数科技公司通过控制GPU和数据资源构建了基础的AI模型，并对外界封闭了这些模型的访问权限。对于没有数十亿美元资本的新进入者来说，开发有竞争力的模式几乎是不可能的。因为仅仅训练一个基本模型的计算成本就高达数十亿美元，而受益于上一波技术的社交媒体公司正在利用其对专有用户数据的控制来开发竞争对手难以匹敌的功能。模型。我们正在沿着社交媒体的道路，走向一个封闭、非竞争的人工智能世界。如果这种趋势继续下去，少数科技公司将不受限制地控制信息和机会的获取。
开源人工智能和“资源问题”
如果我们不想看到一个封闭的人工智能世界，我们有什么选择？显而易见的答案是将基础模型开发为开源软件项目。从历史上看，我们有无数的开源项目成功构建了我们每天依赖的基础软件。例如，Linux的成功证明，即使是作为操作系统核心的软件也可以通过开源来开发。那么为什么LLM（大型语言模型）不能呢？
然而，基础人工智能模型面临着与传统软件不同的特殊局限性，这也大大削弱了它们作为传统开源项目的生存能力。具体来说，基础人工智能模型需要大量的计算和数据资源，远远超出了个人的能力。与传统开源项目只依赖人们贡献时间不同，开源人工智能还需要人们贡献计算能力和数据资源。这就是所谓的“资源问题”。
以Meta的LLaMa模型为例，我们可以更好地理解这个资源问题。与 OpenAI 和 Google 等竞争对手不同，Meta 并没有将模型隐藏在付费 API 后面，而是公开提供 LLaMa 的权重供任何人免费使用（有一定限制）。这些权重包含了模型在Meta训练过程中学到的知识，是运行模型的必要条件。通过这些权重，用户可以微调模型或使用模型的输出作为新模型的输入。
虽然Meta发布LLaMa的分量值得肯定，但还不能算是一个真正的开源软件项目。 Meta 依靠自己的计算资源、数据和决策，在幕后控制模型训练过程，并单方面决定何时向公众提供模型。 Meta 不会邀请独立研究人员或开发人员参与社区协作，因为训练或再训练模型所需的资源远远超出了普通个人的能力。这些资源包括数以万计的高性能GPU、存储这些GPU的数据中心、复杂的冷却设施以及用于训练的数万亿个Token（模型训练所需的文本数据单位）。正如斯坦福大学2024年人工智能指数报告指出的那样，“培训成本的急剧上升，实际上将传统上作为人工智能研究中心的大学排除在顶级基础模型的开发之外。”例如，Sam Altman 曾提到训练 GPT-4 的成本高达 1 亿美元，这还不包括硬件的资本支出。此外，Meta在2024年第二季度的资本支出较2023年同期增加了21亿美元，主要用于与AI模型训练相关的服务器、数据中心和网络基础设施。因此，尽管LLaMa的社区贡献者可能拥有改进模型架构的技术能力，但他们缺乏足够的资源来实施这些改进。
综上所述，与传统开源软件项目不同，开源AI项目不仅需要贡献者投入时间，还需要他们承担高昂的计算和数据成本。仅仅依靠善意和志愿精神来激励足够的资源提供者是不现实的。他们需要进一步的激励措施。以开源大语言模型BLOOM为例。这个拥有 1760 亿个参数的模型凝聚了来自 70 多个国家 250 多个机构的 1000 名志愿者研究人员的努力。虽然 BLOOM 的成功令人钦佩（我完全支持），但协调一次训练花了一年的时间，并依赖于法国研究机构的 300 万欧元资助（这不包括用于训练模型的超级计算机资本支出） 。 BLOOM 依赖新一轮融资的协调和迭代过程过于繁琐，无法跟上大型科技实验室的开发速度。 BLOOM 发布已经两年多了，我们还没有听说团队开发出任何后续模型。
为了让开源人工智能成为可能，我们需要找到一种方法来激励资源提供者贡献他们的计算能力和数据资源，而不是让开源贡献者自己承担这些成本。
为什么加密技术可以解决基础开源AI的“资源问题”
加密技术的核心突破是通过“所有权”机制让高资源成本的开源软件项目成为可能。它通过激励潜在的资源提供者参与网络来解决开源人工智能的资源问题，而不是让开源贡献者预先承担这些资源的成本。
比特币就是一个很好的例子。作为最古老的密码学项目，比特币是一个完全开源的软件项目，其代码从一开始就公开。然而，代码本身并不是比特币的关键。简单地下载并运行比特币节点软件在本地创建区块链没有任何实际意义。只有当挖掘一个区块的计算量足以超过任何单个贡献者的计算能力时，才能实现软件的真正价值：维护一个分散的、不受控制的账本。与基本的开源人工智能类似，比特币是一个开源项目，需要超出个人能力的资源。虽然两者需要计算资源的原因不同——比特币需要计算资源来保证网络不可篡改，而基础人工智能则需要计算资源来优化和迭代模型——但它们的共同点是都需要依赖资源超出个人能力。 。
使比特币和任何其他加密网络能够激励参与者为开源软件项目贡献资源的“秘密”是通过代币提供网络所有权。正如 Jesse 在 2020 年为 Variant 撰写的创立理念中所描述的那样，所有权为资源提供者提供了强烈的激励，以贡献资源以换取网络中的潜在收益。这种机制类似于初创公司通过“汗水股权”解决早期资本不足的问题——通过主要以公司所有权的形式向早期员工（例如创始人）支付报酬，初创公司能够吸引到原本无法吸引到的员工。能够负担得起。劳动力。加密货币将“汗水股权”的概念从关注时间贡献者扩展到资源提供者。因此，Variant 专注于投资利用所有权机制建立网络效应的项目，例如 Uniswap、Morpho 和 World。
如果我们希望开源人工智能成为现实，密码学支持的所有权机制是解决资源问题的关键。这种机制允许研究人员自由地将他们的模型设计想法贡献给开源项目，因为实现这些想法所需的计算和数据资源将由资源提供者承担，资源提供者将通过获得项目的部分所有权来获得奖励，而不是要求研究人员自己承担高昂的前期费用。在开源人工智能中，所有权可以有多种形式，但最令人期待的一种是模型本身的所有权，这也是 Pluralis 提出的解决方案。
Pluralis 提出的方法称为协议模型。在该模型中，计算资源提供商可以通过贡献算力来训练特定的开源模型，从而获得该模型未来推理收益的部分所有权。由于这种所有权与特定模型绑定，其价值基于模型的推理收入，因此计算资源提供者有激励选择最优模型进行训练，而不会伪造训练数据（因为提供无用的训练将直接降低未来推理的期望值）的收入）。然而，一个关键问题是：如果训练过程需要将模型的权重发送给计算提供商，Pluralis 如何确保所有权的安全？答案在于使用模型并行技术将模型分片分配给不同的工作人员。神经网络的一个重要特性是，即使只知道模型权重的一小部分，计算器仍然可以参与训练，确保无法提取完整的权重集。此外，由于许多不同的模型将在Pluralis平台上同时训练，训练者将面临大量不同的权重集，这使得重建完整的模型变得极其困难。
协议模型的核心思想是这些模型可以被训练和使用，但不能完全从协议中提取出来（除非使用的计算能力超过从头开始训练模型所需的资源）。这种机制解决了开源人工智能批评者经常提出的一个问题，即封闭的人工智能竞争对手可能会侵占开源项目的努力成果。
为什么加密+开源=更好的人工智能
在文章的开头，我通过分析大型科技公司对人工智能的控制来解释封闭式人工智能的伦理和规范问题。但在充满无力感的网络时代，我担心这样的说法可能无法引起大多数读者的共鸣。因此，我想从实际效果出发，提出两个理由来说明为什么基于加密技术的开源AI能够真正带来更好的AI。
首先，加密技术与开源AI的结合可以协调更多的资源来推动下一代基础模型的发展。研究表明，计算能力和数据资源的增加有助于提高模型性能，这就是基础模型规模不断扩大的原因。比特币向我们展示了开源软件与加密技术相结合以实现计算能力的潜力。它已经成为世界上最大、最强大的计算网络，远远超过大型科技公司拥有的云计算资源。加密货币的独特之处在于它能够将孤立竞争转变为协作竞争。加密网络通过激励资源提供者贡献资源来解决常见问题，而不是单独工作和重复工作，从而实现资源的有效利用。由密码学支持的开源人工智能将能够利用全球计算和数据资源来构建比封闭人工智能大得多的模型。例如，Hyperbolic 公司就展示了该模型的潜力。他们通过开放的市场充分利用分布式计算资源，允许任何人以低成本租用GPU。
其次，加密技术与开源人工智能的结合将驱动创新加速。这是因为一旦资源问题得到解决，机器学习研究就可以回归其高度迭代和创新的开源本质。在基本大语言模型（LLM）出现之前，机器学习领域的研究人员经常公开发布他们的模型和可复制的设计蓝图。这些模型通常使用开源数据集，计算要求相对较低，因此研究人员可以在这些基础上继续优化和创新。正是这种开放的迭代过程，催生了序列建模领域的诸多突破，例如循环神经网络（RNN）、长短期记忆网络（LSTM）和注意力机制（Attention Mechanisms），最终使得 Transformer模型架构成为可能。然而，这种开放的研究方式在 GPT-3 推出后发生了变化。 OpenAI通过GPT-3和ChatGPT的成功证明，只要投入足够的计算资源和数据，就可以训练出具有语言理解能力的大型语言模型。这种趋势导致资源门槛急剧提高，逐渐将学术界排除在外。与此同时，大型科技公司为了保持竞争优势，不再公开其模型架构。这种情况限制了我们推广人工智能前沿技术的能力。
由密码学支持的开源人工智能可以改变这一点。它使研究人员能够再次迭代尖端模型，以发现“下一个 Transformer”。这种结合不仅可以解决资源问题，还可以重新激活机器学习领域的创新活力，为人工智能未来的发展开辟更广阔的道路。