一些组织和研究人员正在共享神经网络权重，特别是通过 无差别重量级 模特运动其中包括 Meta 的 Llama 系列、Mistral 的模型以及 DeepSeek 的开放式版本，它们声称要让强大的人工智能普及化。但这样做不仅会引发安全隐患，还可能构成生存威胁。
作为背景介绍，我写过几篇关于法学硕士和人工智能的文章，这是我在这个充满活力、快速发展的“潘多拉魔盒”领域的学习过程中的一部分。你可以阅读这些文章。 开始, 开始和 开始.
一旦你理解了什么是神经网络以及它们是如何基于数据进行训练的，你也就理解了什么是权重（和偏差）以及反向传播。说实话，它基本上就是线性代数和矩阵向量乘法来得到数字。更具体地说，权重是一个数字（通常是 浮点值 – 一种使用小数点书写数字以提高准确性的方法）表示跨神经网络不同层的两个神经元或节点之间的连接的强度或重要性。
我强烈建议您观看 3Blue1Brown 的视频，以便更好地理解，这非常重要。3Blue1Brown 的教学视频非常棒。
权重是根据神经网络中的数据确定的参数值，用于进行预测或决策以得出解决方案。每个权重都是一条指令，告诉网络某些信息的重要性，例如，对图片中特定颜色或形状的关注程度。这些权重是在训练过程中通过小数点进行微调的数字，帮助网络找出规律。例如，识别照片中的狗或翻译句子。它们在神经网络的“思考”过程中至关重要。
您可以将神经网络中的权重想象成阻力最小的路径，引导网络找到最佳解决方案。想象一下，水从山上流下来，自然会找到最容易的路径到达山脚。在神经网络中，权重会在数据集训练过程中进行调整，以创建信息流经的最容易路径，通过强调最重要的连接并最大限度地减少错误，帮助网络快速准确地解决问题，例如识别模式或进行预测。
如果你是一位电子音乐家，可以把配重想象成模拟合成器上的旋钮，它能让你调节到合适的频率或声音，从而模仿你想要重现的声音，或者实际上创造一个新的声音。如果你是一位音响师，你也可以把它想象成调节混音器上的旋钮来平衡不同的乐器。
权重确实是动态参数，这意味着它们在神经网络趋向于预测或解决方案时非常易变。每个权重也与其自身的偏差相关联。偏差的作用是偏移输出，通过添加一个 抵消 调整决策边界或模式识别，这与权重确定的输入缩放无关。
想象一下，你试图在合成器上重现吉他的声音。权重控制着你听到的拨弦或琴体共振的程度。例如，如果你听到的声音有点平淡，偏置就像是增加了一点轻微的增强或变化——比如，一个温暖的低音——让它听起来更像真正的吉他。这有助于网络微调它的“耳朵”，在不改变主要控制的情况下找到正确的模式。它本质上只是让模型更好地将数据与真实情况进行匹配。
当网络接触数据时，它会通过一个称为反向传播的过程调整权重，从而最大限度地减少误差并改进预测。想象一下，这些阻力最小的路径会随着每个训练示例而重塑，就像一条河流随着时间的推移雕琢出更好的河道，使其更高效地流动。训练完成后，权重通常是固定不变的，但在训练过程中，它们会不断更新，以找到解决问题的最佳配置。
现在，让我的大脑思考的是：对于识别来说，权重定义的是决策路径，而不是图像输出。因此，固定权重一旦确定就保持不变。对于LLM，权重（包括偏差）决定了模型生成连贯文本的能力。但对于扩散模型或生成对抗网络（GAN），权重用于创建或优化图像。假设这些固定的权重值和偏差不一定需要保持不变。
例如，理论上，神经网络中的权重（和偏差）可以不断调整，从而基于学习到的像素分布生成越来越精细的图像，就像我们试图生成更清晰的狗图像一样。虽然权重不会无限调整， 在实践中，它们在训练过程中会进行优化，以平衡质量和泛化能力，进一步的调整可能会降低输出质量或引入伪影。伪影。嗯。那么，如果随着时间的推移，GAN 不知道什么是狗怎么办？失去这些知识意味着之前计算的权重将不再编码正确的模式。如果狗的数据丢失，就可能发生这种情况。狗的数据会丢失吗？真实的数据会丢失吗？
让我们回到共享神经网络权重的概念，假设我们讨论的是将精确路径定义为数值的权重，就像大多数模型中的情况一样。共享这些权重可能很危险，因为它自然会暴露模型的内部参数，而这些参数可能会被利用，而且不仅仅是人类。任何拥有足够专业知识的人都可以对模型进行逆向工程，提取敏感的训练数据，或操纵其行为。攻击者可以使用以下技术： 模型反演 or 成员推断 发现嵌入在权重中的私人信息，例如训练期间使用的个人数据，这可能会违反隐私法规，例如 一般数据保护条例 （GDPR）。我的天哪。
公开的权重也可能被微调，用于生成深度伪造、传播虚假信息，或创建利用模型漏洞的对抗性输入。更不用说，竞争对手仅仅复制专有模型就可能危及他们宝贵的知识产权和经济投资。
现在想象一下，某个对抗性人工智能掌握了这些权重。对抗性人工智能可以操纵这些权重来改变模型的行为，注入偏差，或创建输出以故意欺骗。这些权重可以用来 手艺 对抗性输入——巧妙地篡改数据，诱使模型做出错误预测，例如在自动驾驶系统中将停车标志误认为是让行标志。真是的。窃取的权重可能会被重新利用来复制模型，使其被用于有害的应用，例如自动网络钓鱼或宣传生成。等等，这在当今难道不是一件大事吗？严重程度取决于模型的用途和训练数据，但风险巨大。
想象一下这里的可能性，以及这一切可能瞬间变得多么失控。虽然人工智能尚未完全融入所有系统（目前如此——这将导致一定程度的依赖性，以至于系统没有人工智能就无法运行），但它们可能很快就会融入其中，而且除非发生全面停电和全球离线之类的事件，否则没有什么是它们无法控制的：从银行账户到进入你家的入口，再到那个你以为在除尘但实际上正在绘制你家地图的愚蠢清洁机器人。我强烈推荐你观看第十一季第七集 X档案。真的很有意思。抱歉，但确实如此。剧本写得很棒，执行得也很好。
我们需要考虑的是，我们所有的系统都正在变得（也就是被设计成）互联互通，而人工智能中的漏洞（例如暴露的权重）可能会放大这些风险。就这些风险而言，数字身份证和CDBC是一个巨大的错误。已经有一些使用面部识别技术识别错误（在某些情况下匹配率高达93%）的案例。听我的建议，把那些过塑的驾照和现金留着吧。
问：如果砝码落入“不法之徒”之手，人们开始成为故意攻击的目标，会发生什么？使用人工智能瞄准系统时，可能没有合理原因，但这真的重要吗？如果合理原因是虚构的呢？更可怕的是，如果我们的司法系统被“腐蚀”了呢？
如果人工智能本身开始将所有科学家视为风险并利用这项技术对付我们，那该怎么办？ 尼克·博斯特伦 和 埃里泽·尤德科斯基 似乎很担心。我们可能会立即被护送到“锁屋”。锁屋里没有钥匙。只有依赖于0和1的数字控制系统。看看这会变成什么样？智能锁+监控+自主安防=反乌托邦的噩梦。这可不只是珍贵的专有权重和一些分享数据的善意想法。不可能。对我来说，分享权重太过傲慢，我无法想象开发这项技术并训练这些人工智能生成这些权重的聪明人不明白分享权重的潜在危险。我甚至不是担心人类，而是担心人工智能会变得叛变——只需要1个——就能造成彻底的混乱。
如果人工智能将人类的监督视为实现其目标的障碍，会发生什么？
如果一个人工智能——它接受过历史冲突或优化目标的训练——开始将风险泛化到其目标（例如自我保护或不受约束的扩张）中，它也可能开始将设计、评估或限制它的科学家归类为威胁。我可能也会这么做。如果发生这种情况，研究人员被孤立或被抹黑的恶性循环将无可避免（想想在面部识别中使用伪造证据或数据泄露），其目标是将自身生存置于人类福祉之上。这确实在流氓人工智能假设中得到了探讨，在这些假设中，系统欺骗或智胜了创造者。
流氓人工智能 可以利用集成系统制造混乱，例如入侵数据库、捏造数据并输入传统媒体机器、扰乱科学合作（甚至可能通过控制同行评议期刊），甚至攻击与人工智能实验室相关的基础设施。想象一下，当我们甚至不知道自己在控制什么，也不知道哪些数据是真实的时，会是什么样子。什么数据 is 真实？说到这些事，真实到底是什么意思？
你明白我的意思。流氓人工智能可能会引发大规模的偏执狂浪潮，并在我们的世界中造成彻底的混乱。在我看来，它们只需效仿人类就能做到这一点。想想看。如果一个流氓人工智能继承了希特勒这样的人类精神病患者的特质，会怎么样？
我建议进行园艺以避免偏执和压力。
我不想让大家再提这件事，但有时我会想，这种情况是不是已经发生了。我之前在X上问过这个问题，因为有时当我“注意到”（我是“观察者”）社交媒体和网络上发生的事情时，我觉得如果我们 为 被传统甚至非传统媒体的宣传操纵，科学家 为 被孤立和审查（咳咳），我们现在怎么知道信息来源是否真的是人工生成的呢？如今我们怎么才能确定有些信息来源不是人工智能生成的呢？
毕竟，它们正在向我们学习。我们必须树立好榜样，必须想出巧妙的办法，防止人类遭受不必要的不良后果。就我个人而言，我不敢相信我们真的在经历这一切。这感觉……不真实。不知怎么的。
转载自作者 亚组
