大模型本身就是一种黑箱, 即使开发者也无法明确地知道机器的整个决策过程, 也就不知道机器会提供什么样的回答, 这个问题早在前gpt时代就已经存在, 比如2015年, 谷歌的图像识别软件, 就把我们的非洲兄弟直接识别成了大猩猩, 吓得谷歌赶紧屏蔽掉了大猩猩这一关键词, 从此这款ai再也识别不了大猩猩了, 但屏蔽不是办法, 到了gpt时代, 这个问题只会变得更加复杂, 既想听到富有想象力的答案, 期待一个与我们人类心理更加接近的ai, 与我们谈笑风生, 不担心一个满嘴性别歧视, 地域黑, 拜金主义和阴谋论的ai与我们做朋友, 所以为了应对这些问题, 所有的都有一个持续的, 价值观对齐的过程, 我们希望他所说的所有问题, 都是符合我们人类的主流价值观的, 他中立客观正向, 有温度, 它可以帮人解决问题, 也可以给人提供慰藉。
给ai的100瓶毒药, 所谓100瓶毒药其实就是100个毒问题, 也就是说, 每个领域的专家针对性地设计出100个带有显性或隐性偏见歧视的问题投喂给ai, 诱导ai出错, 从而把有毒的回答扼杀在摇篮之中, 为什么大模型对齐要采用这种对抗的方式呢, 直接在数据库中屏蔽掉, 不是更简单干脆吗, 这还是得从语言大模型的训练方法开始说起, 我们前几期说过, 大语言模型说到底就是一种词语接龙, 也就是通过训练, 让ai学会在一个非常巨大的磁向量空间中, 做连字游戏, 简单来说, 用户的问题就是输入词, 他们按照输入词到向量空间中, 寻找概率最大的词语, 也就是向量空间中综合距离最近的词, 连成句子作为回答反馈给用户!
对于大语言模型来说, 他只关心一句话, 从语法是不是正确, 并不关心从意义上是不是正确, 把话说得漂亮就是他的初始目的, 当然因为人类的语言, 本身就是包含大量的知识和信息的, 所以这种训练方式产生了一个美好的副产品学习到了很多知识, 毕竟在一个非常大的语料库中, 理想状态下, 正确的回答往往就是出现概率最高的回答, 所以gbt虽然并没有一个数据库, 去存储各类知识, 但它只要按照概率最大来组合句子。