GPT是如何训练和理解的?

举个栗子:
有两个小姑娘,名叫 Sally 和 Anne。
Sally 有一个篮子, Anne 有一个箱子。
Sally 的篮子里有一颗弹珠,但是 Anne 的箱子里没有。有一天早上,Sally 出门了。
Anne 偷偷打开了 Sally 的篮子,偷走了弹珠,放进了自己的箱子里。
Sally 晚上回到了家,她想找自己的珠子。
那么问题来了,她应该去哪里找呢?
超过4岁的人类都能很快的回答:去自己的篮子找。
但之前的人工智能,包括GPT3.5都会回答去Anne的篮子找。
注意即使替换掉这个故事的名字、场景、行为,类似的问题GPT4也都能答对,不是因为预训练数据里看过才答对的。
这个实验用来确定是否有能力区分自我认知、自我和他人的认知,叙述者和上帝视角等逻辑,很多自闭症的孩子无法通过这个测试。
chat gpt为什么能够通过词语接龙学会语言?
以及这种训练的结果产生了什么,
不知道你们有没有想过,
为什么暴力穷举不可能学会语言,
但是在一个巨大的向量空间中做连字游戏,
就可以学会说人话,
因为空间结构本身存储了信息,
就像上期举的例子,
在一个词向量空间中, 国王减去男人, 再加上女人得出来的位置与女王非常接近,
这说明什么, 这说明词的位置关系,
真实的映射了现实世界的关系,
所以chatgpt, 为什么能把话说的比一般人类还漂亮,
就是因为经过几十TB的语料训练以后,
他向量空间中的每个词,
都准确地找到了自己的位置,
而这些词在空间中的位置,
真实地映射出了语言背后的逻辑关系,
既然一个足够大的向量空间,
可以映射出所有的逻辑语言,
那么如果我们有一个更大的向量空间,
他是不是就可以映射出整个现实世界,
chatGPT每一个答案都是根据你的问题,
现场组织现串现卖的,
提供给你是属于你的专属答案,
这像极了淄博烤串, 哦不对, 像极了我们大脑的思考过程,
看过我们大脑原理的那几期视频的小伙伴,
一定还记得, 我们的大脑也没有专门的记忆存储空间,
我们的记忆和经验存储在神经元的连接之中,
我们提取记忆和思考的过程,
就是电流在不同的神经元之间穿梭,
激活不同神经元的过程,
此刻在你的思维中呈现出来的每一句话,
都是电波在神经元的连接中流动产生的,
就如同gpt在磁向量空间中寻找需要的词,
组成一段话, 不同的是, 我们大脑的神经元连接是随时随地都在更新的,
而gpt的向量空间在训练结束后就固定了下来,
确定是的, 因为参数太多,
空间太大, 每一次训练都非常消耗资源,
需要很多显卡, 很多机器连续训练很多天才能完成,
所以训练完成之后, gpt不可能根据每个人的问题,
再去调整自己的训练结果, 对gpt来说,
它的策略就是以不变应万变, 不管你的问题是什么,
我都在一个固定的向量空间中组织答案,
但因为串联的路径随你的问题千变万化,
所以给你的感觉就像他真的在跟你交流一样,
所以gpt对这个世界的认知,
停留在了训练停止的那一天,
他不会因为跟你聊天产生新的记忆,
为什么当一个很难的问题他解决不了时,
你让他分步骤解决, 他就能推理出正确的结果,
因为人家说话的过程就是在理思路嘛,
只不过你是在脑子里理, 他得说出来理才行, 不管怎么说, 当训练的数据量和模型的参数规模,
都达到了足够的程度时, 向量空间中映射出了足够复杂的信息,
一些AI原本不应该具备的能力出现了这些能力,
让一个原本只是聊天的ai, 忽然间有了更高的智能!
