解密prompt系列52. 闲聊大模型还有什么值得探索的领域

当前的大模型训练还是阶段式的，OpenAI每隔几个月就会对模型进行重新训练，延长模型的世界知识截止时间。说白了就是全新、覆盖式的知识写入。就像西西弗斯推石头，每次全量训练都意味着对先前知识的系统性遗忘。而真正意义上的持续学习和试试学习，当前似乎还是个未解之谜。当然也有观点认为有机体的进化，本身就和无机体的进化存在完全不同的路径，所以大模型是否真的需要持续学习，不少人也是打问号的。