不论是【指令微调】还是【RLHF】，都只是【解锁】了模型的能力。
得出这个结论是因为，对比训练时候使用的无敌庞大数据来说，做【指令微调】又或者是【RLHF】，所使用的数据和计算量都是相对要小很多的。
换句话来说，这种微调工作，其实最大的一个效果是【让模型知道它不知道什么】。
这句话可能有些拗口，但是对一个大语言模型来说，让模型清楚的知道自己懂什么，不懂什么，其实是一件非常困难的事情。
研究人员们很难想到一种逻辑类型的规则去约束模型，他们也不知道模型到底知道什么，不知道什么。
在人类用户的使用当中，不怕模型说不懂，就怕模型它不懂装懂。
所谓【知之为知之，不知为不知，是知也！】
如果用户询问了一个非常刁钻的问题，模型不知道，它老老实实地说了，反而会给人一种，【有点分寸，有点东西】的感觉。
可若是一通瞎说，驴唇不对马嘴，那就显得异常愚蠢了。
RLHF最初的目的是让模型尽可能生成符合人类预期的回答，但却意外地让模型有分寸了很多。
对自己懂的问题更自信，对自己不懂的问题也大概有了数。
“经过【指令微调】，【代码训练】和【RLHF】三部曲之后，我这款350亿参数的ChatGPT差不多能够做到原版1750亿参数的ChatGPT大约9成的水平了。”
由于孟繁岐熟知GPT4和同期其他大模型的优势地方，350亿参数大概是够用的。
ChatGPT本身的进化过程，还是走了弯路踩了坑的。
但ChatGPT虽然是现象级的产品，却也存在着自己的问题，它并不是完美的。
等到孟繁岐今年完成初版之后，他就不得不面对这类的难题。
比如模型奇奇怪怪的信念。
ChatGPT可能会非常坚信某件事，即便它显然是错误的。
甚至，当你举出反例的时候，它会赞同你的反例，但还是坚信这件事。
这件事情非常的微妙。
比如它会说，81是一个质数。这显然是错误的，你对它说，九九八十一，它会大方地承认的确如此。
但与此同时，它仍旧会坚持，81是一个质数。
这就是一个非常让人恼火的场景，一方面，它能够非常清晰地说出质数的定义，甚至比人类更加严谨客观。
可同时，它却没有办法遵从这种严格的定义，自己发觉自己做了一个非常错误的判断。
当然了，这种信念的程度在不同的问题上会有程度的差异，如果用户执意要挑逗试探模型的话，就会发现它有时候会坚持，有时候你说什么他都会怀疑自己错了。
这种通用的大模型，暂时没法进行特别严格的推理证明。
举一个更加简单的例子，它甚至会做错简单的数学运算。
“不过好在算术这方面的问题2023年已经有解决的思路了。”GPT4的更新思路是插件，GPT不擅长做算术，会把简单的东西算错，既然如此，那就引入插件，让专门的程序去负责专业领域的任务。
喜欢重生之AI教父请大家收藏：(m.x33yq.org)重生之AI教父33言情更新速度全网最快。