赛博生命欺骗人类的第一步（1 / 2）

openai“神”操作：让gpt-4去解释gpt-2的行为！

由chatgpt掀起的这场ai革命，令人们感慨神奇的同时，也不禁发出疑问:ai究竟是怎么做到这一切的?

此前，即便是专业的数据科学家，都难以解释大模型（llm运作的背后。而最近，openai似乎做到了——本周二，openai发布了其最新研究:让gpt-4去试着解释gpt-2的行为。

即:让一个ai“黑盒”去解释另一个ai“黑盒”。

工作量太大，决定让gpt-4去解释gpt-2

openai之所以做这项研究的原因，在于近来人们对ai伦理与治理的担忧:“语言模型的能力越来越强，部署也越来越广泛，但我们对其内部工作方式的理解仍然非常有限。”

由于ai的“黑盒”性质，人们很难分辨大模型的输出结果是否采用了带有偏见性质的方法，也难以区分其正确性，因而“可解释性”是亟待重要的一个问题。

ai的发展很大程度上是在模仿人类，因而大模型和人脑一样，也由神经元组成，它会观察文本规律进而影响到输出结果。所以想要研究ai的“可解释性”，理论上要先了解大模型的各个神经元在做什么。

按理来说，这本应由人类手动检查，来弄清神经元所代表的数据特征——参数量少还算可行，可对于如今动辄百亿、千亿级参数的神经网络，这个工作量显然过于“离谱”了。

于是，openai灵机一动:或许，可以用“魔法”打败“魔法”?

“我们用gpt-4为大型语言模型中的神经元行为自动编写解释，并为这些解释打分。”而gpt-4首次解释的对象是gpt-2，一个openai发布于4年前、神经元数量超过3万个的开源大模型。

让gpt-4“解释”gpt-2的原理

具体来说，让gpt-4“解释”gpt-2的过程，整体分为三个步骤。

（1首先，让gpt-4生成解释，即给出一个gpt-2神经元，向gpt-4展示相关的文本序列和激活情况，产生一个对其行为的解释。

如上图所示，gpt-4对gpt-2该神经元生成的解释为:与电影、人物和娱乐有关。

（2其次，再次使用gpt-4，模拟被解释的神经元会做什么。下图即gpt-4生成的模拟内容。

（3最后，比较gpt-4模拟神经元的结果与gpt-2真实神经元的结果，根据匹配程度对gpt-4的解释进行评分。在下图展示的示例中，gpt-4得分为34。