元学习神经网络可以以类似于人类的方式进行泛化。

人类语言和思维的力量源于系统的组合性——理解已知成分并产生新组合的代数能力。 Fodor 和 Pylyshyn1 提出了著名的观点，即人工神经网络模型缺乏这种能力，因此不是可行的心理模型。 尽管神经网络近年来取得了重大进展，但系统性问题仍然存在。 我们通过提供证据证明神经元网络在优化组合技能时可以实现与人类相似的系统性，从而成功解决了福多和皮利辛的挑战。 我们引入元学习方法（MLC）来指导培训……

当 Fodor 和 Pylyshyn 首次提出神经网络 1 内的系统性问题时，今天的模型 19 以及他们的语言能力是难以想象的。 系统性争论证明了福多和皮利辛的远见。 系统性继续挑战模型11,12,13,14,15,16,17,18并激发新的框架34,35,36,37,38,39,40,41。 即使对于像 GPT-4 这样的大型语言模型，补充信息 3 中的初步实验表明系统化仍然是一个问题，或者至少是一个问题。 为了解决争论并了解神经网络是否可以捕捉类似于人类的作曲技能，我们需要比较人类和机器，如本文和其他最近的作品所示7,42.43。 在我们的实验中，最常见的人类答案是代数的，并以与 Fodor 和 Pylyshyn1 描述的相同方式系统化。 人们还使用归纳偏差，有时支持代数解，有时则背离代数解。 事实上，人并不是纯粹的代数机器3,6,7。 在并排比较中，我们表明 MLC 启用了针对合成技能进行优化的标准网络，模仿或超越人类系统泛化。 MLC 比使用标准方法训练的神经网络模型表现出更高水平的系统性，并且比纯符号模型表现出更细致的行为。 MLC 还允许神经网络解决其他挑战，例如系统地使用孤立的原语 11-16 以及使用互斥性来推断含义 44。

我们使用 MLC 来模拟行为偏差。 这与逆向工程归纳偏差的其他方法类似。 贝叶斯方法使建模者有机会测试不同的参数设置和表征形式，以捕获先验指定的人类行为。 分层贝叶斯建模 46 也可用于通过行为数据调整这些先验，但最终的设置是有限制的。 MLC 表明，元学习与分层贝叶斯建模一样，可用于对归纳偏差进行逆向工程。 正式链接参见47。然而，神经网络是用来增加表达能力的。 我们的研究为越来越多的关于元学习作为理解人类行为49,50.51或类人行为52,53.54的工具的文献48做出了贡献。 在我们的实验中，MLC 是唯一在系统性和偏差方面紧密再现人类行为的模型。 然而，MLC（联合）最好地在这两个人类语言行为蓝图之间进行权衡。 MLC的能力也来源于元学习。 系统泛化和人类偏差都不是神经网络架构固有的，而是由数据引起的，不是该架构的固有属性。

MLC 并不是解决 Fodor 和 Pylyshyn1 提出的所有挑战的完美解决方案。 MLC 无法处理元学习分布之外的概念或未实践的概括。 这限制了它可以处理的新颖结构的范围。 （将补充信息 1 中报告的积极结果与 MLC 在 SCAN/COGS 生产率分割方面的失败进行比较。）MLC 也无法推广到它未优化的归纳偏差。 我们在补充信息 2 中通过额外的行为和建模实验进一步探讨了这一点。 我们得出的结论是，用机器学习的术语来说，当元学习使新的训练集与之前的训练集相比更加分散时，它就是成功的。 即使测试项目没有根据剧集中使用的示例进行分发，这也是如此。 然而，元学习不允许网络概括那些与元学习期间呈现的事件不相符的事件。 当前的架构缺乏发出新符号的机制2，但是研究示例引入的新符号可以通过附加的指针机制55发出。

来源和详细信息：
https://www.nature.com/articles/s41586-023-06668-3