没有对“迈向自我完善的神经元网络：Schmidhuber 团队的可扩展自参照权重矩阵学会自我修改”发表评论。

1993 年，AI 先驱 Jurgen Schmithuber 发表了一篇题为 A Self-Referential Weight Matrix 的论文。 他将其描述为一个思想实验，“展示了自我参照神经元网络学习如何改进和实施自己的权重变化算法的理论可能性。”

在论文中，来自瑞士人工智能实验室 (IDSIA)、卢加诺大学 (USI) 和 SUPSI 以及阿卜杜拉国王科技大学的一组研究人员提出了一种可扩展的 SRWM（Self -Referential WM)，它利用外部产品和增量更新规则来更新和改进。 该 SRWM 在游戏环境中实现了实际应用和令人印象深刻的性能。

所提出的模型基于快速权重程序员，这是一种可追溯到 1990 年代的有效且可扩展的方法。 FWP 可以通过编程指令记忆数据并计算快速权重变化，这些编程指令是自我发明的激活模式（也称为自注意力的键和值）的外部产物。 FWP 因其与变压器架构的线性变体的关系而被重新发现。 最近的研究通过结合新的基本编程规则或由慢速神经网络调用的指令来重新编程其快速神经网络，改进了传统的 FWP，这种方法被称为“增量更新规则”。

来源和详细信息：
https://syncedreview.com/2022/04/19/toward-self-improving-neural-networks-schmidhuber-teams-scalable-self-referential-weight-matrix-learns-to-modify-itself/