01Nature Machine Intelligence多任务训练让神经网络自发形成类脑模块化结构
长期以来,生物大脑的模块化组织被认为是支撑其高效多功能性的关键结构特征,但人工神经网络为何以及在何种条件下会自发形成类似结构,一直是神经科学与机器学习交叉领域的未解问题。Wu 等人在 Nature Machine Intelligence 上发表的研究表明,当神经网络被训练同时完成多项任务时,其内部连接会自发分化,形成功能特化的子网络模块;尤其当网络容量受到人为约束时,这种模块化趋势显著增强,意味着资源有限会迫使网络走向"分工"而非"冗余"。进一步地,若任务以增量方式逐个引入而非同时呈现,模块化程度会进一步提高,所生成的网络拓扑结构在连接模式上与人脑连接组表现出高度相似性。这项工作从计算角度为"模块化为何普遍存在于智能系统"提供了机制层面的解释,也为设计更紧凑、更具泛化能力的人工网络,以及建立生物大脑与人工系统之间的结构对应关系开辟了新的研究方向。
原文 ↗