2025_NIPS_Spatial-Aware Decision-Making with Ring Attractors in Reinforcement Learning Systems

张开发
• 2026/4/7 10:52:53 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

2025_NIPS_Spatial-Aware Decision-Making with Ring Attractors in Reinforcement Learning Systems
文章核心总结与翻译一、主要内容文章提出将受神经回路动力学启发的环形吸引子（Ring Attractors）整合到强化学习（RL）系统中，以解决空间结构化环境中的高效动作选择问题。通过构建外源性连续时间循环神经网络（CTRNN）模型和内源性深度学习（DL）模块两种实现方式，环形吸引子能够显式编码动作空间的空间关系、提供时间滤波稳定动作选择，并融入不确定性量化提升决策可靠性。在OpenAI超级马里奥、高速公路环境及Atari 100k基准测试中，该方法显著优于传统RL算法，Atari基准上平均性能提升53%，在空间相关性强的任务中提升超100%。二、创新点提出环形吸引子与RL融合的新框架，通过显式编码动作空间的空间结构和动作间关系，提供空间归纳偏置，加速学习过程。采用贝叶斯方法将不确定性量化整合到环形吸引子的输入信号中，使不确定性感知成为动作表示的内在部分，而非独立模块。开发可复用的深度学习模块，基于循环神经网络实现环形吸引子，支持与现有深度强化学习（DRL）框架无缝集成，兼顾端到端训练效率与部署灵活性。验证了环形吸引子在价值型（如DQN）和策略梯度型（如PPO）两种RL范式中的有效性，且在离散与连续动作空间中均表现出普适性。三、核心部分翻译（Markdown格式）Abstract环形吸引子是受神经回路动力学启发的数学模型，为提升强化学习（R

更多文章