9月26日，NeurIPS 2024（Annual Conference on Neural Information Processing Systems，神经信息处理系统大会）论文放榜。NeurIPS作为当前全球最负盛名的人工智能学术会议之一，在谷歌学术发布的全球学术期刊和会议影响力排名中位列第7，H5 index高达337，与ICML、ICLR并称为人工智能领域难度最大、水平最高、影响力最强的“三大会议”。根据官方邮件给出的数据，本届会议共有15671篇有效论文投稿，接收率仅25.8％。 电机系团队论文“GLinSAT: The General Linear Satisfiability Neural Network Layer By Accelerated Gradient Descent”收到录用通知，成为电机系历史上首篇被NeurIPS主会收录的论文。论文第一作者为清华大学电机系博士生曾泓泰，通信作者为清华大学电机系教授郭庆来，作者团队还包括清华大学电机系周艳真博士、以及阿里巴巴达摩院的杨超和杨程。该论文受国家自然科学基金南方电网联合基金“基于混合智能的新型电力系统运行方式知识发现研究”、国家自然科学基金创新研究群体项目“新型电力系统安全分析与智能调控“和阿里巴巴达摩院AIR项目“基于AI的新型电力系统大规模实时调度增强技术研究”的经费支持。

论文简介

近年来，随着神经网络在回归任务中取得的巨大成功，许多研究人员尝试将其用于解决复杂的约束优化（决策）问题，但如何才能使得神经网络的输出满足指定约束是亟需解决的关键问题。标准激活函数（如ReLU、Sigmoid和Softmax）能够施加一些简单的约束，但对于更一般的线性约束则无能为力。为使神经网络的输出满足约束，直观的想法是在损失函数中引入罚项，但这种方法存在惩罚系数难以选择、无法从理论上保证约束违反量有界的问题。

为此，团队提出了GLinSAT，即用于满足一般线性约束的神经网络激活层。团队将一般线性约束的可满足性问题建模为含线性约束的熵正则优化问题，并证明了上述问题可以转化为具有 Lipschitz 连续梯度的无约束凸优化问题。在此基础上，团队提出了GPU上无需矩阵分解的可微求解器用以求解上述问题，通过加速梯度下降法并利用GPU的并行性来加速前向和反向传播。与现有的约束可满足层相比，所提方法是第一个用于满足一般线性约束的神经网络激活层且其中所有操作均是可微、无需矩阵分解的，从而能够在保证约束满足的前提下显著提升训练效率。通过在约束旅行商问题、带异常值的部分图匹配、预测投资组合分配和电力系统机组组合问题上的实验，团队证明了所提出的GLinSAT相较于现有的约束可满足层可以实现十倍甚至百倍的加速。

GLinSAT的工作流程