近日，南京大学工程管理学院彭一杰课题组与佐治亚理工学院工业与系统工程系Christos Alexopoulos教授团队合作，在运营管理领域国际顶级期Production and Operations Management上发表论文“Production Planning with Markovian Production Relationships”。该研究首次系统性地将马尔可夫生产关系引入生产计划问题，构建基于深度强化学习的通用求解框架，有效破解传统数学规划方法难以适配复杂、非线性、随机生产过程的瓶颈。

背景

生产计划是现代制造企业资源规划（ERP）系统的核心功能，旨在确定生产网络中每个车间在何时生产、生产多少，以实现成本最小化。然而，实际生产过程中，生产计划与实际产出之间的关系往往极为复杂：生产周期可能依赖于当前负载，产出可能受随机因素影响，甚至存在非线性的投入产出关系。传统主流方案（混合整数线性规划等）建模刚性强，面对不同生产机理需要反复重构模型，通用性不足，难以处理这类复杂随机动态过程。

图一：生产网络示意图（含生产函数）

方法

针对上述痛点，团队提出马尔可夫生产关系建模假设：将各车间生产过程抽象为马尔可夫决策过程，当前状态即可完整刻画系统后续演化所需全部信息。该假设具备极强的包容性，可统一刻画固定提前期、清空函数、排队模型、车间调度等多种典型生产机理。

基于该假设，研究团队首先建立了问题的随机动态规划模型，并在特定条件下证明了最优代价函数的凸性，给出了闭式最优策略。对于一般情况，团队进一步提出了基于序贯策略优化与深度强化学习的求解框架。该框架通过依次优化每个车间的生产策略，并利用深度强化学习处理复杂系统动态，理论上保证了策略的单调改进与纳什均衡收敛，且通过多次随机初始化可渐进达到全局最优。

图二：序贯策略优化算法

实验结果

为验证方法的有效性，研究团队基于真实供应链数据开展了大量数值实验。实验涵盖了线性生产关系（固定提前期）与非线性生产关系（清空函数）两种典型场景。在线性情况下，所提方法与当前最先进的优化方法性能相当，但计算效率显著提升；在非线性情况下，该方法实现了约10-20%的最优性差距，显著优于传统的随机对偶动态规划方法。

图三：供应链网络（部分）

图四：在不同供应链网络上的实验成本对比

此外，研究团队还展示了该方法在随机生产关系（如排队网络）与联合生产计划与调度问题中的可扩展性。 在联合优化实验中，所提方法显著优于多种经典计划与调度启发式策略的组合，进一步证明了其在复杂制造环境中的广泛适用性。

图五：联合生产计划和调度问题

作者信息：

刘啸天，美国佐治亚理工大学工业与系统工程系博士研究生，2022年本科毕业于北京大学信息科学技术学院，2022–2023年在彭一杰课题组参与研究。主要研究方向为人工智能赋能运筹管理，重点探索基于AI的供应链管理与库存理论。

Christos Alexopoulos，佐治亚理工学院H. Milton Stewart工业与系统工程学院教授。研究方向包括随机系统仿真，蒙特卡洛方法，库存理论，排队网络等。多篇论文发表于高质量同行评审期刊，例如Operations Research、INFORMS Journal on Computing，Naval Research Logistics等。

彭一杰，南京大学工程管理学院至诚特聘教授，南京大学复杂系统管理研究院院长。长期从事复杂系统随机仿真优化的方法论与理论研究，并将新方法应用于人工智能、金融工程与风险管理、健康医疗等领域。在Operations Research, INFORMS Journal on Computing, IEEE Transactions on Automatic Control等期刊、人工智能顶会上发表高水平学术论文，曾获INFORMS Outstanding Simulation Publication Award。主持国家自然科学基金优青、原创探索、杰青项目等。

张诚，南京大学工程管理学院研究员，南京大学复杂系统管理研究院副院长。北京大学工业工程与管理系博士，主要从事大规模复杂生产系统建模与优化研究，聚焦生产计划与调度、供应链运营管理等方向，相关成果发表于Production and Operations Management、International Journal of Production Research、Computers & Industrial Engineering等学术期刊。