中大新聞網訊（通訊員夏俐）近期，中山大學管理學院夏俐教授在管理學領域國際高水平期刊Production and Operations Management（簡稱POM）上發表了題為“Risk-Sensitive Markov Decision Processes with Long-Run CVaR Criterion”的研究論文，論文的其他作者還包括中山大學管理學院的博士生張璐瑤和斯坦福大學管理科學與工程系的Peter W. Glynn 教授。該研究針對隨機動態系統中的過程中損失的CVaR優化問題進行研究，完善了相應的優化理論及算法體系。
CVaR指標是重要的風險刻畫指標，在應用于多階段動態決策時，由于指標函數的不可加性導致經典動態規劃原理失效，Bellman最優性方程不成立，需要尋求新的優化方法。本文基于靈敏度優化方法對離散時間無窮階段穩態CVaR 準則下的馬氏決策過程（MDP）優化問題進行研究。通過引入偽 CVaR 指標，將原問題轉化為一個兩層MDP問題，內層為標準動態規劃問題，外層為偽CVaR的單參數優化問題，并給出了 CVaR性能差分公式用以刻畫不同策略對應的穩態 CVaR 性能差。
論文證明了確定性平穩策略的最優性，基于CVaR差分公式和性能導數公式得到了CVaR Bellman局部最優方程，從而給出了得到局部最優策略的充要條件以及穩態CVaR MDP的策略迭代型算法，證明了該算法可收斂至局部最優策略。進一步，論文基于兩層MDP問題的靈敏度信息和臨界點分析，證明了偽CVaR函數的分片線性、分段凸的性質，在此基礎上給出了一種全局最優算法，證明了算法可收斂至全局最優策略。論文最后通過多個數值實驗對比驗證了本文優化理論與算法的有效性。
論文的主要貢獻可分為以下三點，第一，本文首次對衡量系統過程波動性的穩態CVaR準則下的MDP優化理論進行研究，完善了現有文獻在該類指標的理論體系；第二，不同于經典MDP理論，本文從靈敏度優化的角度對穩態CVaR MDP進行研究，得到了CVaR 性能差分公式、性能導數公式以及 CVaR Bellman 局部最優方程；第三，通過將原問題轉化為兩層MDP問題，本文首次提出了MDP的CVaR指標的有效求解算法，分別得到了一種可快速收斂至局部最優的策略迭代型算法以及一種基于靈敏度分析的全局最優算法，填補了現有MDP文獻關于CVaR的有效求解算法的空白。
論文鏈接：https://doi.org/10.1111/poms.14077
