(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111590885.1 (22)申请日 2021.12.23 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 朱禹泓　周永智　韦巍　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 代理人 邱启旺 (51)Int.Cl. H02J 3/00(2006.01) H02J 3/06(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/06(2012.01)G06K 9/62(2022.01) (54)发明名称 一种基于深度强化学习和级联图神经网络 的潮流收敛性调整方法 (57)摘要 本发明公开了一种基于深度强化学习和级 联图神经网络的潮流收敛性调整方法， 采用级 联 图神经网络， 通过该网络的数据 拟合当前潮流数 据与潮流收敛概率的非线性映射 关系， 同时利用 该网络所得的潮流收敛概率作为深度强化学习 的奖赏函数设计参照之一。 强化学习可通过不断 进行动作(潮流调整动作 )与环境(当前潮流参 数)的交互， 通过环境的对于动作的奖赏学习到 可调整的动作策略， 并利用深度学习构建当前环 境下不同动作与动作最终价值之间的非线性映 射关系。 本方法将前述级 联图神经网络得到的潮 流收敛概率作为奖赏函数的设计参考之一， 最终 得到潮流收敛性调整策略， 对保障电力系统安全 稳定运行有着重要意 义。 权利要求书2页 说明书7页 附图3页 CN 114362151 A 2022.04.15 CN 114362151 A 1.一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法， 其特征在于， 具 体为： 将不收敛的潮流样本输入至一训练好的Q神经网络， 获得调整动作使潮流样本 收敛。 其中， 所述Q神经网络训练时的奖赏函数包括通过一训练好的级联图神经网络获得 的潮流 收敛概率值。 2.根据权利要求1所述的方法， 其特 征在于， 所述 Q神经网络训练的步骤为： 步骤一， 获取 标记为收敛或不收敛的潮流样本组成训练集。 步骤二， 设计一级联的图神经网络， 并以潮流样本数据为输入， 潮流收敛概率值为输出 在步骤一所 得训练集上利用梯度下降法训练获得级联图神经网络； 步骤三， 设计用于潮流计算收敛的Q神经网络的环境、 状态空间、 动作空间和奖赏函数， 根据所述状态空间、 动作空间和奖赏函数利用步骤一所得训练集训练用于潮流计算收敛的 Q神经网络。 其中， 所述奖赏函数包含根据步骤二得到的级联图神经网络输出的每个样 本的 潮流收敛概 率值。 3.根据权利要求2所述的方法， 其特征在于， 所述步骤一中， 获取标记为收敛或不收敛 的潮流样本组成训练集具体为： 首先利用现有收敛 的初始潮流， 随机改变发电机与负荷的 功率大小， 得到大量的潮流样本， 并利用潮流 求解器得到潮流样本是否收敛的标签。 4.根据权利要求2所述的方法， 其特 征在于， 奖赏 函数具体为： 式中， Ro(·)分别对应o个部分的奖赏函数； wo表示第o部分奖赏 的权重； r11、 r12分别为 潮流计算收敛、 不收敛时的奖赏值； pt和pt+1分别表示在时间步t时执行动作前后潮流收敛 的概率， 由步骤2中所述级联神经网络计算所得； fo表示第o部分奖赏计算式所用的激活函 数， st为在时间步t时的状态空间， at为在时间步t时的动作空间。 5.根据权利要求2所述的方法， 其特征在于， 所述状态 空间为由电力系统中每个包含发 电机的节点中发电机的有功功率、 无功功率和节点类型组成的矩阵； 所述动作空间为电力 系统每个包含发电机的节点中发电机的有功功 率、 无功功率和节点类型的改变值组成的矩 阵。 6.根据权利要求1所述的方法， 其特征在于， 所述级联图神经网络由两层GCN层、 三层全 连接层组成。 7.根据权利要求6所述的方法， 其特 征在于， 所述GCN层的前向传递 函数表示 为： 权　利　要　求　书 1/2 页 2 CN 114362151 A 2其中， X和Y分别是GCN层的输入与输出； A是系统拓扑的邻接矩阵； 是系统拓扑的度矩 阵； W是GCN层的可训练参数矩阵； I是 单位矩阵； fσ(·)是激活函数。 8.根据权利要求2所述的方法， 其特征在于， 所述级联的图神经网络是潮流样本数据组 成的特征矩阵， 其中的每一行代表了系统中相 应节点的电气特征； 电气特征包括对应的节 点的发电机、 负载的有功功 率、 无功功 率， 节点电压的幅值、 相角以及节点类型， 节点类型为 平衡节点、 PQ节点、 PV 节点。 9.根据权利要求7所述的方法， 其特征在于， 所述全连接层的前向传递公式如下式所 示： 其中， XFC(l)和YFC(l)分别为第l层全连接层层的输入输出； W(l) FC和b(l)分别为第l层FC层 的权重矩阵和偏置矩阵， 是 可训练的参数。权　利　要　求　书 2/2 页 3 CN 114362151 A 3