基于在线学习技术的空调负荷精准集成文献综述

文献综述（或调研报告）：

在国外，已有许多学者对这一问题进行了分析：有学者提出通过制定实时变动的电力价格来激励居民调整用电负荷[3]，并且可以在用电总价和用户使用体验中取得较好的平衡；也有学者提出利用马尔科夫链模型[4]，通过强化学习来了解能源价格和居民可能选择的方式，从而减少居民用电成本并平滑负荷变动。

而在我国电力系统的负荷高峰主要发生在夏季和冬季，这两个时段的负荷中，空调负荷都占比较高，因此对空调这类柔性负荷的协同控制自然成为研究目标，文献[5]从调度的角度分析了空调等柔性负荷主动参与电网的运行控制的优势，并提出了在实践中的需要纳入考量的因素。同时空调负荷具有一定的热储存能力，文献[6] 主要针对建筑的热力学模型进行分析，从热力学建模、聚合模型、控制模式、调控策略四个方面介绍了空调参与需求响应的相应情况。

对于控制策略，文献[7] 主要分析了参数相近的空调负荷集成控制的策略，提出了一种温度上下限的分离控制方法，有效地改善了传统温度调节方法造成聚集负荷波动的现象；文献[8] 提出了针对定频空调负荷的直接控制模型和以负荷聚合商为中介的双层调度模型，当空调负荷资源被电力公司有效利用并合理调度时，将能够缓解或解决系统的电力不平衡问题，显著提高系统的运行效率，并介绍了影响优化调度结果的主要相关因素；文献[9] 则结合集中式响应策略和分布式响应策略，设计了分层分布式响应策略，从而减轻将空调用于负荷调整时，大量空调负荷同时启停对于电网的冲击。

上述控制策略都是以负荷聚合商为主体，在预设的一定范围内对空调进行调整。而在实践中，应将用户参与需求响应项目的意愿考虑其中：可能一些用户对于温度调整的要求较为宽容，可以容许更大程度的空调负荷调整，而另外一些用户可能只允许空调负荷在较小范围

内变动，甚至不允许变动。因此我们需要通过合理的方法来获取用户的具体情况。在前期的小范围项目中，发放问卷调查用户意愿尚为可行，但当较大范围推行需求响应项目时，我们应寻找更为高效地用户信息学习方法。在这样的背景下，多臂机问题（Multi-Armed Bandit）的一些解决方法能够发挥较好的作用，能够以更智能、高效的方式了解用户的特点并与用户进行交互。

MAB被描述为这样的问题：对于n个独立，回报未知但确定的臂，在不知道这些分布的情况下，决策者在每个时间步内选择一个臂，并尝试使总回报最大化。决策者决定是否要探索未经探索的臂，从而了解未知的分布，或者通过选择提供最高回报的手臂来利用当前的知识。决策者每次都可以选择多个臂的情况在文献[10],[11]中被称为CMAB（Combinatorial Multi-Armed Bandit）。 CMAB研究大多数学习问题的中基本权衡：探索与开发。

对于MAB问题，已有较多的研究，文献[12]中介绍了一种MAB-MDR方法来为具有未知响应特征的消费者设计激励措施，以降低由于电力短缺和可再生能源波动造成的成本。[4]中则讨论了在线学习应用于住宅需求响应的具体实现，并且论述了其可行性。

上述研究的目的是在选择同样的控制目标的条件下，实现尽可能大的负荷减小，而我们的目标是尽可能精准地实现柔性负荷协同控制，因此要在原有的方法上有所改进，文献[13]-[15]中介绍了CUCB-Avg算法，不仅实现了探索和利用的平衡，而且可以实现精准的负荷减小。

参考文献

[1] CNREC:中国可再生能源展望[J].心见,傅晋.国际融资 2019年02期

[2]郭文勇,蔡富裕,赵闯,张京业,滕玉平,肖立业.超导储能技术在可再生能源中的应用与展望[J/OL].电力系统自动化:1-13[2019-03-03].

[3] Optimal Residential Load Control with Price Prediction in Real-Time Electricity Pricing Environments

[4] D. Orsquo;Neill, M. Levorato, A. Goldsmith, and U. Mitra, “Residential demand response using reinforcement learning,” in Smart Grid Communications (SmartGridComm), 2010 First IEEE International Conference on. IEEE, 2010, pp. 409–414.

[5]王珂,姚建国,姚良忠,杨胜春,雍太有.电力柔性负荷调度研究综述[J].电力系统自动化,2014,38(20):127-135.

[6] 宋梦,高赐威,苏卫华.面向需求响应应用的空调负荷建模及控制[J].电力系统自动化,2016,40(14):158-167.

[7] 周磊,李扬,高赐威.聚合空调负荷的温度调节方法改进及控制策略[J].中国电机工程学报,2014,34(31):5579-5589.

[8] 高赐威,李倩玉,李扬.基于DLC的空调负荷双层优化调度和控制策略[J].中国电机工程学报,2014,34(10):1546-1555.

[9] 张志丹,黄小庆,曹一家,田世明,刘继东,彭寒梅.电网友好型空调负荷的主动响应策略研究[J].中国电机工程学报,2014,34(25):4207-4218.

[10] R. Combes, M. S. T. M. Shahi, A. Proutiere et al., “Combinatorial bandits revisited,” in Advances in Neural Information Processing Systems, 2015, pp. 2116–2124

[11] Y. Gai, B. Krishnamachari, and R. Jain, “Combinatorial network optimization with unknown variables: Multi-armed bandits with linear rewards and individual observations,” IEEE/ACM Transactions on Networking (TON), vol. 20, no. 5, pp. 1466–1478, 2012.

[12] S. Jain, B. Narayanaswamy, and Y. Narahari, “A multiarmed bandit incentive mechanism for crowdsourcing demand response in smart grids.” in AAAI, 2014, pp. 721–727.

[13] Li Y, Hu Q, Li N. Learning and Selecting the Right Customers for Reliability: A Multi-armed Bandit Approach[C]//2018 IEEE Conference on Decision and Control (CDC). IEEE, 2018: 4869-4874.

[14] Learning in Residential Demand Response: a case study and an online approach

[15] Zhao Z, Liu A L. Intelligent demand response for electricity consumers: A multi-armed bandit game approach[C]//2017 19th International Conference on Intelligent System Application to Power Systems (ISAP). IEEE, 2017: 1-6.