- 文献综述（或调研报告）：
资源管理问题在计算机系统和网络中无处不在。 例子包括计算集群中的作业调度，视频流中的比特率自适应，网络电话中的中继选择，云计算中的虚拟机放置，拥塞控制等等。 今天使用精心设计的启发式方法解决了大多数这些问题。 考虑到该领域的最新研究，典型的设计流程是：（1）为简化的问题模型提出巧妙的启发式方法; （2）在实践中精心测试和调整启发式方法以获得良好的性能。 如果问题的某些方面（例如工作负载或感兴趣度量）发生变化，则通常必须重复此过程。
我们退一步了解为什么现实世界资源管理问题具有挑战性的原因：
1.底层系统很复杂，通常无法准确建模。 例如，在集群调度中，任务的运行时间因数据位置而异，服务器特性，与其他任务的交互以及对CPU缓存，网络带宽等共享资源的干扰。
2.实际实例必须在输入噪声的情况下进行在线决策，并且在不同条件下工作良好。例如，视频流客户端必须根据可用带宽的噪声预测选择未来视频块的比特率，并且运行良好用于不同的编解码器，屏幕大小和可用带宽（例如，DSL与T1）。
3.一些感兴趣的性能指标，例如尾部性能，众所周知难以以原则方式进行优化。
机器学习是否可以为人类生成的启发式资源管理提供可行的替代方案，换句话说：系统能学会自己管理资源吗？
这听起来像是建立天网，但最近成功地将机器学习应用于其他具有挑战性的决策领域表明这个想法可能不会太牵强。特别是，强化学习（RL）已经成为机器学习研究的一个活跃领域。 RL处理代理人，他们学会根据与环境交互的经验直接做出更好的决策。代理人开始对手头的任务一无所知，并通过强化来学习，根据它在任务上的表现得到的奖励。RL有着悠久的历史，但最近它与深度学习技术相结合，在诸如玩视频游戏，Computer Go，冷却数据中心等应用中发挥了很大作用。
重新审视上述挑战，RL方法特别适合资源管理系统。首先，由这些系统做出的决定通常是高度重复的，因此为RL算法产生大量训练数据（例如，群集调度决策和所得到的性能）。 其次，RL可以将复杂系统和决策策略建模为深度神经网络，类似于用于游戏代理的模型。不同的“原始”和噪声信号(通常很容易识别与决策任务相关的信号，但不是如何过滤/组合它们来做出决策)。可以作为输入结合到这些神经网络中，并且所得策略可以用在在线随机环境中。第三，有可能直接训练难以优化的目标，因为如果存在与目标相关的奖励信号，它们缺乏精确的模型。最后，通过继续学习，RL代理可以针对特定工作负载（例如，小作业，低负载，周期性）进行优化，并且在不同条件下稳定运行。
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
