基于网络爬虫的就业推荐系统的设计与实现文献综述

 2022-07-15 20:01:33

  1. 研究背景及意义

1.课题背景

近年来，随着经济的高速发展与教育的迅速普及，本科及以上学历的应届毕业生越来越多。2011年3月16日，新华社发布了《中华人民共和国国民经济和社会发展第十二个五年规划纲要》全文。在《纲要》中具体阐述了我国未来发展五年政府工作重点和战略意图，其中，就明确提出了“创新驱动，实施科教兴国和人才强国战略”的政策，将高校教育问题列入政府重点工作。目前，我国正逐步大力发展高校教育，扩大高校数量和招生人数，使更多的学生能有机会进入高校学习。但是，高校的扩张和扩招给高校毕业生的就业带来压力。[1]据教育部副部长林蕙青在会上透露，2019年全国普通高校毕业生预计834万人，比2018年增加14万人，再创新高[2]。更多的高学历人才导致了应届毕业生求职压力增大，就业岗位的增多也导致了就业信息量多、内容杂等问题。“就业难” 一方面源于越来越大的就业压力，另一方面是源于毕业生对未来工作方向、企业需求和自我认识不足产生的迷茫。很多大学生毕业时对择业定位不清，从众选择企业以及和自身专业相匹配的工作，固化的择业思维，使得就业难上加难。因此，各个高校积极为毕业生开展就业指导、就业单位分析和推荐[10]。

目前，绝大多数公司仍在采用校园宣讲会的方式进行招聘，这种招聘确实为高校学生的就业提供了方便和机会，但同时也存在很多问题。在这种传统的招聘方式下，学生需要不停地奔走于各大校园招聘会来寻找适合自己的公司，需要花费更多的时间和精力在赶各种招聘会的路上。这种传统的招聘方式不仅花费双方更多的时间，学生也很难有针对性地去参加专场招聘会，很难通过一个感兴趣地公司去寻找与该公司相类似的其他公司[1]。

随着信息技术和互联网技术的迅猛发展，人类快速进入了信息化社会和网络时代。根据中国互联网络信息中心（CNNIC）在2018年7月发布的《第42次中国互联网络发展状况统计报告》[3]，截止2018年6月，我国网民规模为8.02亿，互联网普及率达57.7%。人们已经进入信息超载（Information Overload）的时代。所谓信息超载是指信息的量超出了个人或系统的能够承受和利用的范围，导致的后果是信息的有效利用率降低[4]。当下，就业网站数量多如牛毛：领英、智联招聘、中华英才网、58同城、91job、猎聘网、实习僧，以及各地的地方人才网。网页信息是不会说话的，但其具有大量的可研究价值等待研究者去探究和挖掘[13]。这些网站中浩如烟海的信息往往让求职者毫无头绪，只能使用地毯式方法投递简历，这既降低了求职者对于自身定位和要求清晰认识的水平，也加重了各个企业人事部门的工作量。对于信息超载，常用的解决办法有：信息检索（Information Retrieval）和信息过滤（Information Filter）。其中，信息检索的结果是通用化的，输入的参数不全面，得到的结果也很单调，不因外在因素和内在因素各不相同的人们而改变，不足以满足个性化的需求，无法进一步提升用户的体验度。而信息过滤则可以根据用户的需求和当前环境等内外因素自动制定过滤规则，是能够进一步提升用户体验度的一种信息处理方式。常用的信息过滤方式为个性化推荐（Personalized Recommendation）。因此，在就业信息的处理中需要充分利用信息检索和信息过滤这两种方式为求职者尽可能简洁高效地提供真实有用的信息[5]。获取信息后要进行数据清洗。数据清洗即清除错误、不一致数据的过程，主要目的是为了过滤掉或者修改那些不符合要求的数据。数据清洗是网络爬虫、数据分析等过程中缺一不可的一个环节，其结果直接影响到整个模型效果和最终结论。数据清洗主要按照以下几个阶段进行：数据预处理阶段、缺失值清洗、格式内容清洗、逻辑错误清洗、非需求数据清洗和关联性验证等[12]。

智能化、个性化推荐技术主要有：基于用户协同过滤推荐技术、基于物品协同过滤推荐技术、基于内容推荐技术、基于知识推学技术以及混合推荐技术等[9]。虽然协同过滤作为一种典型的推荐技术有其相当的应用，但协同过滤仍有许多的问题需要解决。最典型的问题有稀疏问题（Sparsity）和可扩展问题（Scalability）[11]。基于内容推荐技术虽然在系统完善后的可靠性较高，但是冷启动导致的推荐模型构建十分耗时，对时间紧的用户不够友好[15][16]。与传统的求职或招聘相比，利用网络爬虫获取信息来构建就业推荐系统，能更快更方便地让求职方和招聘方找到合适的目标互相接触，省去了大量人工筛选或者实地求职、招聘的时间，让毕业生找工作、用人单位招人更有效率。

2.研究目的和意义

求职与应届毕业生息息相关，找到一个好工作才能算成功毕业。本课题的目的是利用网络爬虫自动搜集网络上的招聘信息，分类整理后推荐给有需要的毕业生，方便毕业生的求职过程。该系统可以根据用户的专业、兴趣、薪资意向、工作地点等个人情况来推荐合适的招聘信息，让求职者不再盲目投递简历，最大化求职效率。也让社会企业更快找到适合自己的人才，不再让求职难、招聘也难的奇怪现象出现。

求职者使用该系统后，可让互联网上过量的信息变为自己可以吸收消化的部分，让自己可以在信息超载时代中从容应对，不被无用的信息吸引注意，不被零碎的信息浪费精力，快速找到自己想要的内容，提高效率，节省时间去做其他事情。

  1. 国内外研究概况

1.推荐系统的兴起

剩余内容已隐藏，您需要先支付 10元 才能查看该篇文章全部内容！立即支付

以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。

您可能感兴趣的文章