设为首页 - 加入收藏 朝阳站长网 (http://www.0421zz.com)- 国内知名站长资讯网站,提供最新最全的站长资讯,创业经验,网站建设等!
热搜: 2019 水平 vivo 模式
当前位置: 首页 > 综合聚焦 > 移动互联 > 评测 > 正文

用Python爬取前程无忧网大数据岗位信息并分析!找到最合适你的

发布时间:2019-09-26 01:13 所属栏目:[评测] 来源:一枚程序媛呀
导读:近期秋招进入高峰期,28号学校有一个秋招大型招聘会,本来想在网上爬一下自己专业的招聘岗位,结果检索结果寥寥无几(摊手),于是我就无奈的爬取并分析了一波我准备转行的大数据行业的就业行情。 爬虫的基本思路 在前程无忧官网检索大数据的结果中,每条检

近期秋招进入高峰期,28号学校有一个秋招大型招聘会,本来想在网上爬一下自己专业的招聘岗位,结果检索结果寥寥无几(摊手),于是我就无奈的爬取并分析了一波我准备转行的大数据行业的就业行情。

爬虫的基本思路

  1. 在前程无忧官网检索“大数据”的结果中,每条检索结果详情对应的URL存在a标签的href属性中,通过组合选择器可以找到每条检索结果详情的URL。
  2. 前程无忧的招聘岗位信息数据固定的放在HTML的各个标签内,通过id选择器、标签选择器和组合选择器可以诸如公司名、岗位名称和薪资等11个字段的数据。
  3. 基于上述1和2,可以通过解析检索“大数据”得到的URL得到其HTML,再从此HTML中的具体位置的a标签得到每个岗位的详情对应的URL;然后解析每个岗位的详情对应的URL得到其HTML,再从结果HTML的具体位置找到每个岗位的详情。具体位置怎么确定呢?通过组合选择器!

前程无忧爬虫具体代码

直接贴代码容易破坏我的排版,具体代码见:https://github.com/cugwhzenith/SpiderOf51job.git,其中SpiderOf51job.py就是爬虫代码,关键点的操作见注释。其他的代码是对爬虫代码的处理。

爬虫结果

爬虫结果我是以csv的格式存储的,看起来不太直观,所以我打算用wordcloud和直方图来可视化爬虫的结果。

用Python爬取前程无忧网大数据岗位信息并分析!找到最合适你的
爬虫结果处理

一般来说,应聘者对一个工作的地点、工作名称、薪资和需要的技术最为关心,刚好上述爬虫的结果包含了这四个字段。

1、薪资结果的处理。在爬虫结果中,薪资在第二列,一般是诸如“1-2万/月”、“20万/年”和“500/天”的结果,先判断每个结果的最后一个字符是“年”、“月”和“天”的哪一个,确定处理的逻辑之后,再用re.sub函数将除了数字之外的字符替换为空格,最后对结果求均值就到了了每个结果的均值。具体处理见wordcloudPlotSalary.py

用Python爬取前程无忧网大数据岗位信息并分析!找到最合适你的

2、需要的技术的处理。考虑到大数据要使用的技术绝大多数由外国人开发,如实我把大数据要使用的技术这一字段的中文全部替换为空格,然后用jieba提出掉一些无意义的助词,就得到了大数据要使用的技术的词云图。具体代码见wordcloudPlotJobinfo.py

用Python爬取前程无忧网大数据岗位信息并分析!找到最合适你的

3、工作地点和职位名称的处理和上述2类似参见wordcloudPlotPlace.py和wordcloudPlotName.py,此处不再赘余,直接放结果。

工作地点词云:

用Python爬取前程无忧网大数据岗位信息并分析!找到最合适你的

职位名称词云:

用Python爬取前程无忧网大数据岗位信息并分析!找到最合适你的

总结

  1. 前程无忧上大数据相关岗位出现频率最高的是:大数据开发工程师
  2. 开出的平均工资:18K/月
  3. 大数据就业岗位最多的城市是:上海、广州和深圳、
  4. 大数据工作最吃香的技能是:Hadoop、SQL和Python

【编辑推荐】

  1. Python数据分析-看了这篇文章,数据清洗你也就完全掌握了
  2. Python数据可视化的四种简易方法
  3. 想提高计算速度?作为数据科学家你应该知道这些Python多线程、进程知识
  4. Python学完工作不好找?看看数据分析可视化都可以做什么
  5. 十个基本的Python数据科学软件包
【责任编辑:未丽燕 TEL:(010)68476606】
点赞 0

【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章