python爬虫工程师工作内容

岗位职责：
1、负责爬虫系统的设计、开发与维护；
2、负责对爬取数据的信息提取、去重、清洗和规范化处理。

任职要求：
1、计算机相关专业3年以上工作经验，至少2年以上 Python 开发工作经验；
2、熟悉 HTML、JS、XPath、AJAX、HTTP协议等，了解浏览器的运行机制；
3、熟悉网页抓取原理及技术，精通正则表达式，可以从结构化的和非结构化的数据中提取信息，有Scrapy / Pyspider之一的使用经验；
4、了解常见的反爬策略，有一定的反爬经验;
5、有良好的逻辑思维能力、沟通能力、学习能力和团队合作精神。

加分项：
1、有大规模的爬虫开发经历，掌握各种爬虫技巧；
2、具有分布式、多线程的开发经验。

【岗位描述】
1.负责完成公司数据采集需求；
2.负责开发分布式爬虫框架，管理分布式爬虫服务器，开发任务调度引擎；
3.负责攻克各种反爬技术难点；
【岗位要求】
1、2以上工作经验，专科以上学历，计算机或数学相关专业
2、良好的编程开发能力，精通Python爬虫开发和Web开发；
3、熟悉MySQL与SQL Server部署、开发与维护；
4、对新技术敏感，乐于研究新技术，具有良好的团队合作精神；
5、熟悉php开发或Java开发者优先；
6、熟悉各种基础算法。

职责描述：

1、负责爬虫的开发；

2、负责部分python脚本的编写；

3、负责数据的研究和加工处理；

4、监控程序运行状态，核对数据正确性，查找错误原因；

5、负责数据文档的编写与更新。

任职要求：

1、熟练掌握python语言；

2、熟悉linux操作系统；

3、熟悉MySQL、Redis、MongoDB、PostgreSQL等常见数据库；

4、熟悉xpath、正则、BeautifulSoup等从结构化和非结构化网页的数据提取；

5、有scrapy、pyspider等至少一个爬虫框架开发经验；

6、熟悉http、tcp等网络协议，了解HTML、JavaScript等前端技术。

7、Python爬过新闻类、文章类、官网类的优先；有海外网站爬取经验优先

薪资福利：

1、薪资面议，根据技术能力定薪资，入职即缴纳六险一金

2、法定节假日正常休，超长带薪年假

3、完善的入职培训体系、晋升通道让你职场无忧