爬虫工程师工作内容

岗位职责:

1、从事网页及APP数据采集的技术工作；

2、负责设计爬虫策略及反爬规则，提升数据采集效率、完整度和稳定性；

3、负责智能采集系统设计与研发，如采集任务调度，页面解析和结构化抽取，海量数据存储和读取等。

4.、负责持续跟踪分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进，提升公司相关产品与服务的竞争力。

任职资格:

1、5年左右爬虫开发经验；能够独立承担爬虫工作；

2、熟悉JAVA/Python/go任意语言，熟悉常用的数据结构和算法；熟悉分布式、缓存、消息、搜索等机制；

3、熟悉爬虫原理、分布式架构，精通一种开源爬虫框架，熟练scrapy、feapder等一个或多个爬虫框架及原理，熟悉主流爬取技术，如协议破解、模拟点击、AST解混淆、app逆向等，能够解决封账号、封IP、验证码等问题；

4、熟悉Mysql、ES 和 kafka等使用；

5、有淘宝、拼多多等电商数据获取相关经验者优先。

6、熟悉Android逆向，有主流app逆向、风控对抗、算法破解经验

岗位职责

使用C#语言，开发爬虫客户端，实现分布式爬虫。

任职要求

1，有C#培训经历，自己独立完成练习项目

2 ，*好有ce fs ha rp，chrom e 开发经验

3，学习能力强，工作严谨

4 ，有2 ～3个月稳定的实习时间

任务描述：

1、负责网络爬虫系统的设计与开发；
2、负责和业务沟通抓取需求，满足业务的发展需要；
3、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作；

职位要求：
1、 精通网页抓取原理及技术、正则表达式、动态数据抓取、防屏蔽等关键技术；
2、Python语言 、掌握爬虫框架scrapy , 熟悉分布式爬虫管理框架Gerapy, 爬虫管理scrapyd ,分布式爬虫scrapy-redis
3、 具备NLP相关知识，如结巴分词等，了解或接触过TensorFlow、Pytorch、Keras等至少一种深度学习框架优先；