爬虫工程师

职位描述:

1、参与爬虫系统的架构设计与开发; 2、具有实际爬虫开发、内容提取工作经验2年以上; 3、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析; 4、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 5、能独立解决实际开发过程碰到的各类问题;

岗位要求:

1、熟悉linux平台开发,3年以上Java、python或C/C++开发经验; 2、精通信息抓取和整合技术,从结构化的和非结构化的数据中获取信息; 3、熟悉Mysql,redis,mongdb三者至少之一,有过数据库调优和海量数据存储经验优先; 4、具有搜索相关技术研发经验者优先; 5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先; 6、有nutch,heritrix抓取经验或者分布式抓取经验者优先; 7、熟悉搜索引擎和数据清洗相关技术,精通主流分词算法、分类、提取摘要、大规模网页聚类、索引、检索等相关开发经验者优先

我们求贤若渴,希望您能和我们一起,充分发挥您的才能,共创法律行业的互联网新时代!

免责申明:会员言论仅代表个人观点,本站不承担由此引起的法律责任 鄂ICP备18021267号-4 鄂公网安备42018502003405号 Powered by 法律咨询网 Copyright © 武汉听讼信息技术有限公司 版权所有 联系地址:武汉市东湖新技术开发区关山大道332号保利国际中心7层707室