架构师

您现在的位置是:首页 > 视频教程 > 后端技术

后端技术

【网络爬虫】黑马程序员3天搞定java爬虫

架构师小跟班 2020-07-17 后端技术
网络爬虫 第1天1.能够完成爬虫入门程序2.能够说出爬虫解决的问题3.能够使用HttpClient的Get请求4.能够使用HttpClient的Post请求5.能够设置HttpClient的连接池6.能够使用Jso

网络爬虫 第1天

1.能够完成爬虫入门程序

2.能够说出爬虫解决的问题

3.能够使用HttpClient的Get请求

4.能够使用HttpClient的Post请求

5.能够设置HttpClient的连接池

6.能够使用Jsoup解析字符串、文件中的Html数据

7.能够使用dom方式查询解析Html

8.能够使用选择器查询解析Html

9.能够说出SKU和SPU的区别

10.能够实现案例

网络爬虫 第2天

1.能够理解WebMagic架构

2.能够完成入门案例

3.能够理解PageProcessor的作用

4.能够使用选择器抽取页面元素

5.能够使用Spider启动爬虫

6.能够使用Site设置爬虫参数

7.能够使用过滤器对url去重

8.能够实现案例

9.能够使用和定制Pipeline输出数据

网络爬虫 第3天

1.能够说出定时任务的作用

2.能够使用工具生成Cron表达式

3.能够理解网页去重的作用

4.能够理解代理服务器的作用

5.能够使用代理服务器爬取数据

6.能够安装ElasticSearch服务和IK分词器

7.能够使用SpringData完成ElasticSearch的增删改查

8.能够把MySQL的数据导入到索引库

能够实现查询招聘信息案例

--------------------------------------------

网盘链接:

链接:https://pan.baidu.com/s/1EHDpnh1DDiYCGy2mrfkUYQ 

提取码:rtpr


文章评论