架构师

您现在的位置是:首页 > 技术博客 > 编程基础

编程基础

hutool工具包:使用代理(proxy)实现网络爬虫的简单案例

架构师小跟班 2020-07-09 编程基础
需求:分别使用正常和代理(proxy)两种方式爬取该页面,展示如何使用hutool代理模式制作爬虫软件。免费代理:网上有很多网站提供免费代理,但是大多数不稳定,如果程序执行报错,换个IP多

需求:

分别使用正常和代理(proxy)两种方式爬取该页面,展示如何使用hutool代理模式制作爬虫软件。

免费代理:

网上有很多网站提供免费代理,但是大多数不稳定,如果程序执行报错,换个IP多试几次。

要爬取的网址:

https://api.ipify.org/?format=json%27

该网址页面只显示当前请求者的IP。

代码:

package com.provy.jiagou;

import cn.hutool.http.HttpRequest;
import cn.hutool.http.HttpUtil;
import java.net.InetSocketAddress;
import java.net.Proxy;


/**
 * @author 架构师小跟班
 * @Description: https://www.jiagou1216.com
 * @date 2020/7/8 19:14
 */
public class Test {
    private static String url = "https://api.ipify.org/?format=json%27";

    public static void main(String[] args) {
        normal();
        proxy();

    }

    /**
     * 正常访问
     */
    public static void normal() {
        System.out.println(HttpUtil.get(url));
    }

    /**
     * 代理访问
     */
    public static void proxy() {
        String ip = "117.158.65.216";
        int port = 43222;
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(ip, port));
        String result = HttpRequest.get(url).setProxy(proxy).execute().body();
        System.out.println(result);
    }


}

打印:





文章评论