hutool工具包：使用代理（proxy）实现网络爬虫的简单案例

需求：

分别使用正常和代理（proxy）两种方式爬取该页面，展示如何使用hutool代理模式制作爬虫软件。

免费代理：

网上有很多网站提供免费代理，但是大多数不稳定，如果程序执行报错，换个IP多试几次。

要爬取的网址：

https://api.ipify.org/?format=json%27

该网址页面只显示当前请求者的IP。

代码：

package com.provy.jiagou;

import cn.hutool.http.HttpRequest;
import cn.hutool.http.HttpUtil;
import java.net.InetSocketAddress;
import java.net.Proxy;


/**
 * @author 架构师小跟班
 * @Description: https://www.jiagou1216.com
 * @date 2020/7/8 19:14
 */
public class Test {
    private static String url = "https://api.ipify.org/?format=json%27";

    public static void main(String[] args) {
        normal();
        proxy();

    }

    /**
     * 正常访问
     */
    public static void normal() {
        System.out.println(HttpUtil.get(url));
    }

    /**
     * 代理访问
     */
    public static void proxy() {
        String ip = "117.158.65.216";
        int port = 43222;
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(ip, port));
        String result = HttpRequest.get(url).setProxy(proxy).execute().body();
        System.out.println(result);
    }


}

打印：