admin 管理员组

文章数量: 1184232

一般的网页可以直接通过URL直接获取HTML的代码

public static void main(String[] args) throws Exception {
    //获取url
    URL url = new URL("https://www.baidu");
    //下载资源
    InputStream is = url.openStream();
    BufferedReader br = new BufferedReader(new InputStreamReader(is,"utf-8"));
    String msg = null;
    while (null != (msg = br.readLine())){
        System.out.println(msg);
    }
    br.close();
}

但是有一些网站是不能直接访问的，此时我们需要模拟浏览器再去获取代码

 

public static void main(String[] args) throws Exception {
    //获取url
    URL url = new URL("https://www.dianping");
    //下载资源
    HttpURLConnection conn = (HttpURLConnection) url.openConnection();
    conn.setRequestMethod("GET");
    conn.setRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36");
    BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream(),"utf-8"));
    String msg = null;
    while (null != (msg = br.readLine())){
        System.out.println(msg);
    }
    br.close();
}

本文标签： 浏览器 网页代码 java

版权声明：本文标题：Java模拟浏览器访问并获取网页代码 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1768022627a3527005.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。