这里经常会问到java.net.URLConnection使用，而且Oracle 教程对它来说太简洁了。
该教程基本上只显示了如何触发 GET 请求并读取响应。它没有解释如何使用它来执行 POST 请求，设置请求标头，读取响应标头，处理 cookie，提交 HTML 表单，上传文件等。
那么，我如何使用java.net.URLConnection来触发和处理 “高级”HTTP 请求？
首先是免责声明：发布的代码片段都是基本示例。您需要处理普通的IOException和RuntimeException如NullPointerException ， ArrayIndexOutOfBoundsException并自行配合。
我们首先需要至少知道 URL 和字符集。参数是可选的，取决于功能要求。
String url = "http://example.com";
String charset = "UTF-8"; // Or in Java 7 and later, use the constant: java.nio.charset.StandardCharsets.UTF_8.name()
String param1 = "value1";
String param2 = "value2";
// ...
String query = String.format("param1=%s¶m2=%s",
URLEncoder.encode(param1, charset),
URLEncoder.encode(param2, charset));查询参数必须采用name=value格式并由&连接。您通常也会使用URLEncoder#encode()对指定的字符集对查询参数进行 URL 编码 。
String#format()只是为了方便起见。当我需要 String 连接运算符+两次以上时，我更喜欢它。
这是一项微不足道的任务。这是默认的请求方法。
URLConnection connection = new URL(url + "?" + query).openConnection();
connection.setRequestProperty("Accept-Charset", charset);
InputStream response = connection.getInputStream();
// ...任何查询字符串应该使用?连接到 URL 。 Accept-Charset标头可能会提示服务器参数的编码方式。如果您不发送任何查询字符串，则可以离开Accept-Charset标头。如果您不需要设置任何标头，那么您甚至可以使用URL#openStream()快捷方法。
InputStream response = new URL(url).openStream();
// ...无论哪种方式，如果另一方是HttpServlet ，那么它的doGet()方法将被调用，参数将由HttpServletRequest#getParameter() 。
出于测试目的，您可以将响应主体打印到 stdout，如下所示：
try (Scanner scanner = new Scanner(response)) {
String responseBody = scanner.useDelimiter("\\A").next();
System.out.println(responseBody);
}将URLConnection#setDoOutput()为true URLConnection#setDoOutput()请求方法设置为 POST。作为 Web 表单的标准 HTTP POST 是application/x-www-form-urlencoded其中查询字符串被写入请求主体。
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true); // Triggers POST.
connection.setRequestProperty("Accept-Charset", charset);
connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + charset);
try (OutputStream output = connection.getOutputStream()) {
output.write(query.getBytes(charset));
}
InputStream response = connection.getInputStream();
// ...注意：当你想以编程方式提交 HTML 表单，不要忘记采取name=value任何对<input type="hidden">元素融入到查询字符串，当然还有的name=value对您想要以编程方式 “按” 的<input type="submit">元素（因为通常在服务器端使用它来区分是否按下按钮，如果是，则按哪一个）。
您还可以将获取的URLConnection为HttpURLConnection并使用其HttpURLConnection#setRequestMethod()代替。但是，如果您尝试使用连接进行输出，则仍需要将URLConnection#setDoOutput()为true 。
HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection();
httpConnection.setRequestMethod("POST");
// ...无论哪种方式，如果另一方是HttpServlet ，那么它的doPost()方法将被调用，参数将由HttpServletRequest#getParameter() 。
您可以使用URLConnection#connect()显式触发 HTTP 请求，但是当您想要获取有关 HTTP 响应的任何信息时，请求将自动触发，例如使用URLConnection#getInputStream()等的响应主体。上面的例子就是这样，所以connect()调用实际上是多余的。
你需要一个HttpURLConnection 。如有必要，先把它扔掉。
int status = httpConnection.getResponseCode();for (Entry<String, List<String>> header : connection.getHeaderFields().entrySet()) {
System.out.println(header.getKey() + "=" + header.getValue());
}当Content-Type包含charset参数时，响应主体很可能是基于文本的，我们希望使用服务器端指定的字符编码来处理响应主体。
String contentType = connection.getHeaderField("Content-Type");
String charset = null;
for (String param : contentType.replace(" ", "").split(";")) {
if (param.startsWith("charset=")) {
charset = param.split("=", 2)[1];
break;
}
}
if (charset != null) {
try (BufferedReader reader = new BufferedReader(new InputStreamReader(response, charset))) {
for (String line; (line = reader.readLine()) != null;) {
// ... System.out.println(line) ?
}
}
} else {
// It's likely binary content, use InputStream/OutputStream.
}服务器端会话通常由 cookie 支持。某些 Web 表单要求您已登录和 / 或由会话跟踪。您可以使用CookieHandler API 来维护 cookie。你需要准备一个CookieManager用CookiePolicy的ACCEPT_ALL发送所有 HTTP 请求之前。
// First set the default cookie manager.
CookieHandler.setDefault(new CookieManager(null, CookiePolicy.ACCEPT_ALL));
// All the following subsequent URLConnections will use the same cookie manager.
URLConnection connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...请注意，众所周知，这并不总是在所有情况下都能正常工作。如果它失败了，那么最好是手动收集和设置 cookie 头。您基本上需要从登录响应或第一个GET请求中获取所有Set-Cookie标头，然后通过后续请求传递它。
// Gather all cookies on the first request.
URLConnection connection = new URL(url).openConnection();
List<String> cookies = connection.getHeaderFields().get("Set-Cookie");
// ...
// Then use the same cookies on all subsequent requests.
connection = new URL(url).openConnection();
for (String cookie : cookies) {
connection.addRequestProperty("Cookie", cookie.split(";", 2)[0]);
}
// ... split(";", 2)[0]是为了摆脱与服务器端无关的 cookie 属性，如expires ， path等。或者，你也可以使用cookie.substring(0, cookie.indexOf(';'))而不是split() 。
默认情况下， HttpURLConnection将在实际发送之前缓冲整个请求主体，无论您是否使用connection.setRequestProperty("Content-Length", contentLength);设置了固定的内容长度connection.setRequestProperty("Content-Length", contentLength); 。每当您同时发送大型 POST 请求（例如上传文件）时，这可能会导致OutOfMemoryException 。为避免这种情况，您需要设置HttpURLConnection#setFixedLengthStreamingMode() 。
httpConnection.setFixedLengthStreamingMode(contentLength);但是如果事先确实不知道内容长度，则可以通过相应地设置HttpURLConnection#setChunkedStreamingMode()来利用分块流模式。这会将 HTTP Transfer-Encoding标头设置为chunked ，这将强制请求正文以块的形式发送。以下示例将以 1KB 的块发送正文。
httpConnection.setChunkedStreamingMode(1024);可能会发生请求返回意外响应，而它可以在真正的 Web 浏览器中正常工作 。服务器端可能会根据User-Agent请求标头阻止请求。默认情况下， URLConnection将其设置为Java/1.6.0_19 ，其中最后一部分显然是 JRE 版本。您可以按如下方式覆盖：
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); // Do as if you're using Chrome 41 on Windows 7.使用最近浏览器中的 User-Agent 字符串。
如果 HTTP 响应代码是4nn （客户端错误）或5nn （服务器错误），那么您可能需要读取HttpURLConnection#getErrorStream()以查看服务器是否已发送任何有用的错误信息。
InputStream error = ((HttpURLConnection) connection).getErrorStream();如果 HTTP 响应代码为 - 1，则连接和响应处理出现问题。 HttpURLConnection实现在较旧的 JRE 中有点错误，保持连接活动。您可能希望通过将http.keepAlive系统属性设置为false来将其关闭。您可以在应用程序的开头以编程方式执行此操作：
System.setProperty("http.keepAlive", "false");您通常对混合 POST 内容（二进制和字符数据）使用multipart/form-data编码。 RFC2388中更详细地描述了编码 。
String param = "value";
File textFile = new File("/path/to/file.txt");
File binaryFile = new File("/path/to/file.bin");
String boundary = Long.toHexString(System.currentTimeMillis()); // Just generate some unique random value.
String CRLF = "\r\n"; // Line separator required by multipart/form-data.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true);
connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);
try (
OutputStream output = connection.getOutputStream();
PrintWriter writer = new PrintWriter(new OutputStreamWriter(output, charset), true);
) {
// Send normal param.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"param\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF);
writer.append(CRLF).append(param).append(CRLF).flush();
// Send text file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"textFile\"; filename=\"" + textFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); // Text file itself must be saved in this charset!
writer.append(CRLF).flush();
Files.copy(textFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// Send binary file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"binaryFile\"; filename=\"" + binaryFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: " + URLConnection.guessContentTypeFromName(binaryFile.getName())).append(CRLF);
writer.append("Content-Transfer-Encoding: binary").append(CRLF);
writer.append(CRLF).flush();
Files.copy(binaryFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// End of multipart/form-data.
writer.append("--" + boundary + "--").append(CRLF).flush();
}如果另一方是HttpServlet ，那么它的doPost()方法将被调用，并且HttpServletRequest#getPart()可以使用这些部分（注意，因此不是 getParameter()等等！）。然而， getPart()方法相对较新，它在 Servlet 3.0（Glassfish 3，Tomcat 7 等）中引入。在 Servlet 3.0 之前，您最好的选择是使用Apache Commons FileUpload来解析multipart/form-data请求。另请参阅此答案 ，了解 FileUpload 和 Servelt 3.0 方法的示例。
有时您需要连接 HTTPS URL，可能是因为您正在编写 Web scraper。在这种情况下，您可能会遇到javax.net.ssl.SSLException: Not trusted server certificate某些 HTTPS 站点上javax.net.ssl.SSLException: Not trusted server certificate ，他们没有更新 SSL 证书，或者java.security.cert.CertificateException: No subject alternative DNS name matching [hostname] found或javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name在某些配置错误的 HTTPS 站点上的javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name 。
Web scraper 类中的以下一次性运行static初始化程序应该使HttpsURLConnection对这些 HTTPS 站点更加宽松，从而不再抛出这些异常。
static {
TrustManager[] trustAllCertificates = new TrustManager[] {
new X509TrustManager() {
@Override
public X509Certificate[] getAcceptedIssuers() {
return null; // Not relevant.
}
@Override
public void checkClientTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
@Override
public void checkServerTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
}
};
HostnameVerifier trustAllHostnames = new HostnameVerifier() {
@Override
public boolean verify(String hostname, SSLSession session) {
return true; // Just allow them all.
}
};
try {
System.setProperty("jsse.enableSNIExtension", "false");
SSLContext sc = SSLContext.getInstance("SSL");
sc.init(null, trustAllCertificates, new SecureRandom());
HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
HttpsURLConnection.setDefaultHostnameVerifier(trustAllHostnames);
}
catch (GeneralSecurityException e) {
throw new ExceptionInInitializerError(e);
}
}Apache HttpComponents HttpClient在这方面更加方便:)
如果您只想从 HTML 解析和提取数据，那么最好使用像Jsoup这样的 HTML 解析器
使用 HTTP 时，引用HttpURLConnection而不是基类URLConnection几乎总是更有用（因为当你在 HTTP URL 上请求URLConnection.openConnection()时， URLConnection是一个抽象类，无论如何你都会得到它）。
然后你可以而不是依赖URLConnection#setDoOutput(true)来隐式地将请求方法设置为POST而不是httpURLConnection.setRequestMethod("POST") ，有些人可能会发现更自然（并且还允许您指定其他请求方法，如PUT ， DELETE ，...）。
它还提供有用的 HTTP 常量，因此您可以执行以下操作：
int responseCode = httpURLConnection.getResponseCode();
if (responseCode == HttpURLConnection.HTTP_OK) {受 SO 和其他问题的启发，我创建了一个最小的开源basic-http-client ，它体现了这里发现的大多数技术。
google-http-java-client也是一个很好的开源资源。