如何使用Golang实现文件分块下载_Golang Web文件下载技巧

http.Client需手动实现分块下载：先用HEAD确认Accept-Ranges和Content-Length；再并发发送Range请求；用WriteAt安全写入；最后校验SHA256或ETag。

Go 标准库的 http.Client 本身不支持断点续传或自动分块，但你可以用 Range 请求头 + 并发控制 + 文件偏移写入，手动实现高效、可控的文件分块下载。

如何用 http.Head 获取文件总大小和是否支持分块

不是所有服务器都支持 Range，必须先确认。否则并发请求会全部返回 200（全量）或 416（无效范围），导致数据错乱。

• 调用 http.Head(url)，检查响应头中是否存在 Accept-Ranges: bytes
• 读取 Content-Length 头获取总字节数；若为 0 或空，说明无法预知大小，不适合分块
• 注意：某些 CDN 或 Nginx 默认关闭 Accept-Ranges，需显式配置 add_header Accept-Ranges bytes;

resp, err := http.Head("https://example.com/large.zip")
if err != nil {
    log.Fatal(err)
}
defer resp.Body.Close()
if resp.Header.Get("Accept-Ranges") != "bytes" {
log.Fatal("server does not support Range requests")
}
size, _ := strconv.ParseInt(resp.Header.Get("Content-Length"), 10, 64)

如何构造并发送多个 Range 并发请求

每个 goroutine 负责一个字节区间，需确保：start 和 end 计算准确、HTTP 请求复用 http.Client、响应体及时关闭。

• 将总大小切分为 n 块（例如 4 或 8），每块计算 start = i * chunkSize，end = min(start + chunkSize - 1, totalSize - 1)
• 设置 req.Header.Set("Range", fmt.Sprintf("bytes=%d-%d", start, end))
• 务必使用带超时的 http.Client，避免某个分块卡死拖垮整体
• 不要

  

  用 http.DefaultClient，它默认无超时，且连接池参数不利于大量短连接

client := &http.Client{
    Timeout: 30 * time.Second,
}
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("Range", "bytes=0-1048575") // 下载前 1MB
resp, _ := client.Do(req)

如何安全地将分块数据写入同一文件指定偏移位置

多个 goroutine 同时写一个文件，不能用普通 os.WriteFile 或未加锁的 *os.File.Write，否则内容会覆盖错乱。

• 用 os.OpenFile 以 os.O_CREATE | os.O_RDWR 打开文件，**不加 os.O_TRUNC**
• 对每个分块，调用 file.WriteAt(data, int64(start)) —— 这是线程安全的原子写入（底层调用 pwrite）
• 不要用 file.Seek + file.Write，因为 Seek 是共享文件偏移量，多 goroutine 下不可靠
• 建议在开始前用 file.Truncate(totalSize) 预分配空间，避免写入时频繁扩展文件（尤其在 ext4/xfs 上提升性能）

为什么下载完成后的文件校验容易被忽略

分块下载绕过了标准 HTTP 完整性校验（如 Content-MD5 已基本弃用），而网络传输、磁盘写入都可能出错，仅靠状态码 206 不代表数据正确。

• 下载完成后，必须用 sha256.Sum256 或服务端提供的 ETag（若为 hex 格式且非 W/ 前缀）做最终校验
• 不要在每个分块下载后单独校验哈希——那只能验证该段传输正确，无法防止写入偏移错误
• 如果服务端返回了 Content-MD5（Base64 编码），可用 base64.StdEncoding.DecodeString 解码后比对

# 这是  # 多个  # 可以用  # 完成后  # 不支持  # 不适合  # http  # go  # golang  # 并发  # 编码  # 字节  # 标准库  # 并发请求  # 为什么  # 线程  # 状态码  # nginx  # 若为  # cdn  # Length  # 切分  # 不代表  # 服务端 

相关栏目： <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 AI推广<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 SEO优化<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 技术百科<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 谷歌推广<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 百度推广<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 网络营销<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 案例网站<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 精选文章<？ｍｕｍａ echo $count; ?> 】