分片读取http超大文件流
Golang中的HTTP发送get请求，在获取内容有两种情况。
Golang发送http get请求方式
resp, err := http.Get(sendUrl)
if err != nil {
fmt.Println("出错", err)
return
}
第一种方式是直接全部读取出来，这种方式在小数据量的时候很方便。
body变量直接全部接收resp响应内容
body, err2 := ioutil.ReadAll(resp.Body)
第二种方式，分片获取。
首先顶一个切片buf := make([]byte, 4096) 容量和大小都是4096个char字符（切片就是Golang自己的动态变长数组）
for无限循环读取，读取一块内容放入buf中。result 是一个string字符串，然后用 result 自动拼接。
for {
n, err:= resp.Body.Read(buf)
if err != nil || n == 0{
fmt.Println("出现错误")
break
}
result += string(buf[:n])
}
Golang中匹配正则
MustCompile内容不是单引号，而是 `
// 解析，编译正则表达式
ret := regexp.MustCompile(`<img width="100" alt="("`)
//提取需要信息
var fileName [][] string = ret.FindAllStringSubmatch(result, -1)
该方法可以进一步推广，可以推广到下载超大文件，然后分片读取和写入硬盘。
然后再开启另一个线程去将这些已经写入硬盘的分片合称在一起。
Golang 并发控制
Java中的多线程，如果主线程开启多个子线程后，在多个子线程全部完成后，主线程才会退出，程序终止。
而在Golang中不会出现此类情况，主Go程和子Go程需要人为控制主GO程和子GO程同步，否则主GO程瞬间结束。
在主GO程开始执行子GO程地方创建一个 channel。子GO程开始往 channel 中添加数据，主GO程再消费数据。
func toWork(start, end int) {
//子Go程与主Go程完成同步，意思是子Go程没有全部执行完毕，主Go程不许退出。
page := make(chan int)
for i:=start; i<=end; i++ {
//开启子GO程
go SpiderPage(i, page)
}
//主GO程开始消费管道中的数据
for i:=start; i<=end; i++ {
fmt.Println("爬取完成", <- page)
}
}
往主GO程的channel中添加数据，提供给主GO程消费从而达到同步
func SpiderPage(index int, page chan int) {
page <- index
}
读取http二进制码写入图片
创建文件
获取http流
分片逐步写入
func saveImag(sendUrl string, index int, imageChannel chan int) {
//创建文件
path := "C:/img/" + strconv.Itoa(index) + ".jpg"
f, err := os.Create(path)
if err != nil {
return
}
defer f.Close()
//获取http流
resp, err :=http.Get(sendUrl)
if err != nil {
return
}
defer resp.Body.Close()
//分片逐步写入
buf := make([]byte, 4096)
for {
n, err := resp.Body.Read(buf)
if err != nil {
break
}
f.Write(buf[:n])
}
imageChannel <- index
}
补充：golang实现http表单大文件流式上传服务端代码
golang的http标准库的上传文件是一次性将文件全部读到内存中，这样上传小文件还可以，但是大文件就无能为力了。
一开始在网上找到一篇gin实现大文件流式上传的文章。大体思路是手动解析form表单的header和body，然后分片读取上传的文件内容。但是代码量有点多且复杂。有兴趣的同学可以自行百度。
后来在github找到一个库
github.com/albrow/forms
可以看到这个库读取上传文件的方法
func (d Data) GetFileBytes(key string) ([]byte, error) {
fileHeader, found := d.Files[key]
if !found {
return nil, nil
} else {
file, err := fileHeader.Open()
if err != nil {
return nil, err
}
return ioutil.ReadAll(file)
}
}
最后使用的是ioutil.ReadAll，大文件上传的话就会有问题，要实现流式上传，可以在这个包里加一个方法。以下是我自己加的方法
func (d Data) GetFileReader(key string) (io.Reader, error) {
fileHeader, found := d.Files[key]
if !found {
return nil, nil
} else {
file, err := fileHeader.Open()
if err != nil {
return nil, err
}
return file, nil
}
}
得到reader后使用io.Copy即可将文件落盘
userData, err := forms.Parse(c.Request)
if err != nil {
log.Printf("parse错误：%v", err)
return
}
header := userData.GetFile("file")
fileReader, err := userData.GetFileReader("file")
if err != nil {
log.Printf("获取reader错误：%v", err)
return
}
file, _ := os.Create(header.Filename)
io.Copy(file, fileReader)
以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。