说实话，我一开始写这个程序的时候，心里也没底。FIFA足球赛果这玩意儿，看起来就是个简单的数据抓取，但真上手了才发现，坑多着呢，不过别急，咱一步步来，我踩过的坑,你就不用再踩了。
为什么要用Go语言抓FIFA赛果？
你可能会问：Python不香吗？香，当然香，但Go有个好处——编译成单个二进制文件，扔到服务器上就能跑，不用配环境，而且Go的并发模型，在处理多场比赛数据时,那叫一个丝滑。
我见过不少朋友，为了拿几场比赛的结果，打开浏览器一个个复制粘贴，这种手动操作，既浪费时间，又容易出错，用Go写个脚本，跑一下就完事了,多省心。
第一步：数据源怎么选？
FIFA官方其实有API，但普通人拿不到，那咋办？两个路子：
- 第三方体育数据网站：像ESPN、SofaScore这些，结构清晰，但反爬虫严
- FIFA官网的比赛页面：数据靠谱，但HTML结构那叫一个乱
我建议你选第三方网站，为啥？因为FIFA官网的页面标签嵌套太多,解析起来能让你怀疑人生。
第二步：Go代码怎么写？
别怕，核心逻辑其实就这几行代码，咱们以抓取某场比赛的比分为例：
package main
import (
"fmt"
"net/http"
"io"
"golang.org/x/net/html"
"log"
)
func main() {
// 1. 发请求
url := "https://example.com/fifa-match"
resp, err := http.Get(url)
if err != nil {
log.Fatal(err)
}
defer resp.Body.Close()
// 2. 读HTML
body, err := io.ReadAll(resp.Body)
if err != nil {
log.Fatal(err)
}
fmt.Println(string(body)) // 先看看长啥样
}
你看，就这么简单，不过光拿到HTML不行，你得知道目标数据长啥样，这时候我建议你先在浏览器里按F12,找到那个显示比分的标签，
<span class="score">3 - 1</span>
现在我们用Go的HTML解析器把它抠出来：
// 3. 解析HTML，找比分
doc, err := html.Parse(strings.NewReader(string(body)))
if err != nil {
log.Fatal(err)
}
var f func(*html.Node)
f = func(n *html.Node) {
if n.Type == html.ElementNode && n.Data == "span" {
for _, attr := range n.Attr {
if attr.Key == "class" && attr.Val == "score" {
if n.FirstChild != nil {
fmt.Println("赛果：", n.FirstChild.Data)
}
}
}
}
for c := n.FirstChild; c != nil; c = c.NextSibling {
f(c)
}
}
f(doc)
运行一下，输出：赛果： 3 - 1,成了。
第三步：处理多场比赛——用并发
单场比赛没意思，真要干活得批量处理，比如我要抓世界杯小组赛全部48场比赛，一个个串行跑,太慢了。
Go的goroutine就是为这场景设计的：
matches := []string{
"https://example.com/match1",
"https://example.com/match2",
// ... 一共48个
}
ch := make(chan string)
for _, url := range matches {
go func(url string) {
// 这里放上面抓比分的代码
score := fetchScore(url)
ch <- fmt.Sprintf("%s -> %s", url, score)
}(url)
}
for i := 0; i < len(matches); i++ {
fmt.Println(<-ch)
}
记得控制并发数，别把人家网站搞崩了，用个信号量限制一下：
sem := make(chan struct{}, 5) // 最多5个同时跑
for _, url := range matches {
sem <- struct{}{}
go func(url string) {
defer func() { <-sem }()
// 抓数据
}(url)
}
第四步：数据存哪？
抓到FIFA足球赛果后，总不能每次用都重新抓吧？存起来呗,我推荐两种方式：
| 方式 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| CSV文件 | 简单，用Excel就能打开 | 查询不方便 | 数据量小，一次性项目 |
| SQLite数据库 | 支持SQL查询，结构清晰 | 需要引入第三方库 | 长期维护的项目 |
用SQLite的代码大致这样：
import "database/sql"
import _ "github.com/mattn/go-sqlite3"
db, _ := sql.Open("sqlite3", "./fifa.db")
db.Exec(`CREATE TABLE IF NOT EXISTS matches (
id INTEGER PRIMARY KEY,
home_team TEXT,
away_team TEXT,
home_score INT,
away_score INT
)`)
db.Exec("INSERT INTO matches (home_team, away_team, home_score, away_score) VALUES (?, ?, ?, ?)",
"巴西", "阿根廷", 2, 1)
瞧,存数据也就这么回事。
第五步：碰到反爬虫咋整？
跑了几次，突然发现IP被封了，别慌,有招：
- 加User-Agent：假装自己是浏览器
- 加延时：
time.Sleep(1 * time.Second) - 用代理：
proxyUrl, _ := url.Parse("http://代理地址:端口")
我一般这么搞：
client := &http.Client{
Timeout: 10 * time.Second,
}
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)")
resp, _ := client.Do(req)
别用默认的User-Agent,那是赤裸裸地告诉人家你是爬虫。
一点实感
其实写这个程序，最爽的时候不是跑通的那一刻，而是发现原来这么麻烦的事情，用Go几十行代码就搞定了，看着终端里一行行跳出来的FIFA足球赛果,心里还挺有成就感。
就是有一次忘了加延时，把人家网站搞挂了，还被技术小哥发邮件警告了，那叫一个尴尬。
好了，代码扔GitHub上，下次看球赛结果，跑一下脚本就行，要是你还想加个推送通知功能，或者画个历史战绩折线图,那又是另一个故事了。
本文来自作者[kyadmin]投稿，不代表678体育 - 全网热门体育赛事高清直播平台立场，如若转载，请注明出处：http://www.wuxijiangyou.cn/ty/1864.html
评论列表（4条）
我是678体育 - 全网热门体育赛事高清直播平台的签约作者“kyadmin”！
希望本篇文章《用Go语言抓取FIFA足球赛果，其实没你想的那么难》能对你有所帮助！
本站[678体育 - 全网热门体育赛事高清直播平台]内容主要涵盖：678体育,678体育官网,678赛事直播
本文概览：说实话，我一开始写这个程序的时候，心里也没底。FIFA足球赛果这玩意儿，看起来就是个简单的数据抓取，但真上手了才发现，坑多着呢，不过别急...