go实战一：爱课程网视频以及课件爬虫

1

<a data-class="media" data-title="模块1习题" data-type="pdf" data-url="https://res1.icourses.cn/share/process20/pdf/2018/4/21/0/2734102a-1e47-4d3d-a882-1df8e1329c4c.pdf" data-id="979886" class="chapter-body-content-text-in pdf" href="javascript:void(0);">模块1习题</a>

1

<a data-class="media" data-title="集合论与图论课程引言" data-type="mp4" data-url="https://res1.icourses.cn/share/process21/mp4/2018/12/10/2f14fe9f1eee4e83851e4495f122d1d1_SD.mp4" data-id="635463" class="chapter-body-content-text-in video" href="javascript:void(0);">集合论与图论课程引言</a>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
)
func httpGet(s string) string {
	resp, err := http.Get(s)
	if err != nil {
		// handle error
	}
	defer resp.Body.Close()
	body, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		// handle error
	}
	return string(body)

}
func main() {
	url:="http://www.icourses.cn/web/sword/portal/testPaper?cid=6447"
	fmt.Println(httpGet(url))
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

func extractURLs(s string) {
	// 构造请求.
	res, err := http.Get(s)
	if err != nil {
		log.Fatal(err)
	}
	defer res.Body.Close()
	if res.StatusCode != 200 {
		log.Fatalf("status code error: %d %s", res.StatusCode, res.Status)
	}

	// 加载html
	doc, err := goquery.NewDocumentFromReader(res.Body)
	if err != nil {
		log.Fatal(err)
	}

	// 定位每一章节
	doc.Find("#chapters >.panel").Each(func(i int, s *goquery.Selection) {
		//提取章节的名称
		parentPATH:=s.Find(".chapter-title-text").Text()
		//去除换行符(不知道为什么trimSpace函数不管用)
		parentPATH=strings.Replace(parentPATH, "\n", "", -1)
		//去除空格
		parentPATH = strings.Replace(parentPATH, "\t", "", -1)

		s.Find("a[data-class=media]").Each(func(j int, a *goquery.Selection) {
			// 分别记录文件名称、下载URL、文件类型以及构造的文件路径
			fileTitle,_ := a.Attr("data-title")
			fileURL, _ := a.Attr("data-url")
			fileType, _ := a.Attr("data-type")
			filePATH := parentPATH+"/"+fileTitle+"."+fileType
			fmt.Printf("Review %d: %s - %s\n", j,fileURL,filePATH)
		})
	})
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

		$(".chapter-body-i-click").on("click",function() {
			var $this = $(this);
			var datas = $this.find(".section-event-t.no-load").data();
			if (!isShow(datas.secid)) {
				loadingShow();
				$.ajax({
					type: "POST",
					url: getServer()+"/sword/portal/getRess",
					dataType: "json",
					data: {
						sectionId : datas.secid
					},
					success: function(data){
						loadingHide();
						for(var it=0;it<data.model.listRes.length;it++){
							var dd = data.model.listRes[it];
							var html=getResHtml(dd);
							$this.find("ul").append(html);
						}
						showArr.push(datas.secid);
					}
				});

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

//根据sectionID，构造post请求
func getVideo(id string) string {
	res, err := http.PostForm("https://www.icourses.cn/web//sword/portal/getRess",url.Values{"sectionId": {id}})
	if err != nil {
		log.Fatal(err)
	}
	defer res.Body.Close()
	if res.StatusCode != 200 {
		log.Fatalf("status code error: %d %s", res.StatusCode, res.Status)
	}
	body, err := ioutil.ReadAll(res.Body)
	return string(body)
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

func getVideo(id string,parentPath string) []file {
	var files []file
	res, err := http.PostForm("https://www.icourses.cn/web//sword/portal/getRess",url.Values{"sectionId": {id}})
	if err != nil {
		log.Fatal(err)
	}
	defer res.Body.Close()
	if res.StatusCode != 200 {
		log.Fatalf("status code error: %d %s", res.StatusCode, res.Status)
	}
	body, err := ioutil.ReadAll(res.Body)
	//匹配模式,json在go中真的不太好处理呀
	//匹配url
	r := regexp.MustCompile(`"fullResUrl":"(.*?)"`)
	//匹配文件名
	t := regexp.MustCompile(`"title":"(.*?)"`)
	//匹配文件类型
	m := regexp.MustCompile(`"resMediaType":"(.*?)"`)

	url:=r.FindAllStringSubmatch(string(body), -1)
	title:=t.FindAllStringSubmatch(string(body), -1)
	fileType:=m.FindAllStringSubmatch(string(body), -1)
	for i:=0;i<len(url);i++{
		//为了生成正确的文件名真的不容易,json中ppt类型的文件实际为pdf类型
		files=append(files,file{url[i][1],parentPath+title[i][1]+"."+strings.Replace(fileType[i][1],"ppt","pdf",-1)})
	}
	return files
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

func extractOthers(url string) []file{
	data:=httpGet(url)
	doc, err := goquery.NewDocumentFromReader(strings.NewReader(data))
	check(err)
	//需要下载的文件集合
	var files []file
	doc.Find("#other-sources > ul > li > a").Each(func(i int, s *goquery.Selection) {
		fileTitle, _ :=s.Attr("data-title")
		fileType, _ :=s.Attr("data-type")
		fileURL, _ :=s.Attr("data-url")
		files=append(files,file{fileURL:fileURL,filePATH:filepath.Join("其它文件",fileTitle+"."+fileType)})
	})
	return files
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

func downloadFile(url string,filePath string){
	//获取需要下载的文件大小
	dataSize:=getFileSize(url)
	//获取需要写入的信息
	res, err := http.Get(url)
	check(err)
	if res.StatusCode != 200 {
		log.Fatalf("status code error: %d %s", res.StatusCode, res.Status)
	}
	//body, err := ioutil.ReadAll(res.Body)
	defer res.Body.Close()
	//检查文件是否存在

	//检查目录是否存在
	if _, err := os.Stat(filepath.Dir(filePath)); os.IsNotExist(err) {
		//建立目录
		_ = os.MkdirAll(filepath.Dir(filePath), os.ModePerm)
	}

	bar := progressbar.NewOptions(
		int(dataSize),
		progressbar.OptionSetBytes(int(dataSize)),
	)

	// 创建文件
	dest, err := os.Create(filePath)
	if err != nil {
		fmt.Printf("Can't create %s: %v\n", filePath, err)
		return
	}
	defer dest.Close()
	// 将数据存入文件
	out := io.MultiWriter(dest, bar)
	_, _ = io.Copy(out, res.Body)
}

1
2
3
4
5
6
7
8

var (
	//下载文件夹的路径
	OutputPath string
	//下载的内容
	ContentOptions string
	// 显示版本号
    Version bool
)

1
2
3
4
5
6
7
8

//初始化相关参数
func init() {
	flag.BoolVar(&config.Version, "v", false, "Show version")
	//all为全部下载，most为视频课件以及试卷，也为下载默认选项，videoPPT仅下载视频和课件，exams为仅下载试卷，resources仅下载其它资源
	flag.StringVar(&config.ContentOptions, "c", "most", "Specify the download content {all,most,videoPPT,assignments,testPaper,shareResource}")
	flag.StringVar(&config.OutputPath, "o", "", "Specify the output path")
	//flag.StringVar(&config.StartUrl, "F", "", "course URL")
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

func download(url string,options string) bool{
    id:=utils.MatchAll(url,`course_([0-9]*)`)
	if id != nil{
		//得到课程的id地址
		idNum:=id[0][1]
		//fmt.Println(idNum)
        //根据下载选项下载不同的内容
		switch options{
		case "all":
			parser.DownloadAll(idNum)
		case "most":
			parser.DownloadMost(idNum)
		case "videoPPT":
			parser.DownloadVideoPPT(idNum)
		case "assignments":
			parser.DownloadAssignments(idNum)
		case "testPaper":
			parser.DownloadTestPaper(idNum)
		case "shareResource":
			parser.DownloadShareResource(idNum)
			}
	} else{
		//网址不符合格式
		fmt.Printf("this website %s is not supported now",url)
		return true
	}
 return true
}