go语言爬虫,这句台词有一点点凶残

豆蔻年华、要求深入分析
用go语言抓取 豆瓣电影top250
抓取url:
https://movie.douban.com/top250

《蝉退》:笔者的灵魂与自家里面包车型地铁间隔如此持久,而小编的存在却这样真实。

抓取字段:电影名称、评分、评价人数

《罗生门》

图片 1

《罗生门》:撒谎是人之个性,在比超多光阴里我么以致都不恩能对友好诚实,但那是因为人们太软弱了所以才撒谎,以至是对和煦撒谎。

二、运行:
正值抓取第0页……
肖申克的救赎 9.6 8247六十四人
这么些徘徊花不太冷 9.4 7913玖拾陆位
霸王别姬 9.5 589028个人
阿甘正传 9.4 6788五十四个人
神奇人生 9.5 394009人
千与千寻 9.2 630459个人
Schindler的名册 9.4 364712位
泰坦Nick号 9.2 6246贰11位
盗梦空间 9.2 7323四十七人
机器人总动员 9.3 480977个人
海上海钢铁公司琴师 9.2 577308人
三傻大闹宝莱坞 9.1 641153人
忠犬八公的传说 9.2 430319位
放牛班的春天 9.2 432373人
大话西游之大圣娶亲 9.2 465330人
教父 9.2 329687人
龙猫 9.1 401043人
楚门的世界 9.0 428408人
动荡的时代佳人 9.2 2611八十八位
天堂电影院 9.1 298515人
当幸福来敲门 8.9 5177柒十五人
触不可及 9.1 350506人
搏击俱乐部 9.0 3914五十八个人
十四怒汉 9.3 1629肆16人
无间道 9.0 379235人
正在抓取第1页……
熔炉 9.2 230668人
戒指王3:王者无敌 9.1 274577人
心跳得厉害 8.9 5165伍16人
天上之城 9.0 3178玖拾柒个人
加拉加斯休假 8.9 3708陆拾陆人
少年派的奇异漂流 9.0 557924个人
大话西游之月光宝盒 8.9 377933位
老外来了 9.1 2158九十几人
星际穿越 9.1 4581五13人
蝙蝠侠:紫罗兰色骑士 9.0 301300人
两杆大烟枪 9.0 263388位
飞屋环游记 8.9 479900人
活着 9.0 250291人
飞越疯人院 9.0 2669八十二人
窃听龙卷风 9.1 2109陆10位
海豚湾 9.3 175994人
闻香识女孩子 8.9 306890个人
V字仇杀队 8.8 3934贰拾三人
美妙心灵 8.9 29二〇一〇位
教父2 9.1 177785人
哈尔的位移城池 8.8 3294五十人
戒指王2:双塔奇兵 8.9 2594二十人
戒指王1:魔戒重现 8.9 2894二十位
天使爱美貌 8.7 4627玖拾捌个人
情书 8.8 355630人
正在抓取第2页……
一了百了诗社 8.9 26壹玖捌八个人
美利坚联邦合众国过去的事情 9.1 1657六二十一个人
七宗罪 8.7 417016人
钢琴家 9.0 193470人
狮子王 8.9 268010人
辩护人 9.1 184702人
被嫌弃的松子的一生一世 8.9 261601人
致命魔术 8.8 3222陆21人
控诉方证人 9.6 743肆11个人
勇敢的心 8.8 2844柒十一个人
剪刀手爱德华 8.7 461651人
人的本性 9.0 1776九位
小鞋子 9.2 127801人
音乐之声 8.9 2211捌17位
低俗随笔 8.7 314236位
入殓师 8.8 305490人
Benjamin·Barton奇事 8.7 374363人
沉默的羔羊 8.7 332710人
连锁反应 8.7 361870位
黑客帝国 8.8 2637玖拾肆人
救救大兵Ryan 8.8 2218六12个人
素媛 9.1 159897人
Mary和马克思 8.9 2243玖拾壹位
西西里的雅观传说 8.7 3224柒20人
心灵捕手 8.7 2535四十几个人
正在抓取第3页……
幽灵公主 8.8 2212七十七位
第六感 8.8 219997人
阳光灿烂的日子 8.7 2546三拾七人
让子弹飞 8.7 5919捌拾捌人
春色乍泄 8.8 226800人
大鱼 8.7 236955人
大闹天宫 9.2 904玖拾柒位
射雕英豪传之东面有所成西面亦如意 8.7 2593九十几位
艾哈迈达巴德丛林 8.6 305208人
太阳姐妹淘 8.8 2522玖拾叁个人
老天爷之城 8.9 150203人
甜蜜蜜 8.7 219633人
禁闭岛 8.6 334496人
致命ID 8.6 296372人
告白 8.6 319372人
一一 8.9 144124人
楚科奇海盗 8.6 314010位
爱在黎明(Liu Wei卡塔尔国日亮前 8.7 2044二十六人
狩猎 9.0 112979人
亚特兰洲大学大酒店 8.7 2834100位
阿凡达 8.6 500668人
断背山 8.6 299180人
风之谷 8.8 165217人
萤火虫之墓 8.7 192081人
疯狂动物城 9.2 4560贰拾二人
正在抓取第4页……
摩立即代 9.2 80290个人
爱在日落黄昏时 8.7 186451位
猫鼠游戏 8.7 202370个人
末代君王 8.8 1481拾壹位
侧耳静听 8.8 155657位
哈利·波特与法力石 8.6 229709人
驯龙高手 8.7 2671拾陆位
超脱 8.7 159754人
海洋 9.0 95004人
甜美终点站 8.6 2136九人
穿条纹睡衣的男孩 8.8 1274八十二个人
菊次郎的夏季 8.7 1655八十九位
燃情岁月 8.8 142377个人
流失的爱人 8.7 323395个人
聂小倩 8.6 228708人
神偷奶爸 8.5 345291位
电锯惊魂 8.6 1861九十三个人
谍影重重3 8.7 169376人
岁太阴元君偷 8.6 2893伍十一位
真爱至上 8.5 2922九十二个人
借东西的小丑阿莉埃蒂 8.7 201807人
雨人 8.6 198321人
七武士 9.2 70156人
虎口脱离危险 8.9 101111人
惊悸直播 8.7 一九五〇伍九个人
正在抓取第5页……
贫民窟的百万富翁 8.5 3764伍拾四个人
东邪西毒 8.6 233910人
回想碎片 8.5 258784个人
疯狂原始人 8.7 3489肆16个人
杀人纪念 8.6 一九零九45位
怪兽电力公司 8.6 2210六14人
红辣椒 8.8 116235人
卢Wanda饭店 8.8 1097叁拾多人
黑天鹅 8.5 390705人
穿越时间和空间的闺女 8.6 173266人
魂断蓝桥 8.8 1222六十几个人
恋恋台式机 8.5 2598伍拾玖位
猜火车 8.5 229628人
喜宴 8.8 125182人
英雄本色 8.7 1363七20位
雨中曲 8.9 87275人
夜郎自大与偏见 8.4 2786陆十几个人
小森林 夏秋篇 8.9 110985人
教父3 8.7 119653人
正剧之王 8.4 280152位
一应俱全的世界 9.0 727肆九人
纵横四海 8.7 1306九十几个人
玩具总动员3 8.7 181580个人
萤火之森 8.7 1413柒14个人
人工智能 8.6 177333人
正值抓取第6页……
笔者是萨姆 8.8 93436人
浪潮 8.7 120227人
香水 8.4 256627人
冰川时代 8.4 251941人
7号房的礼金 8.7 155404人
撞车 8.6 163627人
哈利·波特与死去圣器(下) 8.6 2532三二十一人
花样年华 8.5 224651人
追随 9.0 72964人
朗读者 8.5 262929人
一遍别离 8.7 1222陆13个人
碧玫瑰紫红天 8.7 103214个人
罗生门 8.7 112566人
秒速5厘米 8.4 269433人
梦之安魂曲 8.7 102683个人
战乱之王 8.5 162502人
荒蛮轶闻 8.7 114196位
可可西里 8.6 1一九三二4人
心迷宫 8.6 138691人
鲁国唐生点秋香 8.3 2891柒十几位
卓绝陆战队 8.6 335962位
时间和空间恋旅人 8.6 1762八十一人
海盗电视台 8.6 1574六19人
地球上的星星 8.8 744四十位
谍影重重2 8.5 147237个人
正值抓取第7页……
蝙蝠侠:乌黑骑士崛起 8.5 2716十11位
谍影重重 8.5 177829位
阿飞正传 8.5 163181个人
小森林 冬春篇 8.9 95803人
恐慌木造船 8.3 2854陆15人
迁徙的鸟 9.1 492二十八个人
荒地生存 8.6 1184叁10位
勇闯夺命岛 8.5 1320八十五人
绿里不常候 8.7 979六10位
惊魂记 8.8 74428人
埃及开罗买家俱乐部 8.6 1529玖拾人
魔女宅急便 8.4 1764捌十个人
重复启程之伦敦遇见你 8.5 1490九十几个人
爆裂鼓手 8.6 212624位
未麻的部屋 8.8 81727人
尼科西亚 8.6 115202人
燕尾蝶 8.6 102340人
日本东京物语 9.2 454四十个人
牯岭街少年杀人事件 8.7 940九十几人
这么些男士来自地球 8.5 1610二十11个人
变脸 8.4 199136人
United Kingdom患儿 8.4 1640七十五位
被解救的姜戈 8.5 240487人
向隅而泣狂花 8.7 94801人
终结者2:审判日 8.5 130046人
正值抓取第8页……
E.T. 外星人 8.5 140618人
叫小编首先名 8.6 100803人
忠犬八共用语 9.0 49929位
李哪吒闹海 8.8 719陆二十一个人
发条橙 8.4 172356人
青蛇 8.4 199167人
源代码 8.3 378590人
穆赫兰道 8.3 2150陆十几人
黄金三镖客 9.1 462叁20人
红客帝国3:矩阵革命 8.5 141110位
新龙门酒店 8.4 1670三11位
不行嫌犯 8.6 1061贰十个人
United States好看的女人 8.4 1701六拾叁个人
城市之光 9.2 384十六个人
老天爷也疯狂 8.6 89002人
劣迹斑斑人渣 8.4 2059陆拾肆人
初恋这件小事 8.2 4213叁贰拾个人
勇士 8.9 80661人
爱·回家 9.0 43661人
青蓝大门 8.2 256607人
曾经 8.3 190832人
强劲破坏王 8.6 171187个人
麦兜有趣的事 8.5 1185六十七人
暖暖内干将 8.4 133623个人
David·戈尔的一生 8.7 78897位
正在抓取第9页……
蝴蝶 8.6 90229人
仿照游戏 8.5 2285八十八位
血钻 8.5 117306人
圣上的演讲 8.3 311857人
与狼共同舞动 8.9 526柒十二个人
遗愿清单 8.5 1141六18个人
香水之都调皮帮 8.6 987十几人
荒凉小岛余生 8.4 120697个人
偷拐抢骗 8.5 107236位
夜访吸血鬼 8.3 1839肆21人
疯狂的石头 8.2 281233个人
枪火 8.6 88708人
一发千钧 8.7 747十十一人
爱在深夜光临前 8.7 102764个人
爱在泰王国 8.3 2079九十三位
中央车站 8.7 716四十三位
月球 8.5 130528人
寿司之神 8.8 740三贰十位
我爱你 9.0 49781人
亲亲热热 8.1 300318位
罪恶之城 8.4 131579个人
古桥遗梦 8.5 894叁15个人
借使爱有天命 8.2 2140七二十一个人
扫帚星来的那生机勃勃夜 8.3 1460四十五个人
黑鹰坠落 8.5 998玖拾伍位
爬虫结束,总共耗费时间: 1.8951084s

《V字仇杀队》:事实上,经过如此多年过后,你从头失去的不但是脾胃,你戴面具的时刻太长,都不记得面具下的亲善是怎么着样子了。

Process finished with exit code 0

《七武士》

图片 2

《七勇士》:作者像您这么大时,也想过凭技能,应战立功然后当豆蔻年华城之王,但想着想着已白发斑斑,此时您已错过双亲鸾孤凤只。

图片 3

《猜火车》

三、爬虫源代码

《猜高铁》:选用专门的职业,采用生活,接收职业,选择家庭,选她妈的大电视机,选用坐着,看令头脑麻木让心灵破碎的猜谜节目,嘴里塞满他妈的废品食物。

package main
import (
    "fmt"
    "io/ioutil"
    "net/http"
    "regexp"
    "time"
    "os"
    "strconv"
)
//定义新的数据类型
type Spider struct {
    url    string
    header map[string]string
}


//定义 Spider get的方法
func (keyword Spider) get_html_header() string {
    client := &http.Client{}
    req, err := http.NewRequest("GET", keyword.url, nil)
    if err != nil {
    }
    for key, value := range keyword.header {
        req.Header.Add(key, value)
    }
    resp, err := client.Do(req)
    if err != nil {
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
    }
    return string(body)

}
func parse()  {
    header := map[string]string{
        "Host": "movie.douban.com",
        "Connection": "keep-alive",
        "Cache-Control": "max-age=0",
        "Upgrade-Insecure-Requests": "1",
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
        "Referer": "https://movie.douban.com/top250",
    }

    //创建excel文件
    f, err := os.Create("C:/haha3.xlsx")
    if err != nil {
        panic(err)
    }
    defer f.Close()
    //写入标题
    f.WriteString("电影名称"+"\t"+"评分"+"\t"+"评价人数"+"\t"+"\r\n")

    //循环每页解析并把结果写入excel
    for i:=0;i<10;i++{
        fmt.Println("正在抓取第"+strconv.Itoa(i)+"页......")
        url:="https://movie.douban.com/top250?start="+strconv.Itoa(i*25)+"&filter="
        spider := &Spider{url, header}
        html := spider.get_html_header()

        //评价人数
        pattern2:=`(.*?)评价`
        rp2 := regexp.MustCompile(pattern2)
        find_txt2 := rp2.FindAllStringSubmatch(html,-1)

        //评分
        pattern3:=`property="v:average">(.*?)`
        rp3 := regexp.MustCompile(pattern3)
        find_txt3 := rp3.FindAllStringSubmatch(html,-1)

        //电影名称
        pattern4:=`img alt="(.*?)" src=`
        rp4 := regexp.MustCompile(pattern4)
        find_txt4 := rp4.FindAllStringSubmatch(html,-1)

        // 写入UTF-8 BOM
        f.WriteString("\xEF\xBB\xBF")
        //  打印全部数据和写入excel文件
        for i:=0;i<len(find_txt2);i++{
            fmt.Printf("%s %s %s\n",find_txt4[i][1],find_txt3[i][1],find_txt2[i][1], )
            f.WriteString(find_txt4[i][1]+"\t"+find_txt3[i][1]+"\t"+find_txt2[i][1]+"\t"+"\r\n")

        }
    }
}

func main() {
    t1 := time.Now() // get current time
    parse()
    elapsed := time.Since(t1)
    fmt.Println("爬虫结束,总共耗时: ", elapsed)

}

《Mary与Marx》

《Mary与马克思》:笔者骨子里想不通为何诚实也算……不适当时候宜。

《玛丽与马克思》

《Mary与马克思》:当自家青春的时候,小编想产生任何一人除了本身要好。

《剪刀手Edward》

《剪刀手Edward》:抱笔者,笔者不能够

《法国巴黎乐与路》

《日本东京乐与路》:天公也感到那世界完美无瑕,以往还不是乱糟糟。

《 牯岭街少年杀人事件》

《牯岭街少年杀人事件》:那个世界是

不会变的。

《独立刻代》

《独登时代》:最轻便逃匿权利的主意,就是装的跟人家一样。

《一一》

《意气风发风流倜傥》:你不在的时候,笔者有个空子去过了后生可畏段年轻时候的小日子,本来感到本人再活叁次的话可能会有怎么样不均等,结果要么基本上没什么分裂,只是猛然以为,再活一回的话好像,真的未有足够须要。

《超脱》

《蝉退》:你看得见本人?你能瞥见笔者站在此?
是的,笔者见到了。哦天啊,小编如同再度和那么些世界创设了联络,谢谢。