欢迎您访问高考派招生信息爬虫实战:获取学校 id 和城市号!

高考派招生信息爬虫实战:获取学校 id 和城市号

更新时间:2024-07-05 07:02:22作者:佚名

攀岩只是为了好玩网校头条,只是为了学习,没有其他目的

这几天都在高考派上查招生信息,走了很多弯路,也学到了很多东西。

以下是涉及的模块

import requests
from fake_useragent import UserAgent
from multiprocessing import Process
import urllib.request as r
import threading
import re
import time
import random

首先我们来看看需要爬取的网页

不同的学校对应着文理科,以及全国各省确定招生计划。点击搜索,可以得到一个请求页面,这个页面是通过ajax实现的。

发送的数据如下

通过多个页面对比可以知道,id指的是学校id,type 1或者2指的是文科或者理科,city自然就是城市编号,state 1或者0表示是否有招生计划。

所以我们需要先把所有的ID和城市获取出来并写入txt,这个是在首页用正则表达式实现的高考派,具体代码很简单,获取学校的文本文件和对应的网址、省份和身份证号码:

共有 3054 所大学

和 31 个省

然后向各个大学的URL发送请求,获取JSON数据。

#获取id列表
def getSchoolIdList():
#...
#获取city列表
def getCityIdList():
# ...
#获取请求数据列表
def getDataList(schoolId,cityId):
    dataList = []
    for sid in schoolId:
        for cid in cityId:
            for type in [1, 2]:
                dataList.append('id={}&type={}&city={}&state=1'.format(sid, type, cid))
    return dataList

也就是说一共有=条数据需要获取

而且考虑到数据量很大,为了防止被拦截,必须设置代理和不同的消息头

我是通过向代理网站发送请求来获取代理IP的(19元一天高考派,不过可以无限量),另外如果字典里是‘http’,就会报错,还有‘http’和‘http’都报错,不知道为什么,干脆从代理网站获取https的IP吧

#获取代理ip列表,其中有15个ip
def getProxyList():
    url1 = 'http://api3.xiguadaili.com/ip/?tid=558070598680507&num=15&delay=1&category=2&protocol=https'
    res = requests.get(url1)
    proxyList &

为您推荐

戴思宇:从校园传说到备受关注的高考学子

在学校官网发出了另一位成绩700分的“高考状元”。那位考了708分的学生原来曾经得过省级的三好学生。并凭借这个证书获得了十分的高考加分。就说网络上那些靠题海战术考进清北的所谓高考状元。“填鸭”出来的高考状元真的有意义吗?在各种奥赛中拿到的奖项也不比衡中等知名“高考工厂”少。快乐学习也能考上清华北大。

2024-07-04 21:03

高考艺考体育舞蹈包括哪些种类?详细科普

体育舞蹈在高考舞蹈都考什么?高考艺考体育舞蹈包括哪些种类体育舞蹈在高考舞蹈都考什么考评员目测体育舞蹈艺考考生身体各部分的比例、形态、外貌及气质。那么艺考体育舞蹈好考吗,北体体育舞蹈招生简章如何正确解读,有哪些综合类大学体育舞蹈专业,体育舞蹈专业二本大学可以去读吗,毕业后好找工作吗?

2024-07-04 20:02

2023 年高考时间安排及地区差异,你了解吗?

2023年高考的具体统一考试时间为6月7日和8日。新高考地区的考试时间略有不同。高考考试时间安排1、全国普通高考在6月7、8、9日进行,大部分省份是两天,少数省份需要三天。2、大部分省份的高考时间科目安排如下:想要了解高考相关内容的考生和家长可以重点参考。高考考试注意事项

2024-07-04 20:02

高考结束后的暑假怎么过?过来人建议:睡懒觉、聚会、旅行……

晨视频为你整理了全网的“过来人”建议,高考后的暑假应该怎么度过,看看大家怎么说。因为高考完的这段时间没有其他琐碎的事情,两三个月的时间拿来学车正好。别总觉得上了大学很闲,也有假期总能有时间考,到时候你会发现你要考证、要各种社团活动、要去实习兼职、要去旅游聚会,拖着拖着时间一眨眼就过去了。

2024-07-04 19:03

富县高级中学 冬季安全教育:雨雪冰冻天气,家长如何保障孩子的

富县高级中学为切实保障学生的人身安全,共同做好学生的冬季安全教育工作,希望家长协同学校切实加强对孩子的安全教育和管理,积极配合学校开展安全防范工作,让安全警钟时刻长鸣!现提醒家长教育孩子做到以下几点:四、冬季校外活动安全4.教育子女预防季节病和流行病。富县高级中学

2024-07-04 17:02

高考录取辅助排序分的作用及计算方法解析

在投档过程中,对总分相同的考生,按其“辅助排序分”从高到低排序投档。当考生总分等于投档线时,专业技能成绩须达到辅助排序分;当考生总分超过投档线时,则辅助排序分高低不影响投档。辅助排序分其实只对踏线考生才管用,比如投档线是360分,辅助排序分是261分。

2024-07-04 14:03

加载中...