本专栏不讲基础语法，语法可以通过官方文档去学习，没有比这更合适的了， 看懂本文，只需要学完快速上手部分即可。

或者很多作者都写了博客了，你也可以去看看，本文只针对学过requests基础语法的同学进行讲解，直接上案例，这样的效果才是最好的。

常用的抓取面的模块通常使用一个第三方模块requests， 这个模块的优势就是比urllib还要简单，并且处理各种请求都比较方便。

既然是第三方模块，那就需要我们对该模块进行安装，安装方法:

pip install requests

如果安装速度慢的话可以改用国内的源进行下载安装.

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

OK. 接下来我们来看看requests能带给我们什么？我们先请求一下百度首页，一般的案例都是从这里开始的，俗称梦开始的地方：

案例1：请求百度首页源代码

import requests
url = "https://www.baidu.com/"
response = requests.get(url)
response.encoding = "utf-8"
print(response.text)

这样运行的话就把百度首页的html提取出来了。

案例2：搜狗搜索词，交互式返回结果

import requests
kw = input("请输入需要查询的内容")

url = f"https://www.sogou.com/web?query={kw}"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"
}
response = requests.get(url,headers = headers)
print(response.text)  # 直接拿结果(文本)

with open("./sougou.html","w",encoding="utf-8") as f:
    f.write(response.text)

案例3：提取百度翻译结果

接下来, 我们看一个稍微复杂那么一丢丢的, 百度翻译~注意百度翻译这个url不好弄出来. 记住, 在输入的时候, 关掉各种输入法，要用英文输入法, 然后不要回. 就能看到这个sug了

import requests

url = "https://fanyi.baidu.com/sug"
# 请注意百度翻译的sug这个url. 它是通过post方式进行提交的. 所以我们也要模拟post请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3884.400 QQBrowser/10.8.4560.400'
}
word = input("请输入需要查询的词")
data = {
    'kw':word  # 这里要和抓包工具里的参数一致.
}
response = requests.post(url,data=data)
dic_obj = response.json() # 返回值是json 那就可以直接解析成json
# print(dic_obj) # 拿到返回字典中的内容
# print(dic_obj['data'][0]["v"])
for mean in dic_obj["data"]:
    print(mean["v"])

案例4：豆瓣电影ajax页面提取

是不是很顺手呢? 还有一些网站在进行请求的时候会校验你的客户端设备型号. 比如, 我们抓取豆瓣电影，我们构造了一个字典params来请求：网址是豆瓣电影分类排行榜 - 爱情片，你会发现，往下划的过程中一直都会动态加载：

import requests

url = "https://movie.douban.com/j/chart/top_list"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3884.400 QQBrowser/10.8.4560.400'
}
for i in range(0,100,20):
    params ={
        'type': '13',
        'interval_id': '100:90',
        'action': '',
        'start': f'{i}',
        'limit': '20'
}
    response = requests.get(url,params=params,headers=headers)
    dic_obj= response.json()
    for dic in dic_obj:
        print(dic['title'])

案例5：爬取腾讯新闻24小时最新内容，

这个也是需要构造一个params字典，然后解析json爬取，一般动态加载的都是用的这种方法：

import requests

url = "https://i.news.qq.com/trpc.qqnews_web.kv_srv.kv_srv_http_proxy/list"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3884.400 QQBrowser/10.8.4560.400'
}
for i in range(0,100,20):
    params = {
        'sub_srv_id': '24hours',
        'srv_id': 'pc',
        'offset': f'{i}',
        'limit': '20',
        'strategy': '1',
        'ext': '{"pool":["top"],"is_filter":7,"check_type":true}'
    }
    response = requests.get(url, params=params, headers=headers)
    dic_obj = response.json()
    # print(dic_obj)
    for dic in dic_obj["data"]["list"]:
        print(dic['title'],dic["url"])

欢迎关注我，带你从零开始学爬虫。