网站首页 > 技术文章 正文
爬取目标:药智网
url:https://www.yaozh.com/member/
要求:使用账号密码登陆,将cookie保存在cookiejar,然后携带cookie访问个人中心
请求库:urllib
写法:常规
难度:初级
import urllib.request
from http import cookiejar
from urllib import parse
# 登陆
login_url = 'https://www.yaozh.com/login'
login_form_data = {
'username': '13*******4',
'pwd': '********',
'country': '86_zh-CN',
'formhash': '90F6B08A27',
'backurl': 'https%3A%2F%2Fwww.yaozh.com%2F'
}
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36',
}
# 保存cookie
cookie_jar = cookiejar.CookieJar()
# 定义有添加cookie功能的处理器
cookie_handler = urllib.request.HTTPCookieProcessor(cookie_jar)
# 根据处理器生成opener
opener = urllib.request.build_opener(cookie_handler)
# 带参数发送post请求
login_str = parse.urlencode(login_form_data).encode('utf-8')
login_request = urllib.request.Request(login_url,headers=headers,data=login_str)
# 登陆成功则cookiejar会自动保存cookies
opener.open(login_request)
# 带着cookie取访问个人中心
center_url = 'https://www.yaozh.com/member/'
center_request = urllib.request.Request(center_url,headers=headers)
response = opener.open(center_request)
# bytes 转 str
data = response.read()
with open('member.html','wb') as f:
f.write(data)
猜你喜欢
- 2024-09-27 简单说说爬虫这个神奇的工具(简单说说爬虫这个神奇的工具怎么写)
- 2024-09-27 python接口自动化(十三)--cookie绕过验证码登录(详解)
- 2024-09-27 一键生成 QQ 历史报告,谁最在意你?
- 2024-09-27 Python爬虫Resquests库的使用(python爬虫re库如何换行)
- 2024-09-27 开源:仿网易云音乐Android客户端(安卓开发仿网易云)
- 2024-09-27 你要偷偷的学Python,然后惊呆所有人(第十一天)
- 2024-09-27 package-lock.json的作用?(packagelockjson是做什么用的)
- 2024-09-27 Python保存Cookie到TXT文件(python的cookies)
- 2024-09-27 python爬虫实战之Headers信息校验-Cookie
- 2024-09-27 python爬虫之Requests库,及基本使用
- 最近发表
- 标签列表
-
- cmd/c (90)
- c++中::是什么意思 (84)
- 标签用于 (71)
- 主键只能有一个吗 (77)
- c#console.writeline不显示 (95)
- pythoncase语句 (88)
- es6includes (74)
- sqlset (76)
- apt-getinstall-y (100)
- node_modules怎么生成 (87)
- chromepost (71)
- flexdirection (73)
- c++int转char (80)
- mysqlany_value (79)
- static函数和普通函数 (84)
- el-date-picker开始日期早于结束日期 (76)
- js判断是否是json字符串 (75)
- c语言min函数头文件 (77)
- asynccallback (87)
- localstorage.removeitem (74)
- vector线程安全吗 (70)
- java (73)
- js数组插入 (83)
- mac安装java (72)
- 无效的列索引 (74)