网站首页 > 技术文章 正文
Selenium 操作被屏蔽
使用selenium自动化网页时,有一定的概率会被目标网站识别,一旦被检测到,目标网站会拦截该客户端做出的网页操作。
比如淘宝和大众点评的登录页,当打开浏览器,输入用户名和密码时,是能正常进入首页的,但是如果是通过selenium打开, 会直接提示验证失败,点击框体重试。
本文介绍一种办法,不需要修改浏览器属性,不需要注入JavaScript脚本,也能轻松绕过网站检测。
Selenium为何会被检测
每一个浏览器访问网站时,都会带上特定的指纹特征,网站会解析这些特征,从而判断这次访问是不是自动化程序。
一个最广为人知的特征是
window.navigator.webdriver,该特征直接标明此浏览器是webdriver程序。当一个浏览器通过selenium启动后,在开发者工具中输入这个属性,会发现被标为 true, 而手工打开的浏览器是 false。
实际上,浏览器被检测为webdriver程序的特征并不止这一个,这意味着,就算你通过修改属性,也不一定能绕过网站的检测。
我们可以通过 sannysoft 来检测浏览器指纹,如果浏览器是通过selenium等自动化程序打开的,访问这个网址后会有很多特征暴露这些指纹,这些特征的值和手工打开后的值是不一样的,因此可以很轻易被别人检测出来。
有人也试图不用selenium,换成puppeter和playwright这样的自动化工具,但是结局都是一样的。
Selenium避免被检测方法
浏览器在启动时就会带上指纹特征,如果使用自动化程序启动时已经被标记,那为什么不直接用手工启动,然后用Selenium连接已经启动的浏览器呢?
那手工打开浏览器要做什么操作才能让Selenium连接呢?Selenium又是怎样连接手工打开的浏览器呢?
我在 Selenium连接已存在的浏览器1 这篇文章详细记录了需要的步骤,概括起来:
1、打开浏览器时添加以下参数:
--remote-debugging-port=9222 --user-data-dir="C:\\selenium\\ChromeProfile"
2、selenium中设置浏览器选项,通过上面设置的 9222端口连接浏览器:
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
driver = webdriver.Chrome(options=chrome_options)
通过 subprocess 运行浏览器
当然,做自动化程序一般不会手工点击图标来打开浏览器,我们可以用命令行启动浏览器,然后再用 selenium 连接。
import subprocess
cmd = '"C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe" ' \\
'--remote-debugging-port=9222 ' \\
'--user-data-dir="C:\\selenium\\ChromeProfile"'
subprocess.run(cmd)
我是九柄,感谢耐心阅读,下次见。
作者:九柄
链接:
https://juejin.cn/post/7083138870962814989
猜你喜欢
- 2025-05-11 四个小案例,学懂Python爬虫的requests库
- 2025-05-11 干货!最简单的检测爬虫突破封禁的方法
- 2025-05-11 SNAT/DNAT实现外网访问内网
- 2025-05-11 PHP类Web网站适应移动设备十贴士
- 2025-05-11 DrissionPage:让你的 Python 爬虫和自动化脚本飞起来!
- 2025-05-11 vue 如何实现跨域
- 2025-05-11 这个前端黑科技可能是YouTube比B站、优酷、爱奇艺加载快的原因
- 2025-05-11 实战Python爬虫(二):requests请求库
- 2025-05-11 还在用 postman?手把手教你用 curl 提高工作效率
- 2025-05-11 搭建网站SEO优化技巧:从小白到流量高手的蜕变之路
- 最近发表
- 标签列表
-
- cmd/c (64)
- c++中::是什么意思 (83)
- 标签用于 (65)
- 主键只能有一个吗 (66)
- c#console.writeline不显示 (75)
- pythoncase语句 (81)
- es6includes (73)
- sqlset (64)
- windowsscripthost (67)
- apt-getinstall-y (86)
- node_modules怎么生成 (76)
- chromepost (65)
- c++int转char (75)
- localstorage.removeitem (74)
- vector线程安全吗 (70)
- & (66)
- java (73)
- org.redisson (64)
- js数组插入 (83)
- gormwherein (64)
- linux删除一个文件夹 (65)
- mac安装java (72)
- eacces (67)
- 查看mysql是否启动 (70)
- 无效的列索引 (74)