admin 管理员组文章数量: 1184232
用Python + Playwright调试时,发现不用无头浏览器(即headless=False)代码能够运行成功,但是一用无头浏览器时(即headless=True)就会报错,提示找不到元素。
排错方法
插入以下代码,在找不到元素的那个地方前面截一张图,看看那个找不到的元素在截图中是存在还是不存在
page.screenshot(path="screenshot.png")
如果是白屏的话,大概率是被反爬了
原因一:页面有反爬手段
①user-agent反爬
其中一种常见的反爬虫手段是通过检测当前user-agent是否为真实浏览器来区分当前请求是否来自真实用户。爬虫使用的常见user-agent类型为:
user-agent为空。没有设置user-agent。
user-agent中包含特殊字符。如:python,java,bot,spider,headless等。
而使用Playwright的Chrome无头浏览器访问网站时,user-agent中会自动添加Headless字段。当网站检测到user-agent包含Headless时判定为非真实请求时,可能会返回空页面,所以导致无头
版权声明:本文标题:Python + Playwright 无头浏览器Chrome找不到元素 内容由网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:http://roclinux.cn/b/1765057431a3343718.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论