我想要分析一些网站使用的机器人探测的算法。 我用以下铬的选择
chrome_options = Options()
chrome_options.add_argument("start-maximized")
chrome_options.add_experimental_option("detach", True)
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--disable-blink-features")
chrome_options.add_argument('--start-maximized')
chrome_options.add_argument('window-size=1920,1080')
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(executable_path='chromedriver.exe', chrome_options=chrome_options)
driver.get(url)
我也是修补 chromedriver.exe 删除 cdc_ 模式。
当浏览器窗口开始进入网站,网站检测到它作为机器人,并防止装载的内容。 但是,当浏览器中的分离模式和我手按"刷新"键,网站内容是装成功。 模拟按"f5"也不工作,网站仍然块的内容载入。