Analisar página em desanexar modo ainda sendo detectados como um bot

Question 1

Eu estou tentando analisar alguns sites que usam bot algoritmos de detecção. Eu uso o seguinte Chrome Opções

chrome_options = Options()
chrome_options.add_argument("start-maximized")
chrome_options.add_experimental_option("detach", True)
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--disable-blink-features")
chrome_options.add_argument('--start-maximized')
chrome_options.add_argument('window-size=1920,1080')
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(executable_path='chromedriver.exe', chrome_options=chrome_options)
driver.get(url)

Eu também estava patched chromedriver.exe remover cdc_ padrão.

Quando a janela do navegador é iniciado e vai para o site, detecta-o como bot, e impedir o carregamento de conteúdo. Mas quando o navegador vai em desanexar modo e eu manualmente, pressione botão "Atualizar", o conteúdo do site é carregado com êxito. Simulando pressione "f5" também não funciona, o site continua a bloquear o conteúdo de carga.

Question 2

detach (Chrome recursos específicos)

Name:           detach 
Type:           boolean 
Default:        false 
Description:    If false, Chrome will be quit when ChromeDriver is killed, 
                regardless of whether the session is quit. If true, Chrome will only 
                be quit if the session is quit (or closed). Note, if true, and the 
                session is not quit, ChromeDriver cannot clean up the temporary user 
                data directory that the running Chrome instance is using.

Conforme a descrição, o navegador vai em desanexar modo, mas a sessão é não sair, ChromeDriver não é possível limpar os temporários diretório de dados do usuário que o google-chrome instância.

Assim, ChromeDriver iniciada Navegador Chrome ainda é detectado.

DebanjanB · Answer 1 · 2021-11-24T10:55:59

detach (Chrome recursos específicos)

Name:           detach 
Type:           boolean 
Default:        false 
Description:    If false, Chrome will be quit when ChromeDriver is killed, 
                regardless of whether the session is quit. If true, Chrome will only 
                be quit if the session is quit (or closed). Note, if true, and the 
                session is not quit, ChromeDriver cannot clean up the temporary user 
                data directory that the running Chrome instance is using.

Conforme a descrição, o navegador vai em desanexar modo, mas a sessão é não sair, ChromeDriver não é possível limpar os temporários diretório de dados do usuário que o google-chrome instância.

Assim, ChromeDriver iniciada Navegador Chrome ainda é detectado.

Analisar página em desanexar modo ainda sendo detectados como um bot

Pergunta

Melhor resposta

detach (Chrome recursos específicos)

Em outros idiomas

Esta página está em outros idiomas

Popular nesta categoria

Perguntas populares nesta categoria