Nao, ne....Meu desespero comecou quando vi que usam frameset na pagina. 1994 ligou e pediu o livrinho de HTML de volta. Tambem deu a entender que o negocio foi feito com Portlets. E o botao "consultar" e um link que aciona uma funcao javascript que, quando eu tento acessar o fonte pelo Chrome DevTools (clicando direto em cima), da erro 404.Tive que passar um tempo entendendo a mecanica da coisa e capturando algumas variaveis, alem de verificar se elas nao mudam a cada acesso a pagina. A funcao que realiza a consulta e essa:function acObterListaPrestadorServico () { document.forms[getNetuiTagName("form",this)][getNetuiTagName("actionJSP",this)].value = 'acObterListaPrestadorServico'; document.forms[getNetuiTagName("form",this)].submit();}Os retornos de getNetuiTagName sao, respectivamente, "portlet_27_1form" e "rtlet_27_1{pageFlow.actionJSP}". Nao da certo definir os parametros na querystring e o Scrapy puro (normalmente minha primeira escolha p/ web scraping) nao tem acesso ao objeto javascript p/ poder definir as propriedades da mesma forma que a funcao acObterListaPrestadorServico. Hora de mudar de abordagem e correr pro CasperJS, apesar de nunca ter feito mais que um tutorial simples.O form data necessario e esse (em negrito estao os dados que me interessam -- especialidade e cidade): portlet_27_1{pageFlow.actionJSP}: acObterListaPrestadorServico portlet_27_1{pageFlow.consultaPrestadorServicoFormBean.prestadorselecionado}: portlet_27_1{pageFlow.consultaPrestadorServicoFormBean.nmFiltro}: portlet_27_1wlw-select_key: {pageFlow.consultaPrestadorServicoFormBean.especialidadeVOFiltro.cd_Especialidade}OldValue: true portlet_27_1wlw-select_key: {pageFlow.consultaPrestadorServicoFormBean.especialidadeVOFiltro.cd_Especialidade}: -1 portlet_27_1wlw-select_key: {pageFlow.consultaPrestadorServicoFormBean.especialidadeVOFiltro.cd_cidade}OldValue: true portlet_27_1wlw-select_key: {pageFlow.consultaPrestadorServicoFormBean.especialidadeVOFiltro.cd_cidade}: 4106902 portlet_27_1wlw-select_key: {pageFlow.consultaPrestadorServicoFormBean.bairroSelecionado}OldValue: true portlet_27_1wlw-select_key: {pageFlow.consultaPrestadorServicoFormBean.bairroSelecionado}: 0 Apos instalar o CasperJS, fui trabalhando aos poucos no script p/, pelo menos, conseguir acessar o site, preencher os campos e clicar no botao (que na verdade e um link). Honestamente, achei muito confuso devido a impossibilidade de trabalhar com o DOM diretamente porque as funcoes nao retornam nodelists (nao consegui pegar os dados que eu queria). Alem disso, quando resolvi dar uma olhada na paginacao me deparei com uma tripa dessa:https://www.itaipu.gov.br/PAMInternetWeb/redecredenciada.portal?_nfpb=true&_windowLabel=portlet_27_1&_pageLabel=pam_redecredenciada_intranet&wsrp-urlType=blockingAction&wsrp-url=&wsrp-requiresRewrite=&wsrp-navigationalState=&wsrp-interactionState=_action%3D%2Fitaipu%2Fda%2Fpamho%2FprestadorServico%2FconsultaPrestador%2Fconsultar%2FacPaginacaoListaPrestadorServico%2526portlet_27_1wlw-select_key%253A%257BpageFlow.consultaPrestadorServicoFormBean.bairroSelecionado%257DOldValue%3Dtrue%2526portlet_27_1wlw-select_key%253A%257BpageFlow.consultaPrestadorServicoFormBean.especialidadeVOFiltro.cd_Especialidade%257D%3D-42%2526portlet_27_1wlw-select_key%253A%257BpageFlow.consultaPrestadorServicoFormBean.cidadeVOFiltro.cd_cidade%257D%3D4106902%2526portlet_27_1wlw-select_key%253A%257BpageFlow.consultaPrestadorServicoFormBean.especialidadeVOFiltro.cd_Especialidade%257DOldValue%3Dtrue%2526portlet_27_1wlw-select_key%253A%257BpageFlow.consultaPrestadorServicoFormBean.bairroSelecionado%257D%3D0%2526portlet_27_1wlw-select_key%253A%257BpageFlow.consultaPrestadorServicoFormBean.cidadeVOFiltro.cd_cidade%257DOldValue%3Dtrue%2526portlet_27_1_autoscope__currPage%3DgridListaPrestadorServico%257E0&wsrp-mode=&wsrp-windowState=Eu tenho que falar isso: puta merda, gente! P/ que URL limpa... Ah, sim... Eu tive um primeiro palpite "de sorte" (na realidade, por observar algo fora do padrao) p/ saber como se muda a pagina no meio dessa zona. Estao vendo o pedaco final, E0&wsrp-mode=&wsrp-windowState=? E "so" trocar aquele zero antes do &...Por enquanto larguei mao de fazer o crawler.