Newsgroup: it.lavoro.informatica
Titolo: db da pagine web

Salve a tutti, spero qualcuno possa aiutarmi.
Sto disperatamente cercando di creare un data base excel da questo
sito:
http://www.brcdirectory.com/
cercando solo le aziende italiane ca 1300,
http://www.brcdirectory.com/Siteresults.aspx?CountryId=837&
Ho provato a sviluppare una macro con excel che va a scandagliare
tutte le pagine con questo formato:
http://www.brcdirectory.com/Site.aspx?BrcSiteCode=6509539
 (<<dati da
cui creare il db )
ovvero
http://www.brcdirectory.com/Site.aspx?BrcSiteCode=
 X (con x che va da
1000000 a 99999999 )
La macro funziona benissimo
ma considerando che si tratta di analizzare 9 milioni di indirizzi ,
anche se in gran parte vuoti, ho
calcolato circa 90 giorni e in effetti è lenitssimo!!
Potete aiutarmi?
Ad oggi ho tentato altre due strade:
1) scaricare prima le pagine italiane da
http://www.brcdirectory.com/Siteresults.aspx?CountryId=837&
ma non funzione perche per passare da una pag all'altra non c'è un
link ma un'ustruzione java e lo spider che ho trovato non funziona.
2) trovare un programma già sviluppato che facciao questo lavoraccio
in tempi ragionevoli.
Avete qualche suggerimento?
Grazie mille

Avete qualche suggerimento?
...pagare qualcuno perche' si memorizzi sul disco 1300 pagine web?
:-)
ciao
fm 

 Avete qualche suggerimento?
1 - Hai letto "© Copyright BRC 2001 - 2009. All Rights Reserved."?
2- Contatta BRC (
http://www.brcdirectory.com/contacts.aspx
), uno dei
due contatti per il database che ti interessa ha il nome Italiano, ci
puoi anche provare a parlare con la lingua del sì.
--
ale
http://ale.riolo.co.uk


non � java � javascript puoi creare una pagina (copiando quella 
originale) dovi chiami iterativamente questa funzione   e ne leggi il 
risultato
__doPostBack('ctl00$ContentPlaceHolder1$gv_Results','Page$2')

 Avete qualche suggerimento?
Dividi l'intervallo dei numeri da analizare in 90 segmenti.
Poi lanci contemporaneamente 90 volte il tuo script con i diversi
segmenti. Questo artigianale multitread dovrebbe abbassarti il tempo
se non a 24 ore comunque ad un tempo accettabile. Sempre che il sito
non abbia qualche meccanismo di protezione.

non abbia qualche meccanismo di protezione.
IMHO....ogni pagina .aspx contiene 5 nominativi ( e 5 codici brc che 
permettono di richiamare ciascuno una pagina web con le info di 
dettaglio)...
con un web crawler riesci sicuramente a far leggere la prima pagina ( credo 
anche le successive in automatico) e a memorizzare i codici brc.
Quando hai i 1300 codici, con la macro di excel di cui sopra, oppure  con il 
metodo suggerito da roberto c, o con il crawler stesso ...leggi le info che 
ti servono dalla pagina di dettaglio e le memorizzi in un file.
ciao
fm 

 
non entro nel merito tecnico ma.. posso/iamo sapere a cosa ti servono i 
dati?
non è che stai pensando di ricavare gli indirizzi email per creare un db 
di address da spammare?
S. che a pensar male...

 risultato [...]
Non è sufficiente.
Per le query, il sito usa un meccanismo di controllo della sessione
integrato in .Net, che rinnova i token (campi hidden del modulo) ad
ogni richiesta. Vengono servite solo quelle richieste presenti nella
pagina in cui era presente il token restituito.
--
enos76

 [...] cercando solo le aziende italiane [...]
      1 3
    148 A
     85 B
    134 C
      1 c
     58 C
     41 D
     41 E
     92 F
     88 G
      4 H
     72 I
      1 J
      3 K
     64 L
     24 M
      1 m
     63 M
     35 N
     48 O
     36 P
      1
     51 P
      3 Q
     38 R
    130 S
     37 T
      1 U
     30 V
      2 W
      9 Z
0wned
--
enos76

 link ma un'ustruzione java e lo spider che ho trovato non funziona.
Usa un software di simulazione di tastiera e mouse per andare avanti
nella lista.
Scrivi un programmino VB o simile che ingloba un controllo browser
HTML, nel quale dai i comandi che ti pare.
Usa più di un computer o macchina virtuale per eseguire
contemporaneamente le macro Excel su differenti range di indirizzi.

 1 - Hai letto "© Copyright BRC 2001 - 2009. All Rights Reserved."?
Mah, e se uno si legge le x pagine, si copia a mano i dati, li
ridigita in Excel per farci qualche sua analisi, viola il copyright?
Nota che la cosa è possibilissima su un piccolo gruppo di aziende, per
esempio Egitto mi dà solo 68 ditte.
Se metti i dati in accesso pubblico e gratuito non puoi impedire il
loro utilizzo.


ASSOLUTAMENTE NON SPAM SOLO ANALISI DEI DATI.

Il Mon, 31 May 2010 00:19:06 -0700 (PDT), ispas ha scritto:
[cut]
Solo a me i tuoi post appaiono sempre doppi ?
PaF

 Solo a me i tuoi post appaiono sempre doppi ?
credo a tutti quelli che usano un newsreader.
Gli ï¿œ giï¿œ stato detto nvolte. Vedo 2 soluzioni:
1- ispas risolve o trovando il bug nella sua configurazione (GG non fa lo 
stesso con tutti gli altri suoi utenti), o passando ad utilizzare un 
newsreader (se ha disponibile solo la porta 80 puï¿œ utilizzare un 
newsserver che accetta connessioni sulla 80, come 
news.aioe.org
);
2- lo si filtra.
-- 
DES

 Avete qualche suggerimento?
Hai provato con Imacros, magari tramite VBS? I nostri "automi" 
funzionano cos�.
-- 
Traveller, not tourist!
www.inter-rail.it

 2- lo si filtra.
Per l'ultima volta, rispondo che il problema non è la configurazione
del mio pc, ma di rete.
E non vado a chiedere al sistemista di cambiare la rete per non far
uscire i messaggi doppi sul ng, nè installo un newsreader sul pc di
lavoro. Chiaro? :-)
Se vuoi, filtra tutto, ti capirò. Oppure, se vuoi essere "smart",
trova un newsreader adatto ed impostati un filtro che elimina i
doppioni.
Saluti

 uscire i messaggi doppi 
1- il problema non ï¿œ nostro: ti sei mai chiesto cosa possano pensare i 
vostri clienti che si vedano recapitare doppie tutte le mail?
2- se io fossi il tuo sistemista e scoprissi che non mi hai segnalato 
un'anomalia che conoscevi da tanto tempo, un pochino mi incazzerei.
3- i messaggi doppi ti escono con due Message-ID diversi, quindi 
formalmente (per le RFC) si tratta di due post distinti.
4- per quanto mi riguarda, puoi non-fare quello che ti pare ;-)
PS: non ï¿œ che ti hanno messo un keylogger che funziona male ?  :-)
-- 
DES

 lavoro. Chiaro? :-)
Oh bella, perche'?
A parte che IMHO ce ne hai installato gi� almeno uno.
-- 
Ciao!
Luca

 4- per quanto mi riguarda, puoi non-fare quello che ti pare ;-)
Ecco, bravo, hai colto il nocciolo :-))

 A parte che IMHO ce ne hai installato già almeno uno.
Potrebbe essere Outlook, ma non intendo perdere neppure un secondo per
verificare se è possibile abilitarlo.
Ma apprezzo tutto il vostro interessamento. Davvero :-))

 Questo consiglio è più sensato.
Quale altro consiglio potrebbe essere più sensato?
--
ale
http://ale.riolo.co.uk


Sinceramente è la prima volta che sento di problemi nel postare su google 
groups causati da un proxy.
Che GG "scazzi" di suo capita, ma mi sfugge quale possa essere la causa dei 
doppioni per via della rete in cui lavori.
Può anche essere una domanda tecnicamente interessante da sviluppare, no?
ciao,
Gabriele

 - Mostra testo citato -
cos'è Imacros?
GB


non ho capito cosa vuoi dire
. Quando copi la pagina (come ho suggerito) copi anche i campi nascosti 
(ed in particolare il __VIEWSTATE) puoi quindi effettuare le richieste 
che ti servono

 che ti servono
  Puoi effettuare massimo 10 richieste per token, perché il campo 
__VIEWSTATE ed il relativo __EVENTALIDATION sono validi solo per le 
richieste contenute nella pagina da cui sono stati presi.
  Fai la query. Ti viene restituita la prima pagina con i risultati, che 
include i link verso le pagine dalla 2 alla 11.
  Se da pagina 1 cerchi di raggiungere direttamente pagina 12 (il cui 
link non ti è ancora stato fornito), "forgiando" la richiesta con i campi 
nascosti che ti sono arrivati dentro pagina 1, il sito genera una 
eccezione (che, non catturata, viene ingenuamente mostrata all'utente 
completa di stack, percorsi dei file e versioni dei server). Devi quindi 
aprire pagina 11, poi con il relativo token potrai vedere pagina 12.
  Per verificarlo basta che intercetti il POST e cambi il campo 
"__EVENTARGUMENT=Page%24<NUMERO_PAGINA>". Il limite proviene da una 
protezione attiva di default in .NET (Page.EnableEventValidation).
  Se per le 269 pagine che ti servono (1342 risultati / 5 risultati per 
pagina) non vuoi preparare a mano 27 pagine (269 pagine / 10 pagine per 
token), implementi un sistema retroattivo che, almeno ogni dieci 
richieste, salvi i campi nascosti e li sostituisca automaticamente nella 
richiesta successiva.
  Io ho scritto uno script Bash che include: wget (che bontà sua gestisce 
le richieste POST), i soliti tool unix da riga di comando (grep, sed, 
sort, uniq e compagnia cantante) ed il misconosciuto ma utilissimo 
urlcoder, uno script PHP che codifica gli URL, scaricato per l'occasione.
-- 
Enos  (unemployed I.T. Jack Of All Trades)
//          Senza Dio, l'anima. Senza anima, le virtù.
//         Senza virtù, la legge. Con la legge, il caos.

 cos'è Imacros?
Wikipedia --> Quotare --> Overquoting
Google --> imacros --> "mi sento fortunato"
-- 
Enos

 
httptrak poi te lo elabori con qualunque idea