Newsgroup: it.comp.sicurezza.varie
Titolo: Strano (?) spider (o strano essere umano?)

Mando in questo Newsgroup, perché mi pare che sia più aggiornato 
rispetto ad altri.
Mi auguro che troviate questa collocazione pertinente rispetto a quanto 
segue.
 
Controllando i log degli accessi al mio spazio web, frequentato in modo 
assai sporadico, ho fatto le seguenti osservazione e ipotesi (in più ho 
un sospetto...). Vi CHIEDO un'opinione in merito.
 
------
- OSSERVAZIONE -
Il 22 Gennaio si è presentato un "qualcosa di alieno"
(
provenienza: 
188-138-220-213.starnet.md
 che corrisponde a 
http://www.ip-tracker.org/locator/ip-lookup.php?ip=213.220.138.188
 
referer (sempre lo stesso in tutti e 5 gli item del log): 
http://www.akama.com/company/Business_Growth_US_a7afb3345749.html
 
stringa user-agent: "Mozilla/5.0 (Windows NT 6.1; WOW64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.76 Safari/537.36"
)
e ha scaricato la pagina "indice" (A), senza download delle immagini 
agganciate mediante i tag "<img>", seguendo l'unico link che punta alla 
pagina seguente (B) e, in questa, scaricando (in parte minima) solo due 
file MP4 in essa linkati, anche qui senza scaricare le immagini (anzi 
l'unica immagine) in "<img>", e senza seguire gli (unici) altri due link 
a file PDF; dopodiché è tornato alla pagina "indice" "A" seguendo il 
link che si trova in calce a "B".
 
- IPOTESI -
L'ipotesi è che si tratti di un bot [*] programmato per passare al web 
server dati faked, alla ricerca di filmati. Probabile che sia stato 
usato un sistema di falsificazione random (tipo il network di 
anonimizzazione "Crowds") sia dei dati di provenienza, sia del referer 
(mi pare strano un referer spam, allo scopo di fare pubblicità alla 
pagina di riferimento che è una sorta di "Pagine Gialle").
Ha seguito i tag "<a href>" che puntavano a pagine HTML, nonché SOLO 
quelli che puntavano a file in formato video, nel caso di specie i due 
mp4 IGNORANDO quelli che puntavano a PDF (che esauriscono tutti gli 
altri link).
In CONCLUSIONE, ci sono in giro degli spider che fanno incetta SOLO di 
video e non sono interessati, per esempio, alle immagini agganciate via 
"<img>".
- SOSPETTO -
Il mio spazio web non è pubblicizzato, lo raggiunge solo chi, per un 
motivo o per l'altro, vuole raggiungerlo (e di certo non con quel 
referer, semmail via Google). Per cui quegli accessi con quel referer 
sempre identico sono "insensati". L'unico sospetto che mi viene è che, 
siccome per provare il rendering, ho usato 
http://netrenderer.com/
 e 
http://browsershots.org/
 questi accessi "anomali" siano una conseguenza 
di ciò
 
La DOMANDA è: perché ?
Perché queste modalità e il referer faked e SEMPRE IDENTICO?
Vi risulta che nel Web girino degli spider che svolgano attività secondo 
i criteri specifici sopra ipotizzati ?
(o che attività del genere vengano svolte da esseri umani mediante 
browser testuali e un qualche anonimizzatore)
Che cosa pensate del referer sempre identico? Un randomizer? Ne conoscete?
 
[*]
OPPURE, visti i tempi "lenti" di percorrenza...
(
10:19:27 - / - referer: 
www.akama.com/company/Business_Growth_US_a7afb3345749.html
 
10:19:33 - blog.html - referer: 
www.akama.com/company/Business_Growth_US_a7afb3345749.html
 
10:19:53 - filmato mp4 - referer: 
www.akama.com/company/Business_Growth_US_a7afb3345749.html
 
10:19:57 - filmato mp4 - referer: 
www.akama.com/company/Business_Growth_US_a7afb3345749.html
 
10:20:16 - index.html - referer: 
www.akama.com/company/Business_Growth_US_a7afb3345749.html
 
)
... qualcuno che ha usato un browser testuale, con un qualche 
anonimizzatore, all'esclusiva ricerca di file mp4
 
------

 213.220.138.188
 
 
Questa e-mail è priva di virus e malware perché è attiva la protezione avast!
Antivirus.
http://www.avast.com
        Versione speciale per Commodore 64 a 7 bit e 3/4 di
pollice.
 
Ma quelli di avast sono cosí alla frutta che devono fare 'sto spam?
-- 
+---------------------------------------------------------------------------+
|    La paranza e' la danza di una stronza che, sull'isola di Ponza,        |
|    si tirava  la patonza.                                                 |
+-----#21--------------------Campagna contro le pubblicita` idiote.---------+

> 213.220.138.188
 
Sorry, partita per errore!!
 
Volevo chiedere, quanto tempo é passato tra il controolo che hai fatto per il
rendering e l'apparizione del log?
 
213 e rotti é tedesco, e netrender dice "from a high speed datacenter located
in Germany" ...
 
Comunque potrebbe benissimo essere una coincidenza.


 rendering e l'apparizione del log?
 
20 giorni.
 
Ho appena letto in questo Newsgroup il recente post intitolato "info 
sulle visite fasulle da 
semalt.com
". Conosco il fenomeno dei referer 
spam, o, piï¿œ in generale, dell'utilizzo abusivo di referrer compilati 
ad-hoc, tuttavia il referer utilizzato nei miei accessi non mi pare 
appartenere a questa categoria di tricks.
 
Il referer conduce ad 
akama.com
 e in particolare alla pagina informativa 
su questa societï¿œ 
http://www.businessgrowthus.com/
 , la quale si occupa 
di marketing strategico o giï¿œ di lï¿œ.
 
Certo l'ipotesi che 'sti signori abbiano voluto farsi pubblicitï¿œ con un 
referer spam ï¿œ possibile, ma l'interrogativo che mi ponevo era anche da 
dove avessere preso l'url del mio spazio web (sconosciuto ai piï¿œ e 
reperibile su Google piï¿œ o meno soltanto cercando il mio nome e 
cognome), sospettando cioï¿œ che vi fosse un nesso con Netrenderer. In 
altre occasioni ho usato anche Browsershots (
www.browsershots.org
), ma 
questo ï¿œ avvenuto piï¿œ di un mese e mezzo prima degli accessi in questione.
 
Dopo la visita del 22 Gennaio, non ho riscontrato altri accessi che 
definirei anomali.
 
Mah... tutto puï¿œ essere.
Sarï¿œ stato qualcuno che si ï¿œ divertito ad andare a spasso con un 
aggeggio che genera referer a vanvera, che usava TOR e che come Paese di 
provenienza aveva scelto la Moldavia, oppure che veniva proprio da lï¿œ. 
Bah...

 188.138.220.213
 
http://www.projecthoneypot.org/ip_188.138.220.213
 
 
 

 
http://www.projecthoneypot.org/ip_188.138.220.213
 
 
Ah ! Bingo !
Grazie.
 
Quindi � assodato che si tratta di un c.d. "rule breaker", cio� uno che 
viola le regole tecniche del crawling.
 
Una puntualizzazione che mi pare non priva di interesse � che secondo me 
NON si tratta di un bot, come invece si evincerebbe da qui:
http://www.projecthoneypot.org/board/read.php?f=4&i=586&t=586
 
 
Nel senso che, per essere un bot, mi sembra sia stato un po' lentino per 
farsi un giro di 2 minuscole pagine HTML e dell'inizio di 2 filmati MP4 
[*]: ha impiegato una cinquantina di secondi in tutto e 20 secondi per 
individuare il primo MP4 all'interno di un file cortissimo. Quindi 
sospetto che si tratti di qualcuno (in carne ed ossa) che � andato a 
spasso usando un browser appositamente programmato per scansionare 
pagine web in modalit� testo (non ha scaricato mai immagini) alla 
ricerca di file video di cui ha guardato l'inizio per vedere se erano di 
suo interesse (ha scaricato solo 2 Mega del primo e 1 Mega del secondo, 
ignorando due PDF).
 
Inoltre direi che il "referer spam" � in realt� solo un modo per dare in 
pasto al log un referer di facciata. Altrimenti, mi pare uno spam del 
piffero.
 
Non ha guardato il file robots.txt
 
In conclusione: lo scopo, nel caso in questione, non sarebbe stato di 
fare spam, ma di cercare file video.
 
Curioso...
 
[*]
Come osservavo nel mio primo post del thread:


 filmati MP4 [*]: ha impiegato una cinquantina di secondi in tutto e
 
Se è su "PHP" è un bot, fidati, la lentezza non significa nulla ;) mi
verrebbe da dire "ho visto cose che voi umani..." :)
 
 
 

 piattaforme e che usarlo NON ti costa nulla... :)
 
Interessante che ci siano moduli per varie piattaforme, vedrò di provare quello 
per Wordpress , sperando non confligga con Wordfence.
 
 
Gabriele
 

 verrebbe da dire "ho visto cose che voi umani..." :)
 
No � puro HTML condito con uno o due javascript.
Pi� che la lentezza, di cui dicevo, la cosa singolare � stato il 
comportamento coi filmati: ne ha guardato l'inizio e quindi ha "deciso" 
che non gli interessavano. Se fosse stato un bot direi che sarebbe un 
bell'esempio di intelligenza artificiale :-)
A pensarci bene, cio�, l'indizio che mi farebbe escludere che sia stato 
un bot non � tanto la relativa lentezza di crawling, quanto il fatto che 
abbia scaricato solo l'inizio dei filmati. La domanda sorge spontanea: a 
che pro?
Certo, pu� anche darsi che ci siano bot che fanno harvesting delle 
porzioni iniziali di filmati che pescano in giro e poi che ci sia 
qualcuno in carne e ossa che le guarda una a una e in seguito decide se 
scaricarsi tutto il file.
Ma, di nuovo: perch�?
Perch� tu, "coso", vieni a casa mia (tinello e cucina), rifiuti le 
immagini, schifi i PDF e invece gradisci gli MP4, ma anzi no: perch� ti 
limiti ad assaggiarli?
 
Si accettano scommesse, tipo: "� un coso che ha una tabella di hash dei 
primi x KB di un tot di filmati e va in giro per il Web a cercare se ci 
sono delle corrispondenze". Ma se cos� fosse, come mai avrebbe scaricato 
quantit� di KB diverse e neppure proporzionali al totale?
(2.105.344 a fronte di 83.903.521 KB
  1.220.608 a fronte di 17.045.266 KB)
 
Tutto sommato, � per questo che, all'inizio del thread, vi chiedevo se 
siete al corrente di attivit� del genere (cio� parsing volto a evitare i 
tag <img>, i PDF...) specificamente svolte nei riguardi di file video.
 
E' come se (dalla Moldavia) si fosse affacciato a casa mia un tizio 
mascherato, avesse guardato un po' in giro con fare furtivo e, annusando 
in qua e in l�, avesse piluccato due tramezzini (gli MP4) e (confidando 
nella vendita porta-a-porta) avesse appiccicato al muro cinque 
tristissimi depliant (i referer) riguardanti una societ� texana.
 
Uno dice: ma che perdi tempo a capire, lo sai che ce n'� di "gente" 
strana in giro, non li vedi tutti 'sti robottini, bad critters, spider, 
"rule breakers"[*] ?
 
Mah... sar�... � che io, a volte, mi soffermo su dettagli 
(apparentemente?) insignificanti.
 
E, visto che questo � un newsgroup dedicato alla sicurezza, penso che il 
punto sarebbe (ma senza farne un caso :-) ) : il piluccare i due 
tramezzini invece di --che so-- trangugiarli in un sol boccone � un 
dettaglio insignificante o � indizio di una qualche attivit� svolta pi� 
su vasta scala e, chiss� perch�, sotto traccia?
 
[*]
In Honeypot il concetto di "rule breaker" (nel quale ricadrebbe l'IP 
moldavo) � una categoria residuale (o preventiva) e dai confini 
sfrangiati: ricomprenderebbe chi viola le regole di comportamento ma non 
risulterebbe (o non risulterebbe ancora) associato a vere e proprie 
azioni di spamming, n� di harvesting, n� tantomeno a comportamenti 
eclatanti di hacking.

 provare quello per Wordpress , sperando non confligga con Wordfence.
 
beh... provare non ti costa nulla, se poi volessi ricambiare
installando anche delle honeypot pages o addirittura offrendo un MX (io
ne ho diversi :D) credo la cosa potrebbe essere utile :) considera che
il modulo per IIS l'ho scritto io tempo addietro :D