Newsgroup: it.lavoro.professioni.webmaster
Titolo: googlebot e accesso ai file css/js

Mi sono arrivate un tot di email di questo tipo:
 
"Googlebot non riesce ad accedere ai file CSS e JS su 
http://www.xxx.it/
 
 
Di recente, i sistemi di Google hanno rilevato un problema con la tua
home page che influisce negativamente sulla visualizzazione e
sull'indicizzazione dei tuoi contenuti da parte dei nostri algoritmi.
Nello specifico, Googlebot non può accedere ai tuoi file JavaScript e/o
CSS a causa delle limitazioni del tuo file robots.txt. Questi file
aiutano Google a comprendere se il tuo sito web funziona correttamente,
pertanto bloccare l'accesso a questi asset può causare ranking inferiori
a quelli ottimali.CUT"
 
Ma se prima andava bene perché adesso vogliono poter
accedere a tutti i tipi di file? Sono le pagine che
hanno importanza e quindi l'accesso ai contenuti in esse
presenti, non i file di "contorno". Voi cosa ne pensate?
 
 
 
 

 presenti, non i file di "contorno". Voi cosa ne pensate?
 
vogliono assicurarsi che tu non faccia pratiche scorrette, come includere
parole chiave, backlink, immagini, etc... in elementi che poi vengono
nascosti all'utente reale.
 


 
Anche a me, su un sito in WordPress.
Oltretutto non c'è alcuna limitazione specifica nel file robots quindi mi sa 
che Google sta dando i numeri.
Verificherò comunque in settimana, se trovo qualcosa di specifico lo 
condividerò qui.
 
Gabriele
 

 ha scritto:

Ma un file .js può benissimo anche essere minificato ed offuscato,
addirittura può anche essere transcodificato per renderlo
inintelligibile. Per cui anche se accedono ad esso non se
ne fanno nulla. Non mi convince.
 
 

 nulla. Non mi convince.
 
Non gli interessa leggerlo. Loro lo appicano alla pagina che lo richiama, 
poi prendono il risultato finale, lo elaborano in vari modi e vedono cosa 
rimane. 
 
Se un link è #fefefe su sfondo #ffffff te lo cassano e ti abbassano il 
punteggio. 
 
Se un js inietta un link o mette un onClick su <body>, quel link vale 
come se ci fosse stato fin dall'inizio, quindi se punta a un sito con 
rating basso, il tuo sito perde punti.
 
Se si accorgono (e se ne accorgono) che servi al robot un css o un js 
diverso da quello delle pagine normali, perdi punti.
 
Eccetera eccetera.
 
Bye.

 ne fanno nulla. Non mi convince.
 
non è che lo devono dare a leggere ad un umano, il bot lo applica sulla
pagina per analizzare poi il documento risultante. che sia minificato non
glie ne può fregare di meno. se si accorgono che su quella pagina stai
facendo delle furbate la penalizzano.
 
https://developers.google.com/webmasters/mobile-sites/mobile-seo/common-mistakes/blocked-resources?hl=it
 
 
 

 ha scritto:

Ok, e tutto questo discorso mi sembra giusto.
Però se uno vuole rendere inaccessibile (per motivi suoi) questi
file, è costretto allora a non farlo? Non lo so, mi sa tanto
da paranoica e preventiva paraculaggine, forse c'entra
il discorso smartphone e loro non vogliono che spuntino
casini sui terminali degli utenti, però è il webmaster
che deve decidere cosa è visibile e cosa non deve esserlo.
 
 
 
 

 ha scritto:

Ok, ma come detto nell'altra risposta, se un webmaster non vuole
che gli utenti accedano ad una specifica dir contenente quelle risorse
è costretto a non poterlo fare?
 
 

 è costretto a non poterlo fare?
 
scusa: google vuole accedere agli asset che trova linkati sulla pagina
che sta analizzando, ti torna? ora potrei sapere per quale ragione il
webmaster dovrebbe linkare degli asset in una pagina per poi renderli
inaccessibili alla pagina stessa? 

che deve decidere cosa è visibile e cosa non deve esserlo.
 
Infatti sei tu che decidi. Tant'e' che loro quei file non li leggono... e
anzi, rispettano pure le direttive del file robots (potrebbero fregarsene
alla grande).
 
Quello che dice Google è che, invece, il punteggio lo decidono loro.
 
Potrebbero anche dirti "Va tutto bene. Punteggio, meno diecimila. Se vuoi
sapere perché clicca <a href="sono-cazzi-nostri.html">qui</a>".
 
Leonardo
-- 
 
Some say the world will end in fire; / some say in ice.
From what I’ve tasted of desire, / I hold with those who favor fire.
But if it had to perish twice, / I think I know enough of hate
To say that for destruction ice / Is also great, / And would suffice.

 regolari?
 
veramente sta dicendo una cosa diversa. in pratica vorrebbe rendere 
inaccessibili css e js *anche* agli utenti regolari e non vorrebbe che
google lo penalizzasse per questo.
non ho capito a che serve linkare in una pagina asset irraggiungibili ma
sicuramente ce lo spiegherà...

 sapere perché clicca <a href="sono-cazzi-nostri.html">qui</a>".
 
E dopo cliccato scopri che Google ha reso quella risorsa inaccessibile.
 
-- 
Andrea
 

Andrea D'Amore wrote on 04/08/15 12:21:

Troppo BOFH  :D
 
 
Gabriele

google lo penalizzasse per questo.
 
Sì, rileggendo pare che dica così. Leggendo di fretta avevo dato una
interpretazione mia, che trovavo più plausibile.
 
Un buon sistema per non dare l'accesso ai CSS a nessuno, comunque, è
quello di non metterceli proprio, o almeno non indicarne il link nel
codice HTML. Se uno vuole esagerare può mettere un errore 404 quando
si prova ad accedervi, via .htaccess, in modo da impedire anche ogni
tentativo di recuperarli a forza bruta.



 
Aggiornamento: in parecchi si stanno lamentando di questo avviso.
Ti chiedo: per caso usi WordFence come firewall?
 
Pare che Google si lamenti se in installazioni WordPress non ha accesso alla 
directory wp-admin.
 
Da quel che ho letto è Google che ha scazzato qualche sua impostazione dei bot, 
altrimenti non si spiega che siti fino a ieri senza alcun problema abbiano 
ricevuto di colpo questo avviso.
 
Gabriele
 

 ricevuto di colpo questo avviso.
 
avete provato a vedere cosa dice la funzione "visualizza come google" dei
webmaster tools?
 

rootkit wrote on 05/08/15 07:18:

Ciao,
 
ho provato ora e sinceramente qualcosa non quadra.
Il robots del sito è questo:
============================
# Added by SEO Ultimate's Link Mask Generator module
User-agent: *
Disallow: /go/
# End Link Mask Generator output
 
User-agent: *
Disallow: /wp-admin/
============================
 
Non vedo niente di sbagliato per quanto riguarda Google&C. Non c'è alcun motivo 
per cui debba avere accesso a wp-admin.
 
Facendo la scansione e rendering, dice che non accede a 3 risorse, di cui una 
di Google stesso cioè il font:
http://fonts.gstatic.com/s/notoserif/v4/eCpfeMZI7q4jLksXVRWPQy3USBnSvpkopQaUR-2r7iU.ttf
 
Poi a 2 immagini png, una dentro "wp-content" ed una dentro "wp-includes".
 
Nel forum italiano di WP dicono che ormai non bisogna vietare l'accesso alle 
due directory di cui sopra. Dovrei controllare se sono bloccate via htaccess, 
ma sta cosa sinceramente un po' rompe.
 
Inoltre il loro "This is how a visitor to your website would have seen the 
page" è sballato di molto. Ad es. se usi delle "tab" che mostrano nella stessa 
schermata diverse sezioni della pagina, lui non le vede.
 
Ho controllato poi altre pagine ed in effetti vuole l'accesso a "wp-content"!
Solo che così genera un casino di 404 andando a cercare link di script che ad 
es. si occupano della compressione di immagini o generazione delle miniature, 
nonché di log di cui a Google non dovrebbe interessare niente!
 
Gabriele


 
NB: ora ho escluso dall'indice gli URL che corrispondono a cose di cui Google 
proprio non si deve occupare, tipo i log di WordFence per la visualizzazione 
del traffico in tempo reale.
 
ciao
 
Gabriele

 tentativo di recuperarli a forza bruta.
 
Oh, io non me ne intendo di accatiemmelle, sono un giovane
che lavora vě da poo, ma questo non porterebbe a, diciamo,
limitarne l'efficienza?
 
Bye, G. 
 
 


diciamo che il tuo è un eufemismo, ecco.

 Da quel che ho letto è Google che ha scazzato qualche sua impostazione dei bot, 
 
E' buona norma rendere non accessibile la cartella wp-admin per questioni di sicurezza.
Si può filtrare via htaccess l'accesso a wp-login, ma la cartella di amministrazione deve essere resa non accessibile, meglio se protetta con password.
 
Ci sono alcuni plugins (tipo WooCommerce) però che espongono nel codice la cartella wp-admin... quindi è possibile che in questo caso Google tenti di accedervi e scopra che l'accesso è inibito, senza che della cosa ci sia menzione nel robots.txt

 ha scritto:

Quello che vorrei è proprio bloccare il directory listing
delle dir che contengono i file CSS e JS. Ovviamente le
singole risorse devono essere accessibili direttamente da Google.
 
 


vorrai mica venirmi a dire che google ti impedisce di farlo?
stai scherzando?

 accessibili direttamente da Google.
 
Questo lo fai a livello di configurazione del webserver (o con un 
file .htaccess se sei su Apache), non con robots.txt
 
Bye.