Newsgroup: it.lavoro.professioni.webmaster
Titolo: proteggere il file robots

se non volessi far sapere agli utenti di un sito cosa c'è scritto nel 
file robots come potrei fare?

 file robots come potrei fare?
non vorrei dire una cavolata però potresti usare al posto del file robots la 
direttiva NOINDEX, NOFOLLOW nei meta tag dei singoli file ...
-- 
Ettore 

 direttiva NOINDEX, NOFOLLOW nei meta tag dei singoli file ...
no.io
 vorrei impedire l'accesso agli utenti e ad aluni motori.google, 
yahoo e msnlive devono poter vedere il file


se ci ragioni un po' puoi capire perchè quello che vuoi fare non ha senso

 senso
In effetti non ha senso, ad ogni modo se proprio vuole farlo può seguire 
questa strada
1) agire sulle impostazioni del server mappando l'estensione .txt per essere 
parsata da IIS come pagina asp (non sono esperto di apache ma di sicuro si 
può fare la stessa cosa e farlo parsare da php)
2) verificare lo user-agent di chi richiede il file
3) se lo user-agent è google gli mandi il contenuto, altrimenti gli mandi un 
file vuoto
E' comunque una tecnica pericolosa perchè da una parte l'utente può 
cammuffarsi da google, viceversa chi lo sa che google per verificare che non 
ci sia un cloaking non si faccia una crawlata con uno user-agent di 
copertura (dubbio che ho sempre avuto, anche se mai confermato). 

> se ci ragioni un po' puoi capire perchè quello che vuoi fare non ha senso
ti assicuro che ci ho pensato bene.
e la questione è alquanto fastidiosa.
se ci ragioni, perchè io dovrei pubblicare un file contenente i percorsi 
delle cartelle del mio sito, facendo sapere a tutti quali sono le 
cartelle che voglio nascondere?che senso ha?lo devo fare perchè 
altrimenti google indicizza tutto e poi sono a disposizione di milioni 
che fanno ricerche.
allora io vorrei impedire l'accesso a tutti gli ip tranne quelli dei 
motori di ricerca, inquesto modo anche se google indicizza il robots 
nessuno ci può accedere.rimane il problema della description.per quella 
basta scrivere tra ## un testo introduttivo, magari anche contenente 
qualche key ;-)
il problema è che ci provo, ma nn ottengo nessun risultato.

 cartelle che voglio nascondere?
E perchè mai vuoi nascondere il *nome* delle directory?
Se vuoi limitare l'accesso alle risorse usa quanto previsto dal
protocollo HTTP.
Oppure metti tutte queste directory segrete in una sotto directory comune
/private-and-secret
e specifica nel robots che non deve essere indicizzata.
Saluti  Manlio Perillo



Ma perchè vuoi nascondere qualcosa che è pubblico?
Quello che credo volesse dirti anche "x", è che google fa il parse del sito
partendo dalla home (o da pagine che ha indicizzato) e seguendo i link.
Se tra queste pagine linkate ce ne sono alcune che non vuoi siano
indicizzate le devi mettere nel robot.txt.
Se le tue pagine segrete non sono raggiungibili tramite i link, non serve
neanche metterle nel robots.txt. Se invece sono raggiungibili tramite link,
non vedo perchè sbattersi a nascondere le url di quel file!
Carlo.

 ha scritto nel messaggio 
news:45028d9a$0$35070$4faf...@reader4.news.tin.it...

Ho la sensazione che non hai la più pallida idea di come funzioni il robots. 
Approfondisci l'argomento in merito prima di procedere oltre.
Ciò premesso, nascondere i percorsi non ha senso, anche solo per il fatto 
che gli stessi percorsi che vuoi nascondere sono altrettanto visibili 
spulciando il codice della pagina html.
Se il contenuto di queste cartelle non presente nelle pagine html, il robots 
è anche inutile. Se vuoi una garania in piu metti tutto dentro una cartella 
protetta in lettura e solo te puoi accedere con user e pass.
Cooper.
-- 
www.blueware.it
www.italchat.it
 

 Cooper.
Dopo questa risposta è chiaro che nn è più possibile discutere in questo 
ng.tutti maestri che condannano.che ne sai tu di quello che conosco 
io?come fai a capire da una banale domanda su un ng cosa ho studiato io.
a cosa è servito il tuo intervento?per quanto mi riguarda dalla tua 
risposta capisco solo che sei una persona superficiale,e non vado oltre 
perchè ho rispetto delle persone e del loro lavoro.

 non vedo perchè sbattersi a nascondere le url di quel file!
non chiedevo perchè si dovrebbe fare una cosa del genere.solo se è 
possibile.
ho motivi per pensare che un uso alternativo del file robots possa 
portare alcuni vantaggi.

 perchč ho rispetto delle persone e del loro lavoro.
vabbč, perň un pň una domanda del cacchio era....
magari potevi motivarla meglio anche dopo che gli altri ti hanno
spiegato perchč secondo loro non ha senso
comunque, tu dici
"ho motivi per pensare che un uso alternativo del file robots possa
portare alcuni vantaggi"
ce ne vuoi fare partecipi ?
ciao
SandroM


Sei partito ponendo al newsgroup, questa domanda:
<quoto>
se non volessi far sapere agli utenti di un sito cosa c'è scritto nel
file robots come potrei fare?
</quoto>
La risposta è semplice:   NON METTERE IL FILE ROBOTS nel tuo sito.
Ritieni che io sia superficiale? ti lascio libero di pensarlo. Tuttavia, 
ribadisco la mia posizione iniziale:
<quoto>
Ho la sensazione che non hai la più pallida idea di come funzioni il robots.
Approfondisci l'argomento in merito prima di procedere oltre.
</quoto>
Intanto, hai risposto a domande del tipo:
a) A che serve il file robots?
b) Quali utilità ha questo file?
c) A chi è rivolto?
d) Quali sono le finalità del file?
Ti renderai conto che tutte quante convergono a una risposta: il file ROBOTS 
serve SOLO ED ESCLUSIVAMENTE ai motori di ricerca per indicare loro (e 
specificare eventualmente chi può e chi no fra i motori di ricerca) cosa NON 
indicizzare.
Trattandosi poi di un file di testo, conoscendo il suo nome e la posizione 
(in genere è la root del sito) chiunque può visualizzarlo semplicemente 
scrivendo: http.//
www.miosito.it/robots.txt
.
La conclusione è quella di prima, se non vuoi che altri lo leggano, 
benissimo, non metterlo. Hai risolto il problema una volta per tutte. 
Altrimenti mettilo e non fatti più ste paranoie.
Chiunque, volente o nolente può risalire a tutte le directory e 
sottodirectory (salvo che siano protette) del tuo sito anche senza l'ausilio 
del file robots, sia guardando il codice html che per altre vie.
Cooper.
-- 
www.blueware.it
www.italchat.it
 

 portare alcuni vantaggi.
Va beh, non entro nel merito del tuo scopo, cmq non credo ci sia molta
gente interessata a guardarti dentro il robots.txt..
Allora, non ci sono molte soluzioni (parlo di apache, iis nn lo uso): o fai
come ha detto Melillo, però devi avere l'accesso al file di configurazione
di Apache, oppure, se in apache è abilitato il mod_rewrite e puoi usare i
file .htaccess, puoi mettere dei rewrite che presentino un file o un altro
quando viene richiesto il robots.txt, mettendo una rewrite_cond basata
sullo user agent. Cerca documentazione sul mod_rewrite se usi apache.
Carlo.

 sullo user agent. Cerca documentazione sul mod_rewrite se usi apache.
grazie mille.

 del file robots, sia guardando il codice html che per altre vie.
ti ricordo che io ho posto una domanda precisa.semplicissima.tu hai 
sprecato il tuo (immagino prezioso) tempo ad attaccarmi.invcece gli 
altri mi hanno gia risposto in un altro thread quindi per me la 
discussione è finita.
ringrazio anche te.sei bravissimo e preparatissimo cosi ti metti l'anima 
in pace.ciao.


ti dai troppe arie, anche per me la discussione termina qui.
Cooper.
-- 
www.blueware.it
www.italchat.it
 

 portare alcuni vantaggi.
I motivi sono dentro di te, ma sono SBAGLIATI.
Cordiali saluti
-- 
Marco Ermini
Dubium sapientiae initium. (Descartes)
root@human # mount -t life -o ro /dev/dna /genetic/research
http://www.markoer.org/
 - 
https://www.linkedin.com/in/marcoermini