Newsgroup: it.comp.www.php
Titolo: Indicizzare pagine PHP

Ho letto che per indicizzare le pagine web i cosiddetti web-crawler (credo
che si scriva così), hanno difficoltà ad indicizzare le pagine dinamiche, ad
esempio ASP e PHP.
E' vero???
Se si, come si deve fare quando le pagine del proprio sito sono interamente
in PHP???
--
Carmine Santoro
carmi...@libero.it
www.puntodidomanda.it


Ci sono (o c'erano) dei problemi con gli indirizzi con query string...
tipico può essere il caso degli indirizzi generati dai sistemi nuke.
(
http://unsito.com/modules.php?file=index&module=news&id=234
 eccetera)
La soluzione più pulita  è l'utilizzo (ostico all'inizio) di mod_rewrite 
(
http://httpd.apache.org/docs/mod/mod_rewrite.html
) di apache che 
potrebbe geneare finti url statici.
ad esempio (invento):
http://unsito.com/modules/file/index/module/news/234.html
ciao
Marcello

 E' vero???
No. Google s'intrufola dappertutto e indicizza anche roba del tutto
dinamica. Del resto un URL e' un URL, comunque complesso esso sia.
Msnbot addirittura scarica i file non HTML (come .txt, .c, ecc.), tenta
di estrapolarne degli URL (tutto quello che inizia con www.*, http://*,
ecc.) e indicizza pure quello, combinando macelli perche' si tratta di
sorgenti di programmi.
Ciao,
 ___ 
/_|_\  Umberto Salsi
\/_\/  
www.icosaedro.it

 Ciao,
;-)
ciao
marcello

 >
Se vuoi che i robots seguano i link delle pagine del tuo sito devi inserire
nella directory principale un file robots.txt
qui c'è un esempio:
http://www.goldenweb.it/robots.txt
se vuoi che 
alexa.com
 faccia il rating prendendo informazioni dal tuo sito
metti un file info.txt
http://www.goldenweb.it/info.txt

 inserire nella directory principale un file robots.txt
Se vuoi che i robots NON seguano i link delle pagine del tuo sito  devi
inserire nella directory principale un file robots.txt
http://www.robotstxt.org/wc/norobots.html
-- 
I am what I am, I do what I can
L'uomo, conscio di sbagliare, persevera.

 più negli altri link.
Si, il problema "era" relativo ai caratteri speciali ? ed &.
Una serie di risorse italiane sull'argomento:
http://pro.html.it/articoli/id_219/idcat_28/pro.html
http://freephp.html.it/articoli/print_articolo.asp?id=61
http://pro.html.it/articoli/id_283/idcat_28/pro.html



I motori, soprattutto Google, si intrufolano ovunque ma *indicizzano meglio*
le pagine con url con aspetto "statico".
Ad esempio in HMTL.it i siti che utilizzano la cosmesi dell'url sono molto
meglio indicizzati di quelli che non lo fanno.
Idem per alcuni forum che prevedono pagine in dopio formato, quelle con
formato statico sono meglio indicizzate.
Per documentazione
http://www.studiocappello.it/wm/URL_Replacer/url_replacer.html
--------------------------------
Inviato via 
http://arianna.libero.it/usenet/

 -- 
Poiche' i robots cercano il file robots.txt, in sua assenza potrebbero
visitare ma non indicizzare

 visitare ma non indicizzare
http://www.submission.it/myfaq_72.html
E' obbligatorio creare un file robots.txt ?
 
Solo se si hanno nel sito delle cartelle o delle aree ad accesso
riservato che non devono essere indicizzate dai motori di ricerca.
http://www.motoridiricerca.it/faq-indicizzazione.htm#robot
E' obbligatorio creare il file robots.txt ?
Il file serve a dare indicazioni agli spider dei motori di ricerca. Ha
senso inserirlo solo se si hanno nel sito alcune cartelle o aree ad
accesso riservato che non devono essere indicizzate dai motori di
ricerca per non renderle ritrovabili dai navigatori.



Io adesso non vorrei sembrare polemico.
Intanto non dico che e' obbligatorio creare il file robots.
Penso che sia consigliabile per tanti motivi.
Intanto ogni robot ha le sue regole di crawling.
Qualche robot fa il rating dei siti che visita (es. google page rank) e fra
i parametri di valutazione ci puň essere la presenza del file robots.txt,
del contenuto dei metatag (e' possibile usare un revisit-after per
richiamare un robot), contenuto del sito, velocita', presenza di pop up,
tipo di dominio, ecc.
Tutto questo, in base alle regole del robot, puo' far si che il robot
stesso:
visiti e non indicizzi;
visiti e indicizzi solo i file all'interno della cartella principale;
visiti e indicizzi a piu' livelli di profondita'
Io, agendo secondo questo schema, ho riscontrato buoni risultati su alcuni
siti (indicizzati fino ad un livello profondo - 
goldenweb.it
 ha in questo
periodo anche piů di 3000 visite al giorno), mentre quelli in cui non ho
fatto cosi' erano indicizzati solo superficialmente.
Certo, i link che mi suggerisci sono tutti validi, peccato che il contenuto
non č firmato (possibilmente da chi gestisce i software dei robots).
L'incompetente

 Intanto non dico che e' obbligatorio creare il file robots.
[ti quoto]
Se vuoi che i robots seguano i link delle pagine del tuo sito devi
inserire nella directory principale un file robots.txt
[/ti quoto]


 dinamica. Del resto un URL e' un URL, comunque complesso esso sia.
FERMO DOVE SEI! :-)  Colgo l'occasione per una domanda. 
Poniamo che la pag.php produca output solo a condizione che (ad esempio)
le venga passata la variabile pippo: <a href="pag.php?pippo=1">
  if ($pippo==1) {
  print ("ciao mondo");
  }
Google potrà anche indicizzare la pag.php, ma di certo non saprà che al
suo interno c'è scritto "ciao mondo". O sbaglio? Ditemi che non sbaglio,
vi prego ^_^
-- 
Nicoletta

 vi prego ^_^
Pensa allo spider come a un browser (volutamente più primitivo): arriva ad
una pagina sempre attraverso un link.
Quindi se attraverso il link arriva a pag.php?pippo=1 leggerà "ciao mondo".
Per inciso, alcuni utilizzano al tecnica dello sniffing dello user-agent per
rilevare gli spider e fornire loro contenuto "adulterato", a quanto pare può
essere controproducente, infatti non sempre gli spider si palesano per
quello che sono attraverso lo user-agent e a volte si mascherano da browser
normale.
Tornando al discorso di prima ribadisco il concetto: gli spider non si
bloccano più dinanzi alle pagine con querystring ma indicizzano comunque
meglio le pagine con aspetto statico



Sottoscrivo in pieno e aggiungo che per far seguire i link bisogna mettere
nel file:
User-agent: *
Disallow:
poiche' alcuni robots well-behaviour potrebbero non indicizzare il sito se
non trovano il file con queste due righe.

 Quindi se attraverso il link arriva a pag.php?pippo=1 leggerà "ciao mondo".
Ok, mi torna; tuttavia - per quanto evoluto possa essere, e seppur in
grado di fingersi "umano" - credo che un programma necessiti di
riconoscere un link come tale. In altri termini, su una pagina web,
ovunque essa sia, lo spider dovrà trovare nel sorgente un bel 
<a href="pag.php?pippo=paperino">. Credo.
Immaginiamo alcuni casi dove quel link non appare, o almeno, non come
sopra esposto.
1) il link <a href="url_assoluto/pag.php?pippo=paperino"> sul web non
esiste proprio, lo conosco solo io e me lo tengo stretta sul mio PC
(circostanza rara, ma non vedo perché escluderla)
2) ho un <form action="pag.php">
<input type="password" name="pippo"> <--- l'utente, per vedere "ciao
mondo", deve digitare "paperino" ed effettuare il submit 
3) il link è in JavaScript sotto forma di variabile/variabili che
concatenate ricostruiscono "pag.php?pippo=paperino". Una cosa del
genere: 
<script>
function RaggiungiPagina(a,b,c,d,e,f) {
location.href=a+b+c+d+e+f;
}
<body>
<xxx onclick="RaggiungiPagina('pa','g.php','?pip','po=','pape','rino')">
Sapreste commentare i 3 punti e dirmi come può (se può) essere
intercettata la mia segreta frase "ciao mondo" fra i tag php?
Grazie dell'interessamento.
-- 
Nicoletta

 Sottoscrivo in pieno 
Stai continuando a contraddirti. Inizi con "Se vuoi .. DEVI ...", poi
ti contraddici affermando "non dico che e' obbligatorio" ed ora
sottoscrivi nuovamente il "DEVI".
Tutto questo quando gente del calibro di AdMAiora dice che non e'
obbligatorio inserire il file robots.txt se non si devono limitare
delle zone.


 genere: 
Alcuni spider analizzano JS (in modo basilare), comunque per questioni
di indicizzazione si consiglia sempre di inserire anche link HTML per
evitare problemi a livello di motori.


 <xxx onclick="RaggiungiPagina('pa','g.php','?pip','po=','pape','rino')">
I link presenti nei Js non vengono letti, in quanto...
(es: Google) esclude il contenuto dei JS.
Riassumendo...
(mi pare che questo post - anche se molto utile per chiarirci a un po' tutti
le idee - stia diventando OT)
le pagine vengono TUTTE indicizzate se:
- sono linkate tra loro, con link NON presenti in JS. Va bene html, asp,
flash, jsp, ecc. ecc.
tutti i link vengono quidni seguiti e vengono indicizzati tutti i contenuti
trovati.
Per quanto riguarda flash, i link vengono seguiti, il contenuto presente in
flash viene escluso, ma... se alla fine flash link a pagine html, pdf o doc
o altro... questo contenuto viene interamente inserito el mdr, fino ad un
massimo di 100 KB x pagina/documento. Se il documento è superiore ai 100 KB,
sono presi in considerazione solo i primi 100 KB.
per ovviare a siti fatti in flash, uso eccessivo dei JS, altro...(?)
è buona norma inserire nelle pagine realizzate (con qualsiasi tecnologia)
unbellissimo tag <noscript></noscrtipt> dove "aiuterò" il Mdr ad indicizzare
il ns. sito web
inserendo testi e contenuti ma soprattutto LINK (niente immagini o altri
fronzoli - solo testo mirato = keywords) per far raggiungere dal suo spider
tutti i contenuti del mio sito, non raggiungibili altrimenti, causa il ns.
abuso di grafica, layer, dhtml, e altre cose che "non piacciono" ai MDR.
Mi sembra di ever dato una risposta, anche se lunga, a tutte le domande fino
ad ora "generate" da questo post.
In rete, cmq, ci sono molti siti che trattano questi argomenti...
costantemente aggiornati.
Ciao e... Buona Giornata !!!
P.S. Se riuscite a darmi anche a me una risposta sul post del SELECT
PARTICOLARE... mi risolverete una grande PAPATA BOLENTE!
Ricc@rdo.

 in PHP???
Una Domanda: Sei sicuro che le tue pagine completamente in PHP non 
iniziano con <html> e finiscono con </html>.
Nel caso fosse cosi:
Dapprima metti il robots.txt come hanno già descritto altri. O per 
esempio come l'imposto io:
# *** robots.txt per 
www.peruzzi.li
 ***
# tutti i robots per favore rispettare il privato
User-agent: *
Disallow:/privato/
Ci sono dei motori di ricerca, che se non trovano il robots, passano al 
prossimo sito e ti lasciano sulla strada ....
Poi, da non dimenticare:
<html>
<head>
<title>4 parole indicative</title>
Se esiste il title questo viene messo in grassetto come titolo dai 
motori di ricerca. Altrimenti fanno a loro piacimento.
Pertanto metti bene un <title> molto indicativo. In una pagina 
completamente in PHP, come vuoi mettere il <title>?
<meta HTTP-EQUIV="content-language" content="it">
Se uno cerca solo pagine in "italiano", il motore di ricerca salterà la 
tua pagina se non trova il "content=it". Se fai la pagina completamente 
in PHP non lo troverà.....
<meta name="revisit-after" content="30 days">
Se non metti entro quanti giorni il motore di ricerca deve attualizzare 
la tua pagina, allora che cosa fa?
<meta NAME="keywords" CONTENT="qui devi mettere parole molto 
significative ed indicanti il tuo sito altrimenti il motore di ricerca 
cosa cerca?">. Forse escluderà persino ciò che trova dentro il codice PHP?
<meta NAME="robots" CONTENT="index, follow">
Anche questo, come lo vuoi mettere in solo PHP?
</head>
Devi sapere che il PHP è una inclusione eccezionale nel "body" dell' 
HTML.  Però l'HTML fa ancora stato.
Spero di esserti stato d'aiuto. Il mio sito (
http://www.peruzzi.li
) tra 
l'altro viene visitato ca. 7'000 volte al mese. E non spendo neanche un 
centesimo ....
ciao
piero
-- 
Martin Luther King:
"Wenn wir es nicht lernen, miteinander als Brüder zu leben,
werden wir als Narren miteinander untergehen."
"Se non riusciamo a vivere insieme come fratelli,
moriremo insieme come idioti"

 centesimo ....
Questo per caso è spam?
Comunque per evitare approssimazioni a tutti, me compreso, invito a visitare
questi siti: e una piccola bibbia sull'argomento e si imparano un sacco di
cose
http://www.motoricerca.info/
In inglese c'è anche questo
http://www.seochat.com/


 
Super. Grzie, mi è piaciuto. Per lo più:
http://tool.motoricerca.info/density-keyword.phtml
dove dice come mettere i keywords.....  :-)



 
Allora avrai senz'altro capito che si riferisce alle "keywords" di tutta la
pagina, tant'è che di defaultil meta-keywords viene escluso dalla lettura


 ad ora "generate" da questo post.
E io ti ringrazio molto :)
-- 
Nicoletta