Yahoo introduce nuove funzioni per il file robots.txt

Yahoo introduce nuove funzioni per il file robots.txt

Yahoo ora permette ai webmaster di bloccare l'accesso degli spiders su specifiche url badandosi sui parametri frequentemente utilizzati nei siti dinamici.

Il riferimento che viene utilizzato è relativo alle landing pages pubblicitarie (le pagine web utilizzate cioè come pagine di accesso per le campagne di web marketing o pay per click del sito) ma lo stesso riferimento può allo stesso modo essere utilizzato per CMS o shopping cart per la prevenzione di contenuti duplicati che, in caso di indicizzazione, genererebbe una pericolosa fattispecie di spam, punibile dai motori di ricerca.

Facciamo un esempio di una url dinamica che un sito desidera NON indicizzare. Questo parametro sarebbe stato utilizzato per la funzione “stampa questa pagina” e sarebbe stato visto come contenuto duplicato dai motori di ricerca in quanto pagina portatrice del medesimo contenuto di un'altra presente nel sito:

esempio:


Il seguente comando contenuto nel file robots.txt previene il problema impedendo a Yahoo! di indicizzare tutte le pagine presenti nel sito, del tipo descritto nell'esempio di cui sopra.

Ecco il codice:


Tutte le url che contengono al loro interno il testo: “tp=print” non verranno indicizzate da Yahoo!.

Stefano Mc Vey Cduweb.com in esclusiva per pc-facile.com