Bruk av robots meta tag
Ved å legge inn en linje mellom < head> og < /head> på toppen av siden din kan du i "bestemme" hvordan søkemotorene som Google og Live.com skal vise
nettstedet ditt. Denne linjen kan se f.eks. slik ut:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
"Noindex" betyr at siden ikke skal indekseres, og "Nofollow" betyr at linkene på siden ikke skal følges.
Hvis headeren ikke innholder denne linja, så vil iallefall de største automatisk tolke det som at siden skal indekseres, og linkene på siden skal følges.
Ved å forandre "ROBOTS" til "GOOGLEBOT" kan du f.eks. blokke en side for Google, mens MSN indekserer den som normalt
Hvilke "koder" er gyldige?
NOINDEX
Betyr at siden som det ligger på ikke skal indekseres. Nyttig hvis du f.eks. har en utskriftsvennlig verson av siden med samme innhold som orginalsiden.
Det er unødvendig at begge sidene indekseres.
NOFOLLOW
Betyr at roboten ikke skal følge linkene på den aktuelle siden.
NOARCHIVE
Kommandoen gjør at siden ikke havner i Googles cache (hurtigbuffer)
NOSNIPPET
Gjør at ett utdrag av innholdet på siden ikke vises i søket.
NOODP
Gjør at innhold fra DMOZ ikke vises som en beskrivelse av siden.
NONE
Betyr det samme som "Noindex", "Nofollow".
Les mer om saken på Google Webmaster Central Blog
.