Å utnytte kraften i Robots

Når vi har en nettside oppe og går, må vi sørge for at alle som besøker søkemotorer kan få tilgang til alle sidene vi ønsker at de skal se på.

Noen ganger kan vi ønske søkemotorer å ikke indeksere visse deler av nettstedet, eller forby andre SE fra området alle sammen.

det er her en enkel, liten 2 linje tekstfil kalt robots.txt kommer inn.
< p> Robots.txt er bosatt i dine nettsteder hovedkatalog (på Linux-systemer dette er ditt /public_html /katalogen), og ser omtrent slik ut:

User-agent: * Disallow:

den første linjen styrer "bot" som skal besøke nettstedet ditt, den andre linjen kontrollerer om de er tillatt i, eller hvilke deler av området de har ikke lov til å besøke.

Hvis du ønsker å håndtere flere "bots", så enkelt gjenta den ovenfor lines.So et eksempel:

User-agent: googlebotDisallow:

User-agent: askjeevesDisallow: /

Dette vil tillate Goggle (user-agent navn GoogleBot) for å besøke hver side og katalog, mens på samme tid banning Ask Jeeves fra området completely.To finne en "rimelig" oppdatert liste over roboten brukernavn dette besøket http: //www.robotstxt .org /wc /aktiv /html /index.html

Selv om du ønsker å tillate hver robot å indeksere hver side av nettstedet ditt, er det fortsatt veldig lurt å sette en robots.txt-fil på nettstedet ditt. Det vil stoppe feillogger fylle opp med oppføringer fra søkemotorer som prøver å få tilgang til robots.txt-fil som ikke eksisterer.

For å skaffe mer informasjon, kassa ungdoms spill departement og ungdomsarbeid ressurser forsyninger.