← SEO
Robots.txt
En fil som forteller søkemotorer hvilke sider de kan og ikke kan besøke (crawle) på nettstedet ditt, slik at du styrer hva robotene får tilgang til. Den styrer tilgangen, men avgjør ikke om en side får stå i søkeresultatene.
Du kan bruke den til å hindre søkerobotene i å besøke adminsider. Vil du holde en side ute av søkeresultatene, må du bruke noindex eller passordbeskyttelse i stedet. En side som er blokkert i robots.txt kan nemlig fortsatt dukke opp i søkeresultatene hvis andre nettsider lenker til den.
Sist oppdatert: