• robots.txt
  • Filhåndtering
  • Brugermanual

    • robots.txt

    I denne artikel:

      Introduktion

      Som udgangspunkt er det ikke sikkert, at du har behov for at gå i dybden med robots.txt. Det er kun, hvis du ønsker at styre hvilke sider der bliver medtaget i søgeresultater på f.eks. Google eller, hvis du allerede har foretaget (eller har fået foretaget) ændringer i filen, at denne artikel er relevant. Shoppen er designet således, at alle relevante sider potentielt kan samles op af søgemaskinerne, hvis de bliver fundet relevante på baggrund af shoppens indhold og den søgemaskineoptimering der er foretaget på shoppen. Vi gennemgår princippet bag robots.txt og viser hvordan du tilpasser filen, hvis du har behov for dette.

      Robots.txt bruges til at håndtere de søgemaskinerobotter (også kaldet crawlere) som gennemløber og indekserer sider på nettet, til brug på søgemaskiner som Google, Bing, Yahoo og DuckDuckGo mv. Robotterne kravler med andre ord automatisk internettet, går fra link til link og "støvsuger" data som analyseres til indeksering.

      Når en robot kommer forbi din webshop, starter den med at læse hvad der står i robots.txt filen. robots.txt er en tekstfil skrevet i et format, som er standard for søgemaskinerobotter. Hvis du ønsker at fortælle robotten om sider den gerne må indeksere, eller sider den ikke skal crawle, gøres det i robots.txt filen. Når robotten har læst filen, går den i gang med at kravle siden. Søgemaskinerobotter læser sidens kode direkte og kan derfor finde links der måtte befinde sig mere eller mindre skjult.

      Robots.txt filen ligger altid i "roden" af et website og derfor ved søgemaskinerobotterne hvor de skal finde den. Du kan selv finde robots.txt filen på din egen shop, ved at besøge ditdomæne/robots.txt.

       

      Hvis du ønsker at tilpasse din robots.txt fil, skal du gå ind i shoppen under Webshop > Filer og klikke på knappen "Robots.txt (avanceret)":

       

      Eksempel

      Her er et eksempel på en standard robots.txt fil i shoppen:

      Første linje tillader f.eks. alle typer af robotter. Herefter ekskluderes to mapper i shoppens struktur "framework" og "actions" som er systemrelaterede mapper. Robotten vil derfor ikke crawle disse to mapper.

      Parameter Værdi Beskrivelse
      User-agent: * User-agent henvender sig til den besøgende robot. Stjerne * står for "Alle". "User-agent: *" betyder dermed at reglerne i denne robots.txt gælder alle besøgende søgemaskinerobotter.
      Disallow: / Disallow ekskluderer alt efter semikolon fra crawling. Hvis du indsætter "/mappe/", vil denne mappe og alt dens indhold (både mapper og filer) ekskluderes fra robottens crawling. Dette betyder dog ikke at den pågældende mappe med indhold ikke bliver indekseret.

       

      Bemærk: Robots.txt filen er en guideline som man regner med at robotterne følger. Men det er ikke en garanti for at sider du f.eks. ikke ønsker at indeksere, ikke bliver indekseret. Det afhænger af den pågældende søgemaskinerobot. Du kan læse mere om Robots.txt her.

       

      Værd at vide

      Parameteret "noindex" er pr. 1. september 2019 ikke længere tilladt af Google i robots.txt filer. Ønsker man at benytte "noindex" kan dette implementeres som metatag i shoppens design template. Dette kan f.eks. gøres ved at benytte parametre centralt i shoppens kode til at bestemme hvilke sider tagget skal indsættes på. Det kan ligeledes gøres på den enkelte template fil, som vist i følgende eksempel, hvor vi benytter "addMeta" (et specielt tag til indsættelse af metatags via shoppens template sprog Rooty), på templatefilen for brugeroprettelse "usercreate.tpl": 

      
    {*** Meta tag - no noindex,follow ***}
    {addMeta name="robots" content="noindex,follow"}

      Vigtigt: Tagget fortæller søgemaskinerne at siden ikke skal indekseres. Vær derfor særlig opmærksom på ikke at eksponere dette tag på tværs af din shop, da du risikerer at miste al indeksering.

      • Systemsider som indkøbskurven (/kurv/) er som standard blokeret for indeksering via metatag. Du kan se om en side allerede er blokeret ved, at benytte Vis kilde i din browser og søge på "noindex".

      Redigering af shoppens designfiler kræver, at du har adgang til avanceret design på dit abonnement.
      Bemærk: Redigering af shoppens designfiler kræver kendskab til template udvikling. Vi yder ikke support på egne tilretninger af kode i shoppens designfiler. Hvis du har behov for hjælp til indsættelse af metatags kan vores kundeservice henvise til en designpartner, som kan hjælpe dig videre.

       

      Nyttige links