5 vanliga misstag i robots.txt – och hur du fixar dem

robots.txt är 1990-tals-teknik som fortfarande styr om Google ens får kika på din sida. Den är fyra rader text och kan ändå sänka en hel webbplats om den är fel. Här är de vanligaste misstagen vi ser hos kunder – och hur du undviker dem.

1. Disallow: / i produktion

Klassikern. Disallow: / lämnades kvar från stagingmiljön när sajten lanserades. Resultat: hela webbplatsen försvinner från index inom ett par veckor. Vi har sett detta hända större varumärken med trafiktapp på 80 % över en natt.

Fixet: kontrollera robots.txt *direkt* efter varje större release. Lägg in en automatisk varning som larmar om filen innehåller Disallow: / på produktion.

2. Blockera CSS och JS

Google behöver kunna rendera din sida för att förstå den. Blockerar du /assets/ eller /static/ får Google en trasig preview – och sänkt rankning som följd.

Om Googlebot inte kan rendera din sida, kan den inte rangordna den heller.

Kör en "Live URL"-test i Search Console efter varje robots-ändring. Om previewn ser trasig ut – fixa innan du publicerar.

3. Förlita sig på robots.txt för säkerhet

robots.txt är offentlig och rådgivande. Vem som helst kan läsa dindomän.se/robots.txt och se exakt vilka mappar du försökt dölja. Det är som att sätta en lapp på dörren med texten "öppna inte – här ligger nycklarna".

Fixet: vill du faktiskt dölja något, använd autentisering eller noindex via meta-tagg / HTTP-header.

4. Sitemap-direktivet saknas

Crawlers hittar din sitemap snabbare om du pekar på den direkt. Lägg sista raden i robots.txt:

Sitemap: https://din-domän.se/sitemap.xml

Är du multilingual? Lista alla sitemaps, en per rad.

5. Glömma att testa

Den vanligaste anledningen till att de fyra första misstagen sker är att ingen testar filen innan publicering. Använd vår robots.txt-validator eller Search Console:s testverktyg innan varje release. Det tar 30 sekunder och har räddat fler sajter än något annat SEO-verktyg.

Räddningsplan om olyckan är framme

Har du upptäckt att din robots.txt blockerat allt en period?

1. Fixa filen *omedelbart*. 2. Skicka in en ny sitemap i Search Console. 3. Använd "URL-inspektion" → "Begär indexering" för dina viktigaste sidor. 4. Vänta. Återhämtningen tar typiskt 2–6 veckor – inte över en natt.

Och nästa gång: testa innan du trycker deploy.