User-agent: * Allow: / # Sitemaps Sitemap: https://schweizseiten.com/sitemap.xml # Crawl-delay für höfliches Crawling Crawl-delay: 1 # Verzeichnisse die nicht gecrawlt werden sollen Disallow: /admin/ Disallow: /api/ Disallow: /storage/ Disallow: /vendor/ Disallow: /dashboard/ Disallow: /login Disallow: /register Disallow: /password/ # Erlaubte wichtige Bereiche Allow: /firmen/ Allow: /branchen/ Allow: /staedte/ Allow: /kantone/ Allow: /services/ Allow: /news/ Allow: /kontakt # Ressourcen Allow: *.css Allow: *.js Allow: *.jpg Allow: *.jpeg Allow: *.png Allow: *.gif Allow: *.svg Allow: *.webp # Block bad bots User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: DotBot Disallow: /