User-Agent: * Disallow: /tests/ Disallow: /demo/ Disallow: /service/belegungskalender/tools/ Disallow: /output-extern/ Disallow: /addons/tracker/ Disallow: /unterkunft/*/homepage/ Disallow: /unterkunft/*/hausprospekt/ Disallow: /addons/leaflet-osm/ajaxdata/ # Ruft nur Formulare für Anfragen und Bewertungen ab # https://www.babbar.tech/crawler User-agent: barkrowler Disallow: / #Nervt mit fehlerhaften zusammengebauten URLs User-agent: SEOkicks Disallow: / User-agent: DataForSeoBot Disallow: / User-agent: Gaisbot Disallow: / User-agent: IRLbot Disallow: / User-agent: dotbot Disallow: / User-agent: BotOnParade Disallow: / User-agent: spbot Disallow: / User-agent: integromedb Disallow: / User-agent: OpenindexSpider Disallow: / User-agent: proximic Disallow: / User-agent: MJ12bot Disallow: / User-agent: BLEXBot Disallow: / # Die Suma https://www.seekport.com/ finktioniert nicht. Gehört Sistrix User-agent: SeekportBot Disallow: / sitemap: https://www.ferien-netzwerk.de/sitemap/ferien-netzwerk-sitemap_index.xml