Informationen zu blockierten Bots und Crawlern
🇬🇧 Why is Tramino blocking my bot or crawler?
As running web applications is not cheap and servers consume quite some electricity, we try to reduce the amount of unnecessary requests to our servers. Therefore block any bots or crawlers that we consider useless to our customers.
Over the last years, the share of total bot traffic has risen to a level where we had to act, as they were putting a not-tolerable load on our system.
How can I get my bot unblocked?
Please send a message in either German or English to support@tramino.de, with a good exclamation why our bot is a value to our customers.
This includes:
* Search Engines which are relevant in our markets (Europe)
* Any SEO tools our customers currently use
This does not include:
* Any kind of web "research"
* Any kind of backlink tracking tools
How I can prevent my bot from getting blocked?
- Use a proper HTTP "User-Agent" header with the name of your crawler and a link to a website explaining it's purpose.
- Honor the robots.txt file
- Throttle requests to the servers
Please note that we not just analyze user agents, but also block IP addresses in case of suspicious behaviour.
🇩🇪 Warum blockiert Tramino meinen Bot oder Crawler?
Webanwendungen zu hosten ist nicht günstig und Server verbrauchen viel Strom, daher versuchen wir die Anzahl der unnötigen Anfragen auf unsere Server zu reduzieren. Deshalb blockieren wir sämtliche Bots und Crawler, welche wir als nicht-nützlich für unsere Kunden betrachten.
Über die letzten Jahre hat sich der Anteil des gesamten Bot-Traffics auf ein Level erhöht, was wir für nicht mehr akzeptabel halten.
Wie kann ich meinen Bot entsperren?
Bitte senden Sie eine E-Mail in Deutsch oder Englisch an support@tramino.de, mit einer guten Begründung warum Ihr Bot für unsere Kunden ein Mehrwert darstellt.
Dazu gehören etwa:
* Suchmachinen, die in unseren Märkten relevant sind (Europa)
* SEO-Werkzeuge, welche unsere Kunden einsetzen
Das gehören NICHT:
* Alle Formen von Web-"Forschung"
* Alle Formen von Backlink-Tracking-Tools
Wie kann ich verhindern, dass mein Bot gesperrt wird?
- Verwenden Sie einen ordentlichen HTTP "User-Agent"-Header mit dem Namen des Bots sowie einem Link auf einer Webseite mit der Erklärung
- Honorieren Sie die robots.txt-Dateien der einzelnen Webseiten
- Limitieren Sie die Anzahl der HTTP-Requests auf unser System
Bitte beachten, dass wir nicht nur anhand des User-Agents sperren, sondern bei verdächtigem Verhalten auch IP-Adressen blockieren.