Meldung: Too many requests

[Makatea]

https://www.naehmaschinentechnik-forum.de/robots.txt

ist bei Euch ein 404 und dann wundert ihr Euch über Last-Probleme?
SRSLY?

Fangt mal einfach an und guckt ins log, ob die Last sich mit einem generischen robots.txt für phpBB wieder ins Erträgliche bewegt, sonst muß man halt angemessen eskalieren:

Code: Alles auswählen

robots.txt

User-agent: *
# Technische / sensible Verzeichnisse
Disallow: /forum/admin/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/templates/
Disallow: /forum/store/
Disallow: /forum/cache/
Disallow: /forum/files/
Disallow: /forum/images/avatars/

# Dynamische Skripte, die keine sinnvollen Index-Einträge liefern
Disallow: /forum/common.php
Disallow: /forum/config.php
Disallow: /forum/faq.php
Disallow: /forum/groupcp.php
Disallow: /forum/login.php
Disallow: /forum/logout.php
Disallow: /forum/memberlist.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/mcp.php
Disallow: /forum/viewonline.php

# Sortierungen / Ansichten, die Duplicate Content erzeugen
Disallow: /forum/viewtopic.php?*sid=
Disallow: /forum/viewtopic.php?*start=
Disallow: /forum/viewtopic.php?*view=
Disallow: /forum/viewforum.php?*sid=
Disallow: /forum/viewforum.php?*start=
Disallow: /forum/viewforum.php?*sk=
Disallow: /forum/viewforum.php?*sd=

# Optional: komplettes Crawlen von Suchergebnissen verhindern
Disallow: /forum/search.php?*

Man kann da natürlich noch sehr viel weiter gehen, aber vielleicht reicht das Pareto-Prinzip für Last im erträglichen Bereich ;-) ?