Re: Meldung: Too many requests
Verfasst: Dienstag 6. Oktober 2026, 02:57
https://www.naehmaschinentechnik-forum.de/robots.txt
ist bei Euch ein 404 und dann wundert ihr Euch über Last-Probleme?
SRSLY?
Fangt mal einfach an und guckt ins log, ob die Last sich mit einem generischen robots.txt für phpBB wieder ins Erträgliche bewegt, sonst muß man halt angemessen eskalieren:
Man kann da natürlich noch sehr viel weiter gehen, aber vielleicht reicht das Pareto-Prinzip für Last im erträglichen Bereich ;-) ?
ist bei Euch ein 404 und dann wundert ihr Euch über Last-Probleme?
SRSLY?
Fangt mal einfach an und guckt ins log, ob die Last sich mit einem generischen robots.txt für phpBB wieder ins Erträgliche bewegt, sonst muß man halt angemessen eskalieren:
Code: Alles auswählen
robots.txt
User-agent: *
# Technische / sensible Verzeichnisse
Disallow: /forum/admin/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/templates/
Disallow: /forum/store/
Disallow: /forum/cache/
Disallow: /forum/files/
Disallow: /forum/images/avatars/
# Dynamische Skripte, die keine sinnvollen Index-Einträge liefern
Disallow: /forum/common.php
Disallow: /forum/config.php
Disallow: /forum/faq.php
Disallow: /forum/groupcp.php
Disallow: /forum/login.php
Disallow: /forum/logout.php
Disallow: /forum/memberlist.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/mcp.php
Disallow: /forum/viewonline.php
# Sortierungen / Ansichten, die Duplicate Content erzeugen
Disallow: /forum/viewtopic.php?*sid=
Disallow: /forum/viewtopic.php?*start=
Disallow: /forum/viewtopic.php?*view=
Disallow: /forum/viewforum.php?*sid=
Disallow: /forum/viewforum.php?*start=
Disallow: /forum/viewforum.php?*sk=
Disallow: /forum/viewforum.php?*sd=
# Optional: komplettes Crawlen von Suchergebnissen verhindern
Disallow: /forum/search.php?*