Ladezeit, Web und Server
Crawler
Kurz und einfach erklärt
Ein Crawler ist ein Programm, das Websites von selbst abruft.
Er folgt den Verweisen von Seite zu Seite. Das tun etwa Suchmaschinen.
Jeder Abruf macht dem Server Arbeit wie ein Besuch. Crawler kommen aber oft in großer Zahl. Das kann den Server bremsen.
Definition
Ein Crawler ist ein Programm, das Websites selbsttätig abruft und Verweisen folgt, etwa für Suchmaschinen, KI-Dienste oder Prüfwerkzeuge. Jeder Abruf erzeugt Last auf dem Server wie ein Besuch, oft aber in großer Zahl und schneller Folge. Tiefe Listen- und Filterseiten können dadurch unerwartet viel Rechenzeit kosten.