Glossar
Robots
Robots (auch Spider genannt) sind automatische Programme, die selbstständig das Internet (hier: WWW) nach neuen WebSites bzw. neuen aktualisierten Web-Seiten durchstöbern und diese für die jeweilige Datenbank einer Suchmaschine indizieren.
Durch Meta-Tags im HEAD-Bereich von HTML-Seiten kann der Autor einer Web-Seite, Angaben über z.B. Titel, Inhalt usw. hinterlegen, die von einigen Robots berücksichtigt werden.
Üblicherweise respektieren Robots Einträge der robots.txt.
Robots (auch Spider genannt) sind automatische Programme, die selbstständig das Internet (hier: WWW) nach neuen WebSites bzw. neuen aktualisierten Web-Seiten durchstöbern und diese für die jeweilige Datenbank einer Suchmaschine indizieren.
Durch Meta-Tags im HEAD-Bereich von HTML-Seiten kann der Autor einer Web-Seite, Angaben über z.B. Titel, Inhalt usw. hinterlegen, die von einigen Robots berücksichtigt werden.
Üblicherweise respektieren Robots Einträge der robots.txt.








