W kontekście projektowania stron internetowych boty wyszukiwarek zwane także pająkami, crawlerami czy po prostu botami są programami, które indeksują, czyli przeczesują sieć i indeksują strony internetowe (zapamiętują informacje) i przekazuje je do baz danych wyszukiwarek. Żeby strona internetowa była widoczna w którejś z przeglądarek musi zostać odwiedzona przez bota i zindeksowana. Jeśli kod źródłowy nie będzie czytelny dla bota może on zrezygnować z dalszego przeglądania treści i opuścić stronę www bez jej zapisywania.
« Back to Glossary Index