robots.txt

Strona główna/robots.txt

Plik zawierający instrukcje dla robotów indeksujących strony (botów). Można w nim zablokować dostęp do niektórych stron, dzięki czemu nie zostaną one zindeksowane. Niektóre boty mogą ignorować robots.txt, natomiast większość najważniejszych wyszukiwarek (np. wyszukiwarka Google i robot Googlebot) respektuje informacje zawarte w tym pliku. Jakkolwiek w przypadku Google plik robot.txt nie może przekraczać wielkości 500KB, wówczas bot może go zignorować.

« Back to Glossary Index
2021-01-08T18:13:53+01:00

Skontaktuj się i opisz czego potrzebujesz