robots.txt

Plik tekstowy umieszczony w głównym katalogu strony internetowej, który zawiera instrukcje dla robotów wyszukiwarek (tzw. crawlerów) dotyczące indeksowania i przeszukiwania strony. Plik robots.txt pozwala na określenie, które części strony mogą być przeszukiwane, a które nie, oraz na ustawienie częstotliwości i priorytetu przeszukiwania. Plik robots.txt pomaga w optymalizacji SEO i zapobieganiu nadmiernemu obciążeniu serwera.