Nakts dreifēšanas prakse - Drift Drift Drift !!

Vai jums ir nepieciešams fails robots.txt, lai rāpuļprogrammas varētu indeksēt jūsu vietni, vai tas ir tikai, lai aizliegtu saturu, kuru nevēlaties, lai rāpuļprogrammas indeksētu?

Ja jums nav robots.txt, jūsu vietne tiks indeksēta. Robots.txt fails ir tikai daži norādījumi (jaukiem) rāpuļprogrammām par to, kas nav jāpārmeklē.

http://www.robotstxt.org/robotstxt.html

Lūdzu, ņemiet vērā arī to, ka tur ir agresīvi rāpuļprogrammas, kas to vienkārši ignorē.

Kļūdu žurnālos varat atrast arī 404, ja jums nav robots.txt, ja vēlaties izvairīties no tiem, vienkārši izveidojiet tukšu failu ar nosaukumu robots.txt vietņu saknē.

Robots.txt failu var izmantot arī, lai nodrošinātu saiti uz failu sitemap.xml. Šajā failā jābūt saitēm uz visām jūsu vietnes lapām.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?

noderīga informācija