Kā optimizēt WordPress Robots txt SEO

Manā robots.txt fails Man ir saraksts ar robotiem, kurus nav atļauts indeksēt manā vietnē, un pārējiem man ir jāatļauj visi pārējie roboti, taču es vēlētos uzzināt patieso atšķirību starp šiem diviem noteikumiem:

User-agent: * Disallow: 

un šī:

User-agent: * Allow: / 

Allow ir nestandarta saskaņā ar Wikipedia: http://en.wikipedia.org/wiki/Robots.txt.

User-agent: * Disallow: / 

Iepriekš minētais liek robotiem nemeklēt neko tādu, kas atbilst URL ceļam. Izmantojot iepriekš minēto instrukciju, citi Googlebot meklētājprogrammu roboti nemeklēs visu jūsu vietni.

User-agent: * Allow: / 

Iepriekš minētais stāsta, ka viss ir atļauts. Visiem apmeklējošajiem robotprogrammām, tostarp Googlebot, ir atļauts pārmeklēt vietni.

Lai atļautu visu rāpošanu, jums ir dažas iespējas. Visskaidrākais un visplašākais atbalsts ir:

User-agent: * Disallow: 

Pārfrāzējot, tas nozīmē: "Visiem lietotāju aģentiem nav nekā aizliegta, viņi var visu pārmeklēt." Šī ir versija “atļaut visu rāpošanu”, kas ir norādīta vietnē robotstxt.org.


Vēl viena iespēja ir nav robots.txt faila. Kad roboti saskaras ar kļūdu 404 vietnē /robots.txt viņi pieņem, ka rāpošana nav ierobežota.


Es neieteiktu lietot Allow: direktīvām robots.txt. Ne visi rāpuļprogrammas tos atbalsta. Kad jums ir abi Allow: un Disallow: direktīvām, garākā atbilstības kārtula ir prioritāra, nevis pirmā vai pēdējā atbilstības kārtula. Tas krasi sarežģī procesu. Ja izmantojat opciju Atļaut, noteikti pārbaudiet failu robots.txt ar testēšanas rīku, piemēram, Google.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?