Es izmantoju robots.txt, lai bloķētu visus robots.txt saderīgos robotus no šāda direktorija:

User-agent: * Disallow: /sub/* 

Kā es varu to ignorēt, lai ļautu Mediapartners-Google (AdSense) / sub /?

  • 3 Jums tas nav vajadzīgs * uz tava Disallow likums. Disallow: /sub/ ir ekvivalents, jo robots.txt kārtulas ir "sākas ar" kārtulas. Izmantojot * ir piemērots Googlebot, taču daudzi roboti to neatbalsta, un šie roboti to redzēs kā burtisku zvaigzni. Jūsu likums ir plašāk saprotams bez zvaigznes.

Pievienojot to robots.txt augšdaļā, rīkojieties šādi:

User-agent: Mediapartners-Google Disallow: 

N.B. jums, iespējams, būs nepieciešama AdSense, lai vēlreiz lejupielādētu robots.txt. Es uzskatu, ka viņi to dara 24 stundas.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?

noderīga informācija