Jeep Wrangler Rugged Ridge alumīnija pārsega aiztures komplekts (2007-2016 JK) Pārskatiet un instalējiet

Es vēlos atļaut meklētājprogrammām indeksēt noteiktu HTML failu un savas vietnes indeksu failu. Viss pārējais būtu jāatļauj. Manā mājas direktorijā faktiski nav indeksa faila, es novirzot uz .htaccess izmantoju /cgi-bin/index.cgi. Pašlaik es to izmantoju:

User-agent: * Allow: /cgi-bin/index.cgi Allow: /contact.html Disallow: / 

Tomēr Google tīmekļa pārziņa rīki saka:

Googlebot ir bloķēts http://example.com/

Vai ir kāds veids, kā atļaut indeksēt sakni, vienlaikus bloķējot visus citus failus, t.i., example.com/*

Kā ieteica Pekka, varat mēģināt ievietot direktīvas Atļaut pēc direktīvām Neatļaut.

Bet, ņemot vērā Google, Bing un citu interpretāciju atšķirības, jūs varētu vēlēties izmantot robotu metatagu. Tas būs drošāk un sīkāk.

Neatļautajās lapās:

<meta name='robots' content='noindex' /> 

Atļautajās lapās:

<meta name='robots' content='index' /> 

(ievietot jūsu <head> atzīme)

Skatiet vietni http://googlewebmastercentral.blogspot.com/2007/03/using-robots-meta-tag.html

  • Kāda jēga no indeksa metataga? Vai nevar vienkārši neko nelikt?
  • Jā, jūs vienkārši neko nevarēja likt

Varbūt izmēģiniet otrādi, ielieciet disallow pirms allow.

Ja Wikipedia raksts par robots.txt ir pareizs, tas vajadzētu darbs:

Lai gan pēc standarta ieviešanas vienmēr uzvar pirmais atbilstošais robots.txt modelis, Google ieviešana atšķiras ar to, ka Atļaut modeļus ar vienādām vai vairāk rakstzīmēm direktīvas ceļā iegūst atbilstošu Disallow modeli. [8] Bings izmanto Allow or Disallow direktīvu, kas ir viskonkrētākā. [9]

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?