Papyrus VS Bandits - pasaka animācija (Megatale 1. daļa)

Man ir problēmas ar vietni, kurā strādāju. Sākotnēji es izveidoju robots.txt failu, lai neļautu robotiem to indeksēt, kamēr es pie tā strādāju. Tomēr tagad tā tiešraide un robots.txt rile ir izdzēsta, taču tā joprojām nav pārmeklēta un parāda, ka robotiem ir aizliegta piekļuve. Pat ja nav robots.txt faila. Vietne ir vietne, kas balstīta uz WordPress - šķiet, ka viss liek domāt, ka nevienam rāpuļprogrammai nevajadzētu būt bloķētam.

Veic meklēšanu site:claimsadvicecentre.co.uk vajadzētu uzrādīt vismaz 5 lapas, tomēr tās vienīgā galvenā lapa.

Kas te varētu būt nepareizi?

  • 2 Google tīmekļa pārziņa rīki ir noderīgi, lai sniegtu atsauksmes par problēmām, kas saistītas ar jūsu vietnes pārmeklēšanu: google.com/webmasters
  • Kas notiek .htaccess failā - jūsu robotu fails izskatās labi.
  • Sākumā nevajadzētu būt robotu failam.
  • 1 tā tur. vienkārši izdzēsiet to no savas vietnes saknes, jūs varētu vienkārši atstāt tukšu vietā, tad tas nebūs 404 pretenzijasadvicecentre.co.uk/robots.txt
  • AK MANS DIEVS! Es zvērēju, ka izdzēsu to no sava FTP ...

Pagaidām nekas, šķiet, nav uzreiz nepareizs. Tā vietā daži no jūsu pieņēmumiem, šķiet, ir nepareizi.

Pirmkārt, jautājumi.
Kad jūs sakāt: "bet tas [] parāda, ka roboti nav atļauti", kas ir uz to "tas" attiecas?

Cik ilgs laiks ir bijis, kopš izdzēsāt robotu failu? Tas neko nemainīs, kamēr atkal netiksiet pārmeklēts.

Tagad jūsu meklēšanas piemērs liek domāt, ka jūs ir vismaz zināmā mērā ir indeksēti. Bet tas nenozīmē, ka dzinēji izlems visi jūsu lapas būs vērts faktiski atgriezties kā meklēšanas rezultātus.

Papildus tam meklēšana ar site: operators ne vienmēr atgriež visu vietnei indeksēto, bet tikai atlasi. Ja jums faktiski jāzina, cik labi jūsu vietne ir pārmeklēta, jūs saņemat šo informāciju no Tīmekļa pārziņa rīkiem.

  • Es domāju, ka kopš tā izdzēšanas ir pagājušas gandrīz 5 dienas. Kad es to domāju, es atsaucos uz vietnes meklēšanas rezultātiem: apgalvadvicecentre.co.uk.
  • Šķiet, ka robots.txt joprojām ir vietāadvadvicecentre.co.uk/robots.txt
  • Es tikko atkārtoti augšupielādēju citu robots.txt - visu mūžu nevaru saprast, kā tas būtu, ja fails joprojām būtu tur pat pēc dzēšanas

Šķiet, ka robotu fails joprojām ir, bet kods ir mainījies, jo es to vispirms apskatīju:

User-agent: * Allow: / 

Bet uz atļaut visiem, tam vajadzētu būt (kāds tas bija šorīt)

User-agent: * Disallow: 

Daži citi piemēri ir atrodami wiki rakstā par robotu izslēgšanas standartu.

Vai varētu būt, ka viens no jūsu WordPress spraudņiem automātiski ģenerē robotu failu?

Lai visu apvienotu vienā lielā atbildē, jums jādara ...

  1. Pārliecinieties, vai robots.txt ir pareizs. Lūk, kā tam vajadzētu izskatīties, ja vēlaties, lai rāpuļprogrammas indeksētu visu jūsu vietnē:

    Lietotāja aģents: *
    Neatļaut:

    Lūdzu, ņemiet vērā, ka Atļaut visi rāpuļprogrammas oficiāli neatbalsta lauku (Neatļaut ir vispārpieņemtais lauks).

  2. Izveidojiet XML vietnes karti, kurā ir norādītas jūsu vietnes lapas. To var izdarīt manuāli vai arī izmantot automātisko ģeneratoru.
  3. Reģistrējiet savu vietni, izmantojot Google Webmaster Tools.
  4. Iesniedziet savu XML vietnes karti Google Webmaster Tools.

Kad būsiet veicis šīs darbības, jūsu vietne tiks veiksmīgi indeksēta.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?

noderīga informācija