Atsaucīga interjera vietnes dizaina veidne

Es izlasīju atbildes uz šo jautājumu, bet viņi joprojām atstāj manu jautājumu atvērtu: Vai Google kešatmiņu saglabā robots.txt?

Es Google tīmekļa pārziņa rīkos neatradu veidu, kā izsaukt sava faila atkārtotu lejupielādi robots.txt.

Caur kādu kļūdu, mans robots.txt tika aizstāts ar:

User-agent: * Disallow: / 

Un tagad viss mans saturs tika noņemts no Google meklēšanas rezultātiem.

Acīmredzot esmu ieinteresēts to pēc iespējas ātrāk labot. Es jau nomainīju robots.txt, bet es nevaru atrast veidu, kā likt Google atjaunināt kešatmiņā saglabāto versiju.

  • 1 Parasti vienkārši jāatļauj visas lapas robots.txt pietiks, lai tos pilnībā noņemtu no Google rezultātiem, ja vien citas vietnes joprojām uz tiem ved.
  • Hmm tas ir grūts. ZenCart vietrāži URL, šķiet, sajauc robots.txt tīmekļa rāpuļprogrammas robotu, un, pirms jūs to zināt, esat bloķējis vietrāžus URL, kurus nevēlaties bloķēt. Mana pieredze ir tāda, ka jums labāk iet bez robots.txt, bet vienkārši uzturēt tīru vietni. Šīs robots.txt kļūdas dēļ, kas bloķēja derīgus URL, es pazaudēju daudzas tīmekļa ranga vietas. Tā kā ZenCart izmanto dinamiskos URL, šķiet, ka tas mulsina robots.txt tīmekļa rāpuļprogrammu, kā rezultātā tiek bloķēti vietrāži URL, kurus, domājams, netiksit bloķēts. Neesat pārliecināts, vai tas attiecas uz kategorijas atspējošanu ZenCart un pēc tam produktu pārvietošanu no šīs a kategorijas

Jūs nevarat likt viņiem atkārtoti lejupielādēt jūsu robots.txt, kad vēlaties. Google atkārtoti pārmeklēs un izmantos jaunos datus ikreiz, kad, viņuprāt, tas ir piemērots jūsu vietnei. Viņi mēdz to regulāri pārmeklēt, tāpēc es nedomāju, ka paies ilgs laiks, līdz tiks atrasts atjauninātais fails un jūsu lapas tiks pārmeklētas un indeksētas. Ņemiet vērā, ka pēc jaunā robots.txt faila atrašanas var paiet zināms laiks, līdz jūsu lapas tiek pārmeklētas un vēl vairāk laika, lai tās atkal tiktu rādītas Google meklēšanas rezultātos.

  • 1 Pēc viņu domām, viņi pārbauda apmēram katru dienu, bet, iespējams, biežāk pārbauda aizņemtas vietnes. Skatiet vietni webmasters.stackexchange.com/a/32949/17430.

Kad es izveidoju savu jauno vietni, es saskāros ar to pašu problēmu www.satyabrata.com 16. jūnijā.

man bija Disallow: / manā robots.txt, tieši tāpat kā Olivers. Google tīmekļa pārziņa rīkos bija arī brīdinājuma ziņojums par bloķētajiem URL.

Problēma tika atrisināta vakar, 18. jūnijā. Es rīkojos šādi. Es neesmu pārliecināts, kurš solis izdevās.

  1. Veselība -> Ielādēt kā Google: robots.txt un mājas lapu. Pēc tam iesniedziet indeksam.
  2. Iestatījumi -> Piedāvātais domēns: redzamais URL kā www.satyabrata.com
  3. Optimizācija -> vietnes kartes: pievienota XML vietnes karte.

Brīdinājuma ziņojums par bloķētiem vietrāžiem URL tagad ir pazudis un ir jauns robots.txt tiek parādīts lejupielādēts Google tīmekļa pārziņa rīkos.

Pašlaik man ir tikai divas Google indeksētas lapas, mājas lapa un robots.txt. Man vietnē ir 10 lappuses. Es ceru, ka pārējie drīz tiks indeksēti.

Man radās problēma, kad attēli tika pārvietoti uz atsevišķu CNAME serveri un attēlu mapē tika ievietots aizliegums. Veids, kā es to notīrīju, bija tas, ka tīmekļa pārziņa rīkos izgūtais robots.txt tika lasīts kā Google rīks. Kad tas man teica, ka ir izguvis un lasījis robots.txt, es to iesniedzu. Tas pārtrauca trīs mēnešu embargo attiecībā uz attēlu skenēšanu, kur Google ziņoja, ka lasa failu robots.txt, bet nemainīja zirnekļa iestatījumus, lai tie atbilstu noteikumiem, kas tika mainīti, lai atļautu attēlu mapi. Nedēļas laikā attēli atkal tika indeksēti.

Varētu būt mēģinājuma vērts. Ir zināms, ka Google laiku pa laikam iestrēgst un neizdodas atkārtoti izlasīt failu.

  • Viņi atkārtoti izlasīja failu apmēram 6 stundas pēc manas izlikšanas. Tagad viss ir normalizējies.
  • Whee! Tad atgriezies uz pareizā ceļa!
  • Es mēģināju lūgt tīmekļa pārziņa rīkus ielādēt robots.txt, tas sūdzējās, ka robots.txt to noliedz :). Tāpēc acīmredzot šis triks nedarbosies, ja jums ir robots.txt, kas veic pilnu bloku.
  • Tas pats šeit ... Robots.txt pieprasījumu noraidīja robots.txt! Hah!
  • Whelp, ja saknē ieliekat noliegumu, es domāju, ka jūs esat sava veida SOL. Manā gadījumā tā tika noraidīta apakšmape, tāpēc piespiedu kārtā robots.txt pārlasīšana, izmantojot piedāvātos mehānismus, faktiski darbojās.

Es ceru, ka šī saite palīdzēs jums pārmeklēt jūsu vietnes: https://support.google.com/adsense/answer/10532?hl=lv.

Noņemt / no jūsu robots.txt failu.

  • Šis jautājums nav par to

Manā gadījumā problēma bija tā, ka es izmantoju bezmaksas DNS pakalpojumu ar nosaukumu bail.org.

(mans bezmaksas domēns beidzās ar .us.to)

Kad es pāreju uz TLD, tas sāka darboties.

  • Es neredzu, kāds sakars DNS vai bezmaksas vietnei ir ar robots.txt, vai lieku Google to atjaunot.
  • @StephenOstermiller: Es arī neredzu, bet fakts ir tāds, ka manā gadījumā tas palīdzēja.
  • Tas palīdzēja Google pārbaudīt jūsu robots.txt?
  • @StephenOstermiller: Jā.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?