Esmu bloķējis dažus vietrāžus URL no robots.txt. Es domāju, ka no manas vietnes nav iespējas piekļūt bloķētajiem URL. Bet savos žurnālos esmu redzējis visu, ko bloķēju URL no robots.txt, un to pārmeklē Google robots. Un arī novēroja, ka "Google bot" izraisīja pirmo pieprasījumu, kam sekoja "Mediapartners-Google". Bet man nav skaidrības, vai Googlebot pārmeklē kādu citu noplūdi, vai no "Mediapartners-Google".

Un es vēlos uzzināt attiecības un atšķirības starp "Mediapartners-Google" un "Google bot".

  • 2 Ja tas ir bloķēts robots.txt tad Google nevajadzētu to pārmeklēt. Cik ilgi resursi ir bloķēti? Vai PĢS esat apstiprinājis, ka robots.txt sintakse ir pareiza? Vai esat apstiprinājis, ka tie ir reāli Googlebot pieprasījumi (veicot IP adreses reverso meklēšanu)?
  • Jā, es esmu veicis reverso meklēšanu, tie ir no Google, un nav problēmu ar robots.txt, kuru esmu pārbaudījis robots.txt testerī

Jūs sakāt, ka no savas vietnes nav iespējas piekļūt bloķētajiem URL? Es domāju, ka jūs domājat, ka jums nav nevienas saites, kas norādītu uz šiem vietrāžiem URL no savas vietnes. Tāpēc es to pieņemšu.

Vietrāžu URL vai vietnes daļas bloķēšana vietnē robots.txt faktiski negarantē, ka tie netiks pārmeklēti. Pastāv gadījumi, kad robots.txt failā tiks ignorēta aizliegšanas direktīva. Parasti tas notiek tāpēc, ka jums ir ārējās saites (atpakaļsaišu), kas norāda uz vietrādi URL, kuru vēlaties paslēpt. Ja mēģināt novērst URL indeksēšanu no Google, jums jāizmanto X-Robots-Tag HTTP galvene. Ja to izdarāt, failā robots.txt ir jānoņem direktīva neatļaut, pretējā gadījumā var rasties konflikts. Par to varat lasīt Google Search Console palīdzības sadaļā: https://support.google.com/webmasters/answer/7424835?hl=lv#h12

Google robots ir "parasts" robots no Google, kurš pārmeklēs jūsu vietni un iegūs indeksam izmantotos datus. Mediapartners-Google ir robots no Google AdSense vai Google Mobile Adsense, kurš pārmeklēs jūsu vietrāžus URL, lai viņi saprastu, kāds saturs ir jūsu lapā (-ās), un jūsu apmeklētājiem rādītu atbilstošas ​​reklāmas. Par to varat lasīt vietnē http://www.botreports.com/user-agent/mediapartners-google.shtml

  • Interesants fakts: visi Google roboti ir viens un tas pats robots. Vai vismaz tā tas bija pirms pāris gadiem. Tie vienkārši tiek identificēti atšķirīgi, un tiem ir atšķirīgi pēcnovilkšanas procesi. Būtībā runa ir tikai par dažādu meklēšanas pakalpojumu pieprasījumu rindošanu, izmantojot vienu, bet elastīgu ienesšanas rindošanas procesu.
  • Dažreiz Google iesniedz pieprasījumus, neparādoties, lai ņemtu vērā robots.txt. Google ielādēs robots.txt ikreiz, kad to apmeklēs ilgāk par 24 stundām. Ja kāda iemesla dēļ Google nevar ielādēt robots.txt failu, tas izmantos pēdējo, kuru tas ienesa. Esmu redzējis, ka tas turpinās vairākas nedēļas. Google mēģina izvairīties no ierobežotām lapām. Tomēr, kā jūs jau zināt, nav iespējams veikt perfektu darbu, ienesot lapas.
  • @closetnoc Ir jēga, labs punkts.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?