iPhone / iPad konfidencialitātes un atrašanās vietas pakalpojumi

User-agent: * Disallow: / User-agent: Googlebot Allow: / 

Es izmantoju šo komandu failā robots.txt. Bet es nedomāju, ka tas ir pareizi. Kādai jābūt pareizai komandai? Daži raksti, kurus esmu atradis, ir teikts, lai to nedarītu robots.txt

#Code to not allow any search engines! User-agent: * Disallow: / 

Un arī konstatēja, ka mums ir jāatspējo Googlebot, izņemot failu js un css.

User-agent: Googlebot Allow: /*.js* Allow: /*.css* Allow: /google/ 

Tātad, kā vajadzētu rīkoties pareizi?

  • Kāds ir tavs mērķis?

Es biju diezgan sajaukusi ar jautājumu. Ja es būtu jūs, es domāju, ka labāk ir izmantot vienu lietotāja aģentu, pieņemsim, ka visu robotu apzīmēšanai piešķiram *. Tad jūs varat izmantot funkciju neatļaut direktorijiem, kurus šie roboti neapmeklē.

User-agent: * Disallow: /folder1/ Disallow: /folder2/ 

Lūdzu, ņemiet vērā arī to, ka CSS un dažu skriptu bloķēšana ietekmēs arī to, kā Google redz jūsu vietni - ja atsaucīgajai tēmai ir CSS, jūsu vietne var zaudēt mobilajām ierīcēm draudzīgo faktoru, ko Google meklē. Mēģiniet arī veikt meklēšanu savā domēnā Google meklēšanas joslā un noskaidrot, vai viņu robots to var redzēt.

Googlebot vajadzētu saprast jūsu Allow: direktīva, taču tas nav standarta veids, kā atļaut rāpošanu. Standarta veids, kā atļaut rāpošanu, ir neko neatļaut. Es izmantotu:

User-agent: * Disallow: / User-agent: Googlebot Disallow: 

Tas ir dokumentēts oficiālā robots.txt vietnes piemērā "Lai visiem robotiem nodrošinātu pilnīgu piekļuvi": http://www.robotstxt.org/robotstxt.html

  • Paldies par atbildi. Es gribu būt drošs par vienu lietu. Izmantojiet Wordfence Security spraudni savai WordPress vietnei. Šeit tiešraide, kas ienāk manā vietnē, tiek rādīta kategorijās (Cilvēks, Bots, Brīdinājums, Bloķēts). kur daži no tiem neparādās Analytic. šī datplūsma ir norādīta kā Bot satiksme un arī bloķēta ar spraudni. Tāpēc es sajaucos, kāda veida Bots tas ir? ģenerējot šāda veida trafiku. Datplūsma arī palielina CPU izmantošanu. Tāpēc es pieņemu, ka bloķēšu arī Google botu, kā arī visus botus, lai redzētu rezultātu. Tas, ko jūs domājat aiz šāda veida botiem, rada satiksmi ...
  • Jūs nevēlaties bloķēt Googlebot, ja vēlaties, lai jūsu vietne tiktu indeksēta Google meklētājprogrammā. Tā vietā, lai mēģinātu bloķēt robotu trafiku, jums jāuzlabo vietnes veiktspēja. Es atklāju, ka WordPress kešatmiņas spraudņi, piemēram, W3 Total Cache, padara brīnumus, uzlabojot WP darbību.
  • Paldies. Bet tas ir ļoti lielas galvassāpes, jo CPU izmantošana dažu sekunžu laikā ir lielāka. Šī iemesla dēļ serveru kopiena deaktivizē manu vietni. Mana vietne SEO visu labi uztur meklētājprogrammu noteikumus un noteikumus, atjauniniet spraudni, atjauniniet wp versiju, minimālo spraudņa skaitu. Tātad, kāpēc notiek šāda veida satiksme. Meklējiet šeit un tur, bet nav precīzu risinājumu. Kā es varu to novērst? un es kešatmiņas problēmai izmantoju wp super kešatmiņas spraudni.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?