Es to redzu divu uzturēto vietņu iis žurnālos:

GET /an/existing/page/on/my/site+ForceRecrawl:+0 - 80 - 207.46.195.105 HTTP/1.1 Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm) 

Apmēram vienu vai divas no tām dienā saņemu no šīm IP adresēm: 207.46.195.105, 65.52.110.190 .. an vairāk, visi pieder msnbot-ip.search.msn.com

Droši vien Microsoft ir kāda kļūda viņu rāpuļprogrammā? Jebkurā veidā, veicot meklēšanu “ForceRecrawl: 0” lielākajās meklētājprogrammās, rodas virkne nejaušu vietņu. Veicot meklēšanu vietnē StackOverflow vai šeit, rezultāti nedeva rezultātu (par lielu izbrīnu). Vai es vienīgais to redzu? Es tos pirmo reizi pamanīju šī mēneša 9. datumā, un redzu, ka tie gandrīz katru dienu iet garām kopš ...

Vēl viena, manuprāt, traka lieta ir tā, ka URL http://www.bing.com/bingbot.htm novirza uz mail.live.com (hotmail).

Pašlaik es atgriežos 404, taču apsveru iespēju tos noķert, noņemt beigu daļu “ForceRecrawl: 0” un apstrādāt tā, it kā tas būtu likumīgs URL.

Vai kāds varētu to nedaudz apgaismot? Vai tas varētu būt saistīts ar kādu konfigurāciju Bing tīmekļa pārziņa rīkos?

  • Mēs tikko saņēmām arī vienu no šiem: GET / xxxxx / yyyy / zzzzz ForceRecrawl: 0 HTTP / 1.1 Cache-Control: no-cache Connection: Keep-Alive Pragma: no-cache Accept: / Accept-Encoding: gzip, deflate User-Agent: Mozilla / 5.0 (savietojams; bingbot / 2.0; + bing.com / bingbot.htm) Un mums ir IIS, kas mitina vietni, kurā tiek parādīta kļūda: System.Web.HttpException (0x80004005) : No klienta tika atklāta potenciāli bīstama Request.Path vērtība. pie System.Web.HttpRequest.ValidateInputIfRequiredByConfig () vietnē System.Web.HttpApplication.PipelineStepManager.ValidateHelper (HttpContext context) Cerams
  • 1 Mēs saņemam kaudzi šo, un mēs neesam lūguši atkārtotu pārmeklēšanu. Mēs izmantojam URL normalizēšanu, un es domāju, kas ir iemesls, kāpēc tie tiek kļūdīti. Vairāk nekā trīs ceturtdaļas no 404 maniem žurnāliem ir tāpēc. Tas mani nedaudz neuztrauc ar Bing, jo tas liek man vajāt jautājumus, kuriem nevajadzētu pastāvēt. Vai ir kāda palīdzība redzeslokā?
  • Tīmekļa pārziņa rīkos neesmu konfigurējis nevienu URL normalizāciju, tāpēc tas nav cēlonis. Es joprojām tos saņemu, un tas ir kaitinoši.
  • Nu, vairāk nekā mēnesi, un nav atvieglojumu. Patiešām diezgan skumji, ka neviens no Bingas pat nav veltījis laiku, lai šeit atbildētu, bet atkal viņu forumos atbildes galvenokārt ir BS.
  • Hmm, kad es noklikšķinu uz jūsu saites bingbot.htm, tas aizvedīs uz vietni onlinehelp.microsoft.com/en-us/bing/hh204496.aspx, nevis uz mail.live.com. Ziņkārīgs.

Jūs neesat vienīgais. Šķiet, ka tas izriet no Bing tīmekļa pārziņa rīkiem, kas ietver iespēju piespiest robotu pārmeklēt konkrētus URL. Tomēr šķiet, ka tas notiek bez lietotāja pieprasījuma pēc šādas piespiedu pārmeklēšanas.

Šķiet, ka robots pievieno instrukciju %20ForceRecrawl%3A%200 līdz URL beigām un mēģinot pārmeklēt URL plus mazliet beigās, tas, protams, rada kļūdu 404.

Mēs dažus no tiem esam noņēmuši, izmantojot BWT bloķēšanas funkciju, taču tā joprojām met citus. Tas var izlabot sevi, ja nē, iespējams, vajadzēs 301 novirzīšanu.

  • Paldies, prieks uzzināt, ka neesmu vienīgais :-) Es mēģināju novirzīt, bet šķiet, ka IIS to apstrādā, pirms tas sasniedz manu kodu, norādot kļūdu "No klienta tika konstatēta potenciāli bīstama Request.Path vērtība (:) ". Uzminiet, ka to atstās Bing izstrādātāju ziņā.
  • Sveiki, nezinu, vai jums joprojām ir tāda pati problēma. Es joprojām to redzu ar noteiktiem vietrāžiem URL. Esmu to pieminējis viņu tīmekļa pārziņu forumā, taču joprojām neatbildu.

Bloķējiet robotus,

vienkārši izkliedējiet tos robots.txt un problēma vairs nekad neparādīsies, izņemot gadījumus, ja viņi maina robota nosaukumu vai izveido jaunu, piemēram, Microsoft, viņi izmanto msnbot, tagad viņi izmanto bingbot

  • 1 Nē, bloķējot robotus, vietne netiktu atrasta meklētājprogrammās.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?

noderīga informācija