Los Sims 4: Piekabe Oficial de Lanzamiento

Man vakar bija incidents, kad manu vietni noņēma tīmekļa rāpuļprogramma, kas neņēma vērā manu robots.txt. Esmu diezgan pārliecināts, ka nekas ļaunprātīgs nebija paredzēts, taču rāpuļprogramma nomaldījās lapās, kas manu datu bāzi pilnībā pārslogoja ar laikietilpīgiem pieprasījumiem.

Ko darīt "nākamreiz"?

(1) Acīmredzot ir grūtāk izraisīt apgrūtinošus pieprasījumus, vienkārši noklikšķinot uz saites.

(2) Otra ideja, kas man ir, ir pievienot "indes tablešu" saites, kuras būtu neredzamas cilvēkiem, bet kurām būtu blakus efekts, ja IP adresi atzīmētu kā robotu.

Jautājums ir, vai tas, visticamāk, izraisīs viltus pozitīvus rezultātus, piemēram, tāpēc, ka pārlūks mēģināja iepriekš ielādēt saiti "atzīmēt mani kā robotu".

  • 1 Skatiet šo jautājumu par dažām iespējām: stackoverflow.com/q/233192/902654 (es saprotu, ka rāpuļprogrammas nolūks ir atšķirīgs, taču var izmantot tās pašas metodes)

Nu ... Viena lieta, ko es kādreiz izdarīju, bija perl izmantošana, lai izveidotu saiti uz bezgalīgi atkārtojošu saiti, pārliecinoties, ka katru reizi tiek ģenerēta jauna URL daļa, piemēram:

www.mysite.com/traplink www.mysite.com/traplink/trap01/ www.mysite.com/traplink/trap01/trap02/ www.mysite.com/traplink/trap01/trap02/trap03/ 

Šādās līnijās ir arī citas alternatīvas, taču ideja jums rodas.

  • 3 Vai tas Web rāpuļprogrammu nepārvērstu par vienotu uzbrukuma atteikumu no pakalpojuma? Ideja ir panākt, lai robots iet prom, nevis lai tas paliek mūžīgi.
  • Tas bija diezgan nežēlīgs rāpotājs. Viņi to palika vietnē tikai divas reizes pēc tam, kad es to izdarīju, un pēc tam viņi devās prom. Es domāju, ka viņi mūsu mazo vietni sasniedza tikai dažās mūsu rīcībā esošajās datubāzēs.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?