Fizikālās un ķīmiskās izmaiņas

Savā mitināšanas konta statistikā redzu, ka pastāv liela atšķirība starp parastajiem lapas apmeklējumiem un robotu apmeklējumiem. Es domāju, ka roboti rada lielu CPU izmantošanu serverī.

Kas man jāmeklē tīmekļa piekļuves žurnālos, lai mēģinātu identificēt problēmu, un, kad tas ir identificēts, kā es varu iestatīt piekļuves kontroli, lai to novērstu?

Ja ar robotprogrammatūru jūs domājat rāpuļus, tad vienkāršam failam robots.txt vajadzētu būt iespējai novērst problēmu robotiem, kuri tam faktiski piekrīt. Tomēr maz var darīt, lai novērstu tos, kas to nedara, izņemot to bloķēšanu tīkla līmenī.

Robots.txt failu var izmantot, lai iekļautu rāpuļprogrammas baltajā sarakstā vai melnajā sarakstā vai konkrētās vietnes daļās. Ja jums ir kāds statisks materiāls (vai ar datu bāzi balstītas kopijas statiskas versijas), ko var izmantot, varat rāpuļus norādīt uz turieni, nezaudējot pārāk daudz no svaiguma viedokļa.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?