Kā ĶĪNA un TAIVĀNA vēlas NAUDAINĀT CORONAVIRUS - VisualPolitik EN

Ja es nevēlos iestatīt kādu īpašu uzvedību, vai tas ir labi, ja es neuztraucos ar robots.txt failu?

Vai arī viena trūkums var būt kaitīgs?

Robots.txt faila trūkums nekaitēs. No vietnes robotstxt.org:

Lai visiem robotiem ļautu pilnīgu piekļuvi

Lietotāja aģents: *
Neatļaut:

(vai vienkārši izveidojiet tukšu failu "/robots.txt" vai arī neizmantojiet to vispār)

Tomēr, pat ja failā robots.txt neko nenorādāt, tas ir labs veids, kā meklētājprogrammām informēt par jūsu XML vietnes kartes atrašanās vietu. To var izdarīt, faila robots.txt augšdaļā pievienojot rindiņu, kas izskatās šādi:

Vietnes karte: http://www.example.com/sitemap-host1.xml

Jums arī jāapzinās, ka tā neesot, jūsu tīmekļa žurnālos tiks izveidots daudz 404 ierakstu.

  • +1 - labs kopsavilkums, lai gan es patiešām uzsvērtu to, ko Kinopiko jau pareizi uzsvēra: vienkārši izveidojiet visvienkāršāko vai pat tukšu izvairieties no tiem 404 un (atkarībā no jūsu vietņu 404 lapu apstrādes) potenciāli diezgan liela trafika / joslas platums, jo meklētājprogrammas izmantos pareizu HTTP kešatmiņas vadību, lai atkārtoti izlaistu faila lejupielādi, ja tā nemainās, neatkarīgi no tā, vai tā ir tukša vai nē.
  • Atzīmēts kā wiki, lūdzu, rediģējiet pēc saviem ieskatiem.

Ja jums nav "robots.txt", jūsu kļūdu žurnālā failā būs daudz 404, kas varētu būt sava veida kairinājums, līdzīgi kā tad, ja jums nav favicon.

  • 2 lielisks punkts ..
  • 2 +1 - es vēlētos piebilst, ka jūs ne tikai glābjat sevi no lielākiem un trokšņainiem žurnālfailiem, bet arī varat (atkarībā no jūsu vietņu 404 lapu apstrādes) izvairieties no potenciāli diezgan liela trafika / joslas platuma kā arī tāpēc, ka lielākā daļa 404 lappušu ir lielākas nekā vienkāršas robots.txt failu, kas turklāt tiks lejupielādēts retāk, jo meklētājprogrammas piemēro pareizu HTTP kešatmiņas kontroli.

Es domāju, ka tā būtu ir lai viss būtu kārtībā, pretējā gadījumā tīmekļa zirnekļi nevarētu indeksēt milzīgus tīmekļa vākus.

robots.txt ir tas pats, kas "atļaut indeksēt visiem" robots.txt gandrīz pēc definīcijas.

Robots.txt faila trūkums ļauj rāpuļprogrammai izlemt, ko viņš drīkst un ko nedrīkst. Tā kā nepieciešamas tikai sekundes, lai izvairītos no jebkāda veida neskaidrības, kāpēc gan ne tikai izveidot tādu, kas ļauj visiem aģentiem piekļūt visam?

Nu, kopš robots.txt satur jūsu vietnes kartes adresi, tās neesamība ir potenciāli kaitīga.

  • Vietņu kartes ir noderīgas tikai noteikta veida vietnēm, SJO
  • Esmu redzējis arī rāpuļprogrammas (it īpaši google), meklējot /sitemap.xml vai /sitemap.gz, ja nav robots.txt
  • Vietnes karte jūsu robots.txt failā nav nepieciešama, tik un tā varat to iesniegt Google / Yahoo / Bing. Tas noteikti nav "potenciāli kaitīgs".

Atkarībā no jūsu satura nevajadzētu būt problēmām ar robotu faila neesamību, ja vien jūs vēlaties, lai visas jūsu vietnes lapas indeksētu meklētājprogrammas.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?

noderīga informācija