Manuprāt, robots.txt ir nepieciešams tikai, lai izdarītu kaut ko atšķirīgu no normas, piemēram, izslēgtu noteiktu failu direktoriju un tamlīdzīgu, bet, ja tā ir taisnība, kāpēc tik daudzi cilvēki domā, ka tas ir svarīgi katrā vietnē? Vai man to vienkārši vajadzētu ievietot katrā vietnē, lai pārliecinātos?

Ja jums nav nekā tāda, ko nevarat pateikt meklētājprogrammām, to nedarbojat indeksēt (vai pārmeklēt). Tas neietekmē jūsu indeksēšanu.

Skatiet šo Google atbildēto jautājumu.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?