kas ir Google AdSense rāpuļprogramma? -40ads.com

Man ir vietne ar Drupal 8, un es aktivizēju angļu un franču valodu (valoda no URL ceļa prefiksa). Lūk, līdzīgs mans URL:

https://www.example.com/en/node/add https://www.example.com/fr/node/add 

Un šeit ir mana pašreizējā konfigurācija robots.txt fails:

# Paths (clean URLs) Disallow: /admin/ Disallow: /comment/reply/ Disallow: /filter/tips Disallow: /node/add/ Disallow: /search/ Disallow: /user/register/ Disallow: /user/password/ Disallow: /user/login/ Disallow: /user/logout/ 

Kā konfigurēt failu robots.txt ar daudzvalodu vietni?

Vai man ir jāpievieno fr un jāslavē katrs URL, vai tas to darīs viens pats?

Disallow vērtībām jāsākas ar URL ceļa sākumu.

Tātad Disallow: /node/add bloki https://www.example.com/node/add, bet ne viens, ne otrs https://www.example.com/en/node/add ne arī https://www.example.com/fr/node/add.

Ja vēlaties bloķēt visus mezgla pievienošanas lapas variantus, jums jāizmanto:

Disallow: /node/add Disallow: /en/node/add Disallow: /fr/node/add 

(Ņemiet vērā, ka es izlaidu beigu slīpsvītru. Ja mezgla pievienošanas lapai nav pēdējās slīpsvītras, tad Disallow vērtība arī tā ir jāizlaiž, pretējā gadījumā tā neatbilst. Ja mezgla pievienošanas lapai ir beigas slīpsvītra, to izlaižot Disallow vērtība nav problēma, tā joprojām sakritīs.)

Jūsu jautājums nav skaidrs. Vai jūs mēģināt bloķēt kādu savas vietnes versiju?

Robots.txt tiek izmantots, lai neļautu meklētājprogrammām pārmeklēt noteiktas jūsu vietnes atrašanās vietas.

Arī pašreizējā konfigurācija ir nepareiza, izmantojiet šo:

# Paths (clean URLs) User-agent: * Disallow: /admin/ Disallow: /comment/reply/ Disallow: /filter/tips Disallow: /node/add/ Disallow: /search/ Disallow: /user/register/ Disallow: /user/password/ Disallow: /user/login/ Disallow: /user/logout/ Sitemap: https://www.example.com/sitemap.xml 

Turklāt jums nav jāuzskaita visi vietrāži URL no apakšdirektorija. Piemēram, ja vēlaties bloķēt SE, lai netiktu indeksēts / indeksēts "lietotājs", varat izmantot šādu kodu:

# Paths (clean URLs) User-agent: * Disallow: /admin/ Disallow: /comment/reply/ Disallow: /filter/tips Disallow: /node/add/ Disallow: /search/ Disallow: /user/ Sitemap: https://www.example.com/sitemap.xml 

Jūs varat uzzināt vairāk par to, kā lietot robots.txt izmantojot Search Console resursus.

  • Es domāju to, ka tagad manā vietrādī ir “fr” un “en” vietnes valodai. Vai man tas jāiekļauj failā robots.txt?
  • Ja mēģināt bloķēt visus vietrāžus URL vietnes “fr” un “en” versijās, varat to atjaunināt failā robots.txt. Piemērs: jums ir piemēri.com/lietotajs un piemers.com/fr/lietotajs, tad, lai bloķētu visu apakšdirektoriju, jāizmanto Disallow: / fr / user /

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?