Re: 2008 YOUTUBE HALLOWEEN KOSTĪMU KONKURSS !!!

Man ir līdzīgs URL, ko indeksējis Google

https://example.com/companies/company?utm_source=xxx

Un šī izeja:

A description for this result is not available because of this site's robots.txt.

Šeit ir robots.txt

User-agent: * Disallow: / Disallow: /static/* Disallow: /templates/* Disallow: /translations/* Sitemap: https://example.com/sitemap.xml 

Man ir divi jautājumi. Vai šāda veida URL ir jāindeksē? Ja jā, kā es varu noņemt ziņojumu par aprakstu?

  • 1 Šī nav jūsu problēma, taču jums to vajadzētu noņemt * no visiem jūsu beigām Disallow noteikumiem. Neatļautās kārtulas ir visas “sākas ar” kārtulas, tāpēc zvaigzne nav vajadzīga. Tikai daži rāpuļprogrammas (piemēram, Googlebot) saprot aizstājējzīmes. Citi rāpuļprogrammas meklēs tādas lietas kā "/ static / * / foo" ar burtisku zvaigzni.
  • "Vai šāda veida URL ir jāindeksē?" - Vai tas nav jautājums, kuru mums vajadzētu uzdot jums ?! Kurš izveidoja jūsu robots.txt likās, ka fails nedomā.

Noņemiet šo līniju

Disallow: / 

Un tev labi iet.

User-agent: * Disallow: / 

Šeit * nozīmē, ka visi pieklājīgie roboti, tostarp Googlebot, BingBot, YandexBot, ievēros jūsu robots.txt noteikumus un / nozīme viss direktorijs ir atļauts tikai pārmeklēt.

Jums jāizmanto tikai šis noteikums.

User-agent: * Disallow: /static/* Disallow: /templates/* Disallow: /translations/* Sitemap: https://example.com/sitemap.xml 

Šis robots.txt liek visiem pieklājīgajiem robotprogrammām nemeklēt visus failus statiskajā, veidņu un tulkojumu mapē. Tātad vēlreiz, ja jūsu vietnes kartē ir šie URL

https://example.com/static/some-javscript.js https://example.com/static/some-photos.png https://example.com/templates/some/index.html https://example.com/templates/translations/de/index.html 

Tad Google joprojām parādīs šo rindu meklēšanas rezultātos, jo esat to bloķējis rāpošanai, tāpēc saprotiet robots.txt jēdzienu, un to vispār nav grūti saprast.

  • Paldies. Ja es pareizi saprotu, vai ir laba prakse indeksēt saites no utm_source?
  • Jā, tas ir pilnīgi labi, Google drīz varēs automātiski atklāt šos parametrus un ziņos par jums jūsu meklēšanas konsoles īpašumā. UTM parametrs ir izplatīts, un Google ar to rīkosies automātiski.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?