Viesnīcu kamerās noķerti 8 rāpīgākie kadri

Ir divas vietnes: a.example un b.example.

  • URL a.example/cat tika atļauts rāpot vietnē a.example / robots.txt.
  • URL a.example/cat/page netika atļauts pārmeklēt a.example / robots.txt.

Tad

a.example/cat un a.example/cat/page tika pārvietoti uz b.example ar 301 novirzīšanu. Viņi kļūst

  • b.example/cat (atļauts rāpot vietnē b.example / robots.txt),
  • b.example/cat/page (nav atļauts pārmeklēt vietnē b.example / robots.txt)

Robots.txt plkst a.example kopš novirzīšanas nav atļautu / neatļautu noteikumu.

Problēma: URL a.example/cat/page Search Console ir uzskaitīti kā indexed, but disallowed for crawling, neskatoties uz visām vietnes kartēm un robots.txt, jau ir apstrādāti.

Manas aizdomas: ja Googlebot izmanto novirzīšanu uz 301 un saņem kā mērķa URL, kas nav atļauts rāpot, tas nevar apstrādāt ne avotu, ne avotu nevienu mērķa URL. Ja tā, tas ir dīvaini. Pareiza rīcība būtu atteikties no ĢS jebkādas informācijas par avota URL.

Vai kādam ir ideja, kā to noņemt a.example/cat/page no saraksta indexed, but disallowed for crawling?

  • Ko dara /cat ir ar to saistīts? Es nedomāju, ka tas vispār maina jūsu jautājumu, ja vecāku direktorijs ir atļauts vai aizliegts, izmantojot robots.txt?
  • Kāpēc pareiza rīcība būtu visas informācijas par URL izlaišana no Google Search Console? Es nedomāju, ka esmu redzējis, ka Google pilnībā aizmirst URL.
  • /cat tiek pieminēts skata pilnīgumam. Ar correct es domāju: es sagaidu, ka iespējamie brīdinājumi, piemēram, indexed, but blocked for crawling tiek nomesti, ja URL tomēr ir pastāvīgi prom: 301 (nevis 302), 404, 410.
  • 1 Šķiet gaidītā uzvedība. URL nav atļauts pārmeklēt, taču nekas netraucē to indeksēt. Tā kā tas nav pārmeklēts, Google rādītājā būs maz informācijas par to. Tikai teksts, kas saistīts ar saitēm uz to. Skatiet sadaļu Svarīgi šeit: support.google.com/webmasters/answer/93710?hl=lv
  • 1 Man ir aizdomas, ka Google ziņo, ka tas nav atļauts, jo URL, uz kuru tas novirza, nav atļauts. Es neesmu pārliecināts, ka šeit notiek kaut kas cits, kā jaucot ziņojumapmaiņu pakalpojumā Google Search Console.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?

noderīga informācija