Piestipriniet izpūstas galvas blīvi un noregulējiet vārstus zāliena traktorā ar OHV motoru

No tā, ko uzzināju, ir viens veids, kā es varu likt indeksēt visus URL domēnā, kas stingri apkalpo attēlus, un tas ir ar x-robots-tag HTTP galveni. Tagad es pārbaudu savus žurnālus un uzzinu, ka google un pat baidu lejupielādē visu attēlu URL saturu. Es cerēju, ka viņi pārtrauks lejupielādi, kad nonāca pie šīs līnijas:

X-Robots-Tag: noindex, noimageindex 

Vai nu es nepareizi formatēju šo rindu (izmantoju nepareizu burtu, nepareizu vērtību secību vai kaut ko citu), vai arī meklētājprogrammas ir vienkārši mēms, un viņi vienkārši nolemj lejupielādēt visu, lai izniekotu klienta naudu.

Es ieskatījos robots.txt un domāju izmantot noindex līniju, bet, kad to izdarīju, google sūdzējās, ka nav piekļuves tam, ko viņi sauc par "svarīgu URL", ja tas nav svarīgi.

Es nevēlos bloķēt viņu IP, jo man ir teksta saturs citā domēnā, kas darbojas tajā pašā serverī, kuru es vēlos, lai viņi indeksē.

Man ir kārdinājums piedāvāt meklētājprogrammām līdzvērtīgu to, ko lietotāji saņem, ja viņi pieprasīja URL, izmantojot HEAD metodi (pilnas galvenes, bet nav faktiska satura), taču es varētu saņemt sodu par satura maskēšanu.

Vai es varu kaut ko darīt, lai to labotu?

  • 1 Kāpēc jūs nevarat vienkārši pievienot robots.txt attēla domēna saknei, ja nevēlaties, lai tajā būtu kaut kas indeksēts?
  • kad mēģināju attēla domēna saknē izmantot robots.txt ar opciju "noindex: /", google sūdzējās, ka tai ir bloķēta piekļuve, viņuprāt, svarīgai lapai.
  • 2 Vienkārši izlasiet savu citu saistīto jautājumu. Personīgi es vienkārši ievietotu robots.txt atpakaļ, bet izmantoju pareizo Disallow: / sintakse (nav noindex). Pārliecinieties, ka nekur neesat saistīts ar attēla domēna sakni, ja par to sūdzējās kļūda tīmekļa pārziņa rīkos. Ja šī kļūda joprojām pastāv, ļaujiet Google pārmeklēt domēna sakni, bet ne attēlus (t.i., dariet Disallow: /images vai līdzīgi atkarībā no tā, kā izskatās jūsu URL).

Visefektīvākais veids, kā to izdarīt, ir robots.txt faila izmantošana ar Disallow: / kā vienīgo direktīvu un ievietojiet to attēlu domēna tīmekļa saknē. Kad tas būs izdarīts, meklētājprogrammas attēlus nepārmeklēs. Iemesls, kāpēc jūs saņēmāt kļūdu no Google, bija tikai tāpēc, ka tas bija datorizēts novērtējums, kas uzskatīja, ka attēli, iespējams, bija jāpārmeklē, taču tas ir jūsu ziņā. Tā kā nevēlaties, lai attēli tiktu indeksēti, varat droši ignorēt šo Google kļūdu, jo tas norāda, ka attēli netiks pārmeklēti tieši tā, kā vēlaties.

Google atbalsta Noindex: robots.txt. Skatiet, kā robots.txt darbojas “Noindex:”? Tomēr tā ir beta funkcija, un viņi var noņemt tās atbalstu. Tāpēc es izmantotu robots.txt fails:

User-Agent: * Disallow: / User-Agent: Googlebot Noindex: / User-Agent: bingbot Disallow: User-agent: Yahoo! Slurp Disallow: User-agent: Yandex Disallow: 

Kopā ar virsrakstu, kuru pieminat savā jautājumā:

X-Robots-Tag: noindex, noimageindex 

Tādā gadījumā tikai trīs zirnekļi pārmeklēs jūsu saturu, lai uzzinātu, ka viņi to nevar indeksēt. Googlebot nemeklēs un neindeksēs. Robotiem, kas nav meklētājprogrammas, vispār nebūs atļauts rāpot.

Ja Googlebot pārtrauc atbalstīt Noindex: tas sāks rāpot un uzzinās, ka nevar indeksēt.

strādāja par jums: Charles Robertson | Vēlies ar mums sazināties?