Hakukoneoptimointi, sen alkeellisimmassa merkityksessä, perustuu yhteen asiaan ennen kaikkea: Hakukonehämähäkkeihin indeksointi ja indeksointi sinun sivusi.
Mutta lähes jokaisella verkkosivustolla on sivuja, joita et halua sisällyttää tähän tutkimiseen.
Haluatko esimerkiksi todella, että tietosuojakäytäntösi tai sisäiset hakusivut näkyvät Googlen tuloksissa?
Parhaassa tapauksessa ne eivät ohjaa liikennettä sivustollesi aktiivisesti, ja pahimmassa tapauksessa ne voivat ohjata liikennettä tärkeämmiltä sivuilta.
Onneksi Google antaa verkkovastaaville mahdollisuuden kertoa hakukoneboteille, mitkä sivut ja sisältö indeksoidaan ja mitä jätetään huomiotta. Tähän on useita tapoja, joista yleisin on robots.txt-tiedoston tai robots-metatunnisteen käyttäminen.
Meillä on erinomainen ja yksityiskohtainen selitys robots.txt-tiedoston läpikotaisin, jotka sinun tulee ehdottomasti lukea.
Mutta korkean tason termeillä se on pelkkä tekstitiedosto, joka sijaitsee verkkosivustosi juurissa ja seuraa Robots Exclusion Protocol (REP).
Robots.txt tarjoaa indeksointiroboteille ohjeita koko sivustosta, kun taas metarobots-tunnisteet sisältävät ohjeita tietyille sivuille.
Joitakin metarobottitunnisteita, joita saatat käyttää, ovat mm indeksijoka käskee hakukoneita lisäämään sivun hakemistoonsa; noindexjoka käskee sitä olemaan lisäämättä sivua hakemistoon tai sisällyttämättä sitä hakutuloksiin; seuraajoka kehottaa hakukonetta seuraamaan sivulla olevia linkkejä; nofollowjoka käskee sitä olemaan seuraamatta linkkejä, ja monet muut.
Sekä robots.txt- että metarobots-tunnisteet ovat hyödyllisiä työkaluja työkalulaatikossasi pitämiseen, mutta on myös toinen tapa ohjeistaa hakukonebotteja noindex- tai nofollow-toimintoon: X-Robots-Tag.
Mikä on X-Robots-Tag?
X-Robots-Tag on toinen tapa hallita sitä, miten hämähäkit indeksoivat verkkosivusi. Osana URL-osoitteen HTTP-otsikkovastausta se hallitsee koko sivun indeksointia sekä sivun tiettyjä elementtejä.
Ja vaikka metarobottitunnisteiden käyttö on melko yksinkertaista, X-Robots-Tag on hieman monimutkaisempi.
Mutta tämä tietysti herättää kysymyksen:
Milloin sinun pitäisi käyttää X-Robots-tagia?
Mukaan Google“Jokainen direktiivi, jota voidaan käyttää robots-sisällönkuvauskentässä, voidaan määrittää myös X-Robots-Tagiksi.”
Vaikka voit asettaa robots.txt-tiedostoon liittyviä ohjeita HTTP-vastauksen otsikoissa sekä metarobots-tunnisteen että X-Robots-tagin kanssa, on tiettyjä tilanteita, joissa haluat käyttää X-Robots-Tagia – kahta yleisintä. kun:
- Haluat hallita muiden kuin HTML-tiedostojesi indeksointia ja indeksointia.
- Haluat näyttää käskyjä koko sivuston sivutason sijaan.
Jos esimerkiksi haluat estää tietyn kuvan tai videon indeksoinnin – HTTP-vastausmenetelmä tekee tästä helppoa.
X-Robots-Tag-otsikko on myös hyödyllinen, koska sen avulla voit yhdistää useita tunnisteita HTTP-vastaukseen tai käyttää pilkuilla eroteltua luetteloa ohjeista määrittääksesi ohjeet.
Ehkä et halua tietyn sivun olevan välimuistissa ja haluat, että se ei ole käytettävissä tietyn päivämäärän jälkeen. Voit käyttää noarchive- ja unavailable_after-tunnisteiden yhdistelmää ohjeistaaksesi hakukonebotteja noudattamaan näitä ohjeita.
Pohjimmiltaan X-Robots-Tagin voima on siinä, että se on paljon joustavampi kuin metarobots-tunniste.
Etu käyttää an X-Robots-Tag HTTP-vastauksilla on se, että sen avulla voit käyttää säännöllisiä lausekkeita indeksointikäskyjen suorittamiseen ei-HTML-muodossa sekä parametrien soveltamisen laajemmalla globaalilla tasolla.
Jotta ymmärtäisit näiden ohjeiden väliset erot, on hyödyllistä luokitella ne tyypin mukaan. Eli ovatko ne indeksointiohjeita vai indeksointiohjeita?
Tässä on kätevä huijauslehti selittämään:
| indeksointirobottidirektiivit | Indeksointidirektiivit |
| Robots.txt – käyttää käyttäjäagentti-, salli-, esto- ja sivustokartta-komentoja määrittääkseen, missä sivuston hakukonebotit saavat indeksoida ja missä ne eivät saa indeksoida. | Meta Robots tag – voit määrittää ja estää hakukoneita näyttämästä tiettyjä sivuston sivuja hakutuloksissa.
Nofollow – voit määrittää linkkejä, joiden ei pitäisi siirtää auktoriteettia tai PageRank-arvoa. X-Robots-tag – voit hallita, kuinka tietyt tiedostotyypit indeksoidaan. |
Mihin laitat X-Robots-tunnisteen?
Oletetaan, että haluat estää tietyt tiedostotyypit. Ihanteellinen tapa olisi lisätä X-Robots-Tag Apache-kokoonpanoon tai .htaccess-tiedostoon.
X-Robots-Tag voidaan lisätä sivuston HTTP-vastauksiin Apache-palvelimen kokoonpanossa .htaccess-tiedoston kautta.
Tosimaailman esimerkkejä ja käyttötapoja X-Robots-tagista
Joten se kuulostaa hyvältä teoriassa, mutta miltä se näyttää todellisessa maailmassa? Katsotaanpa.
Oletetaan, että halusimme, etteivät hakukoneet indeksoi .pdf-tiedostotyyppejä. Tämä Apache-palvelimien kokoonpano näyttäisi tältä:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>
Nginxissä se näyttäisi tältä:
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}
Katsotaanpa nyt erilaista skenaariota. Oletetaan, että haluamme käyttää X-Robots-Tagia estämään kuvatiedostojen, kuten .jpg, .gif, .png jne., indeksoinnin. Voit tehdä tämän X-Robots-tagilla, joka näyttäisi tältä:
<Files ~ "\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>
Huomaa, että on ratkaisevan tärkeää ymmärtää, miten nämä direktiivit toimivat ja miten ne vaikuttavat toisiinsa.
Mitä esimerkiksi tapahtuu, jos sekä X-Robots-Tag että metarobots-tunniste löytyvät, kun indeksointirobotit löytävät URL-osoitteen?
Jos tämä URL-osoite on estetty robots.txt-tiedostosta, tiettyjä indeksointi- ja käyttöohjeita ei voida löytää eikä niitä noudateta.
Jos ohjeita on noudatettava, ne sisältävien URL-osoitteiden indeksointia ei voida estää.
Tarkista X-Robots-tunniste
On olemassa muutamia eri menetelmiä, joilla voidaan tarkistaa X-Robots-Tag sivustolta.
Helpoin tapa tarkistaa on asentaa a selainlaajennus joka kertoo X-Robots-Tag-tiedot URL-osoitteesta.
Kuvakaappaus Robots Exclusion Checkeristä, joulukuu 2022Toinen laajennus, jonka avulla voit esimerkiksi määrittää, käytetäänkö X-Robots-Tagia, on Web Developer -laajennus.
Napsauttamalla laajennusta selaimessasi ja siirtymällä kohtaan “Näytä vastausotsikot”, näet käytetyt HTTP-otsikot.
Toinen menetelmä, jota voidaan käyttää skaalaukseen ongelmien havaitsemiseksi miljoonasivuisilla verkkosivustoilla, on Screaming Frog.
Kun olet ajanut sivuston Screaming Frogin kautta, voit siirtyä X-Robots-Tag-sarakkeeseen.
Tämä näyttää sinulle, mitkä sivuston osat käyttävät tunnistetta ja mitkä erityiset ohjeet.
Kuvakaappaus Screaming Frog Reportista. X-Robot-Tag, joulukuu 2022X-Robots-tunnisteiden käyttäminen sivustollasi
Hakukoneoptimoinnin kulmakivi on ymmärtää ja hallita, kuinka hakukoneet ovat vuorovaikutuksessa verkkosivustosi kanssa. Ja X-Robots-Tag on tehokas työkalu, jonka avulla voit tehdä juuri sen.
Ole vain tietoinen: se ei ole ilman vaarojaan. On erittäin helppoa tehdä virhe ja poistaa koko sivustosi indeksistä.
Jos luet tätä tekstiä, et todennäköisesti ole hakukoneoptimoinnin aloittelija. Niin kauan kuin käytät sitä viisaasti, käytät aikaa ja tarkistat työsi, X-Robots-Tag on hyödyllinen lisä arsenaaliisi.
Lisää resursseja:
Suositeltu kuva: Song_about_summer/Shutterstock
About the Author
