A robots.txt fájl felépítése és szerepe a SEO-ban

A robots.txt fájl egy szöveges dokumentum, amely jelzi a Google keresőrobotjainak, hogy mely oldalakat ne térképezzék fel.
Robots.txt fájl

A robots.txt fájl felépítése és szerepe a SEO-ban

A honlapkészítés folyamata rengeteg apró lépésből áll, amelyek egy része a keresőoptimalizáláshoz kapcsolódik. Egy kitűnő példa erre a robots.txt fájl, amely azt szabályozza, hogy mely oldalakat szeretnénk, ha a Google és más keresőmotorok keresőrobotjai feltérképeznének. Ezáltal nem fognak olyan oldalak megjelenni a keresési eredményekben, amelyet nem szeretnénk ott látni.

1. Mi az a robots.txt fájl?

A robots.txt fájl egy olyan szöveges állomány a weboldalak szerverén, amely segítségével beállíthatjuk, hogy a keresőrobotok, böngészők és keresőmotorok hozzáférhetnek, vagy épp ellenkezőleg, nem férhetnek hozzá a webhely tartalmához. Ez a fájl segíti a weboldal tulajdonosát annak ellenőrzésében, hogy melyik oldalak legyenek láthatóak a keresőmotorok számára, és melyek legyenek elrejtve az indexelés elől.

A robots.txt fájl tartalmazhat direktívákat, amelyek a keresőrobotok számára meghatározzák, hogy mely weboldal részeket látogathatják és melyeket nem. Például:

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: * 
Allow: /  

Sitemap: https://kiszervezettmarketing.hu/sitemap_index.xml 

Ebben a példában azt láthatjuk, hogy a Googlebot robotoknak meg van tiltva minden olyan URL feltérképezése, amely úgy kezdődik, hogy https://kiszervezettmarketing.hu/nogooglebot/.

Az Allow és Disallow direktívák azt határozzák meg, hogy mely mappákhoz és oldalakhoz van hozzáférési engedélyük a keresőrobotoknak. Tehát minden más robotnak engedélyezve van az egész oldal feltérképezése, mivel a kis csillag ikon (*) azt jelzi, hogy minden keresőrobot, kivéve az előbb beállított kivételt.

Végül pedig az oldaltérkép (sitemap) helyét mutatja meg a robots.txt.

A robots.txt fájl segítségével tehát a weboldal tulajdonosai részben ellenőrizhetik, hogy a keresőmotorok mely tartalmakat indexelhetik és mutathatják meg a keresési eredmények között.

Weboldal készítés

2. Mire használják a robots.txt fájlokat?

A robots.txt fájlokat arra használják, hogy irányítsák és szabályozzák a webrobotok, keresőmotorok és böngészők hozzáférését a weboldalakhoz és az azokon található tartalmakhoz. Ezek a fájlok az alábbi célokat szolgálhatják:

  1. Tartalom kizárása vagy engedélyezése: a weboldal tulajdonosai meghatározhatják, hogy mely tartalmakhoz és oldalakhoz férjenek hozzá a keresőmotorok, és melyeket ne indexeljék vagy ne mutassák meg a keresési eredmények között.
  2. Privát tartalmak védelme: ha egy weboldalon privát vagy érzékeny adatok találhatók, a robots.txt fájl segítségével megakadályozható, hogy ezek az adatok a keresőmotorok indexébe kerüljenek.
  3. Súlyos terhelés elkerülése: egyes weboldalak lehet, hogy nem szeretnék, ha a keresőmotorok túlzottan sok lekérdezést indítanának a szerverük felé a túlterhelés miatt. A robots.txt fájlban meghatározhatók olyan területek, amelyeket a keresőmotoroknak nem szabad vagy nem érdemes gyakran látogatniuk.
  4. Speciális robotok kezelése: különféle robotok és keresőmotorok működhetnek a weben, és néha kívánatos lehet külön utasításokat adni nekik. A robots.txt fájl lehetőséget biztosít a különböző robotok számára specifikus utasítások megadására.
  5. Tartalmak indexelésének kezelése: néha dinamikusan generált vagy időszakosan frissülő tartalom található a weboldalon. A robots.txt fájl segítségével irányítható, hogy a keresőmotorok milyen gyakran vagy mennyire mélyen látogathatják ezeket a részeket.

3. Robots.txt fájl létrehozása és beküldése

A robots.txt fájlt egyszerűen létrehozhatod egy szövegszerkesztőben vagy kódszerkesztőben, majd feltöltheted a weboldalad szerverére. A következő lépések bemutatják, hogyan hozz létre egy robots.txt fájlt és hogyan küldd be azt a Google keresőmotorjának:

1) Robots txt. létrehozása: nyisd meg a szövegszerkesztődet vagy kódszerkesztődet (pl. Notepad, Sublime Text, Visual Studio Code stb.), majd hozz létre egy új fájlt és nevezd el „robots.txt”-nek.

2) Szerkesztés: a robots.txt fájl szerkezete egyszerű. A fájl tartalmazza a robotoknak és keresőmotoroknak szóló irányításokat. Például:

User-agent: * 
Disallow: /tiltott-mappa/

Az első sorban a „User-agent” utasítással az összes robotra vonatkozó irányításokat adhatod meg. A „Disallow” utasítás meghatározza, hogy mely mappákat vagy oldalakat ne látogassák a robotok.

3) Feltöltés a szerverre: a létrehozott és szerkesztett robots.txt fájlt el kell helyezni a weboldalad gyökérkönyvtárában, tehát azon a helyen, ahová a weboldalad domain nevén keresztül elérhető tartalmai találhatók. Például, ha a weboldalad címe https://kiszervezettmarketing.hu/, akkor a fájlt a https://kiszervezettmarketing.hu/robots.txt elérési útvonalon kell elhelyezni.

4) Google-nek való beküldés: a Google keresőmotor automatikusan beolvassa a weboldalak robots.txt dokumentumát. Tehát nem szükséges külön beküldeni. Azonban a Google Search Console nevű eszközön keresztül monitorozhatod és ellenőrizheted a robots.txt fájl helyességét, valamint megtekintheted, hogy a Google keresőmotor milyen módon értelmezi a fájlt. Próbáld ki a robots.txt tesztelőt! 🙂

Fontos, hogy gondosan ellenőrizd a robots.txt fájl tartalmát és helyességét, mivel helytelenül konfigurált fájl esetén a keresőmotorok nem feltétlenül indexelik megfelelően a weboldalad tartalmát. Emellett arra is figyelj oda, hogy a fájl mérete nem haladhatja meg az 500 kibibyte-ot (KiB).

További információ itt olvasható a robots.txt felépítéséről és a Google általi értelmezéséről.

Webshop tárhely

4. Robots.txt frissítése

A robots.txt fájl frissítése egyszerű, csak szerkesztened kell a tartalmát a változtatásoknak megfelelően.

1) Megnyitás és szerkesztés: találd meg és nyisd meg a weboldalad gyökérkönyvtárában lévő robots.txt fájlt.

2) Módosítások elvégezése: módosítsd a fájlt úgy, ahogyan azt szeretnéd. Például, ha szeretnéd engedélyezni vagy tiltani bizonyos mappák vagy oldalak hozzáférését a robotok és keresőmotorok számára, akkor a „Disallow” vagy „Allow” direktívákat írd át vagy add hozzájuk új oldalak HTML nevét.

3) Mentés: a módosítások elvégzése után mentsd el a fájlt a szövegszerkesztőben.

4) Feltöltés a szerverre: töltsd fel a szerkesztett fájlt a weboldalad gyökérkönyvtárába. Ügyelj arra, hogy a fájl neve „robots.txt” maradjon, és megfelelően legyen elhelyezve a szerveren.

5) Tesztelés és ellenőrzés: miután a fájlt frissítetted és feltöltötted, érdemes ellenőrizni, hogy a változtatások megfelelően működnek-e. Ezt a Google Search Console-ban megteheted.

5. Robots.txt és SEO kapcsolata

A robots.txt fájl és a SEO (Search Engine Optimization – keresőoptimalizálás) közötti kapcsolat igen fontos a weboldal láthatósága és a keresőmotorokban való helyezései szempontjából. A megfelelően konfigurált robots.txt fájl hozzájárulhat a SEO stratégia sikeréhez az alábbi módon:

  1. Tartalom irányítása: a robots.txt fájl lehetővé teszi számodra, hogy pontosan meghatározd, melyik tartalomhoz és oldalakhoz férjenek hozzá a keresőmotorok. Ez segít abban, hogy a keresőmotorok csak a releváns tartalmakat indexeljék és mutassák meg a keresési eredményekben. Ezáltal javíthatod a weboldalad relevanciáját és felhasználói élményét.
  2. Duplikált tartalom elkerülése: a robots.txt fájl segítségével megakadályozhatod a keresőmotorokat abban, hogy olyan tartalmakat indexeljenek, amelyek potenciálisan duplikáltak vagy nem kívánatosak. Ez csökkenti a duplikált tartalom okozta SEO problémákat és segíthet a weboldalad minőségének javításában.
  3. Szerverterhelés csökkentése: a robots.txt fájl segítségével irányíthatod, hogy mely részeket vagy oldalakat ne látogassák a keresőrobotok olyan gyakran, ami csökkenti a szerver terhelését. Ez különösen hasznos lehet, ha dinamikus tartalomgenerálással rendelkező weboldalad van.
  4. Oldalak mélyebb elérése: a robots.txt fájlban irányításokat adhatsz a keresőmotoroknak arra vonatkozóan, hogy melyik tartalmakhoz és oldalakhoz férhetnek hozzá mélyebben a weboldalon. Ez lehetővé teszi a fontosabb oldalak gyorsabb és könnyebb indexelését.
  5. Speciális tartalmak irányítása: ha olyan tartalmakat szeretnél elrejteni a keresőmotorok elől, amelyek nem relevánsak vagy nem publikusak, a robots.txt fájl segítségével ezt megteheted.

Fontos azonban, hogy a robots.txt fájlt helyesen konfiguráld. Egy rossz beállítás lehetőséget ad a keresőmotoroknak arra, hogy fontos tartalmakat ne indexeljenek, ami negatív hatással lehet a weboldal SEO eredményeire. A megfelelően optimalizált és konfigurált robots.txt fájl azonban segíthet a weboldalad helyezésének javításában a keresőmotorokban

6. Hogyan tudom megnézni a weboldalam robots.txt dokumentumát?

A legegyszerűbb módja annak, hogy megtekinthesd egy weboldal robots.txt fájlját, hogy a böngésző címsorába beírod a weboldal domainjét, majd hozzákapcsolod a „/robots.txt” útvonalat. Például: https://kiszervezettmarketing.hu/robots.txt

Robots.txt fájl felépítése

7. Összefoglaló

A robots.txt egy olyan szöveges dokumentum, amely a weboldalak gyökérkönyvtárához kapcsolódik, és meghatározza, hogy mely oldalakat szabad vagy éppen nem szabad a keresőrobotoknak feltérképeznie.

Ezáltal lehetővé válik annak szabályozása, hogy a weboldalunk mely oldalait szeretnénk indexelni a Google Keresőben, aminek a felhasználói élmény és a keresőoptimalizálás szempontjából is fontos szerepe van.

Végső soron a robots.txt fájl a weboldal készítés egyik fontos összetevője, amelyre érdemes figyelmet fordítani.

Hibát találtál? Írj nekünk az alábbi e-mail címre: szerk@kiszervezettmarketing.hu

8. Gyakran ismételt kérdések és válaszok

❓ Mi az a robots.txt fájl?

Egy szöveges dokumentum a weboldal gyökérkönyvtárában.

❓ Miért hasznos a robots.txt dokumentum?

Jelezhetjük a keresőmotorok és keresőrobotok számára, hogy mely oldalakat nem szeretnénk indexelni a keresési eredmények között.

❓ Miért fontos ez SEO szempontjából?

Elkerülhetjük, hogy a Google olyan oldalakat indexeljen, amelyeket nem kellene, illetve a tartalom duplikáció problémája is megoldható.

Oszd meg! Küldd el! Nyomtasd ki!

Facebook
LinkedIn
Email
Nyomtatás
Dávid Ádám

Dávid Ádám

Dávid Ádám vagyok, a Kiszervezett Marketing Kft. alapítója, az online marketing megszállottja.

150+ szöveges ötcsillagos ügyfélvéleményünkkel előrevetítjük, hogy milyen egy igazán profin megtervezett, ügyfélközpontú marketing ügynökséggel dolgozni.

A Kiszervezett Marketing 13x-os Marketing Diamond Awards-díjas ügynökség. Ezt a díjat a Magyar Marketing Szövetség ítélte oda számunkra, ami bizonyítja, hogy szakmailag kimagasló szolgáltatásokat nyújtunk az online marketing területén.

Büszkék vagyunk arra, hogy 2023-ban a Kiszervezett Marketing Kft. lett Az Év Marketing Nagykövete!

A Kiszervezett Marketing az a marketing ügynökség, amely nem olyan, mint a suszter és a cipője.

Ezt alátámasztja a 350+ szakmai blogcikkünk is, amelynek köszönhetően több mint 160.000 látogatónk van éves szinten a saját weboldalukon a Google Keresőből, fizetett hirdetések nélkül. Mindezt alig 1,5 év alatt értük el.

A megtervezett médiamegjelenésekkel folyamatosan ott vagyunk nagy hírportálok hasábjain a területünk szakértőjeként. Párat kiemelve: penzcentrum.hu, hirado.hu, hrportal.hu, origo.hu, blikk.hu.

Azért lehetünk Google Partnerek, mert rendelkezünk a Google által elismert szakértővel. Az ügyfeleink hirdetési kampányai kivétel nélkül minden esetben elérik a minimum 70%-os optimalizáltságot.

Tartottam már szakmai előadást több egyetemen online marketing témában, többek között: BME, BGE, ELTE, MATE, Óbudai Egyetem. Emellett a Magyar Marketing Fesztivál rendszeres előadójaként mutatom be a siker kulcsát a digitális térben.

Hogyan legyen vevőszerző weboldalam?

HOVÁ KÜLDHETJÜK AZ INGYENES E-BOOKUNKAT?

Ajánlatkérés

Ajánlatkérés

Ajánlatkérés

Ajánlatkérés

Ajánlatkérés

Ajánlatkérés

Ajánlatkérés

Ajánlatkérés

Ajánlatkérés

Készítettünk egy 5 részből álló videós útmutatót, hogy könnyen tudd telepíteni!

PLUSZ: Kuponkód az emailben, amivel -10% az első 3 hónapból!

Készítettünk egy 5 részből álló videós útmutatót, hogy könnyen tudd telepíteni!

PLUSZ: Kuponkód az emailben, amivel -10% az első 3 hónapból!

Készítettünk egy 5 részből álló videós útmutatót, hogy könnyen tudd telepíteni!

PLUSZ: Kuponkód az emailben, amivel -10% az első 3 hónapból!

Hogyan legyen vevőszerző weboldalam?

Töltsd le az e-bookot, és a megvalósítás menete is kristálytiszta lesz előtted.