A robots.txt fájl felépítése és szerepe a SEO-ban
A honlapkészítés folyamata rengeteg apró lépésből áll, amelyek egy része a keresőoptimalizáláshoz kapcsolódik. Egy kitűnő példa erre a robots.txt fájl, amely azt szabályozza, hogy mely oldalakat szeretnénk, ha a Google és más keresőmotorok keresőrobotjai feltérképeznének. Ezáltal nem fognak olyan oldalak megjelenni a keresési eredményekben, amelyet nem szeretnénk ott látni.
1. Mi az a robots.txt fájl?
A robots.txt fájl egy olyan szöveges állomány a weboldalak szerverén, amely segítségével beállíthatjuk, hogy a keresőrobotok, böngészők és keresőmotorok hozzáférhetnek, vagy épp ellenkezőleg, nem férhetnek hozzá a webhely tartalmához. Ez a fájl segíti a weboldal tulajdonosát annak ellenőrzésében, hogy melyik oldalak legyenek láthatóak a keresőmotorok számára, és melyek legyenek elrejtve az indexelés elől.
A robots.txt fájl tartalmazhat direktívákat, amelyek a keresőrobotok számára meghatározzák, hogy mely weboldal részeket látogathatják és melyeket nem. Például:
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://kiszervezettmarketing.hu/sitemap_index.xml Ebben a példában azt láthatjuk, hogy a Googlebot robotoknak meg van tiltva minden olyan URL feltérképezése, amely úgy kezdődik, hogy https://kiszervezettmarketing.hu/nogooglebot/.
Az Allow és Disallow direktívák azt határozzák meg, hogy mely mappákhoz és oldalakhoz van hozzáférési engedélyük a keresőrobotoknak. Tehát minden más robotnak engedélyezve van az egész oldal feltérképezése, mivel a kis csillag ikon (*) azt jelzi, hogy minden keresőrobot, kivéve az előbb beállított kivételt.
Végül pedig az oldaltérkép (sitemap) helyét mutatja meg a robots.txt.
A robots.txt fájl segítségével tehát a weboldal tulajdonosai részben ellenőrizhetik, hogy a keresőmotorok mely tartalmakat indexelhetik és mutathatják meg a keresési eredmények között.
2. Mire használják a robots.txt fájlokat?
A robots.txt fájlokat arra használják, hogy irányítsák és szabályozzák a webrobotok, keresőmotorok és böngészők hozzáférését a weboldalakhoz és az azokon található tartalmakhoz. Ezek a fájlok az alábbi célokat szolgálhatják:
- Tartalom kizárása vagy engedélyezése: a weboldal tulajdonosai meghatározhatják, hogy mely tartalmakhoz és oldalakhoz férjenek hozzá a keresőmotorok, és melyeket ne indexeljék vagy ne mutassák meg a keresési eredmények között.
- Privát tartalmak védelme: ha egy weboldalon privát vagy érzékeny adatok találhatók, a robots.txt fájl segítségével megakadályozható, hogy ezek az adatok a keresőmotorok indexébe kerüljenek.
- Súlyos terhelés elkerülése: egyes weboldalak lehet, hogy nem szeretnék, ha a keresőmotorok túlzottan sok lekérdezést indítanának a szerverük felé a túlterhelés miatt. A robots.txt fájlban meghatározhatók olyan területek, amelyeket a keresőmotoroknak nem szabad vagy nem érdemes gyakran látogatniuk.
- Speciális robotok kezelése: különféle robotok és keresőmotorok működhetnek a weben, és néha kívánatos lehet külön utasításokat adni nekik. A robots.txt fájl lehetőséget biztosít a különböző robotok számára specifikus utasítások megadására.
- Tartalmak indexelésének kezelése: néha dinamikusan generált vagy időszakosan frissülő tartalom található a weboldalon. A robots.txt fájl segítségével irányítható, hogy a keresőmotorok milyen gyakran vagy mennyire mélyen látogathatják ezeket a részeket.
3. Robots.txt fájl létrehozása és beküldése
A robots.txt fájlt egyszerűen létrehozhatod egy szövegszerkesztőben vagy kódszerkesztőben, majd feltöltheted a weboldalad szerverére. A következő lépések bemutatják, hogyan hozz létre egy robots.txt fájlt és hogyan küldd be azt a Google keresőmotorjának:
1) Robots txt. létrehozása: nyisd meg a szövegszerkesztődet vagy kódszerkesztődet (pl. Notepad, Sublime Text, Visual Studio Code stb.), majd hozz létre egy új fájlt és nevezd el „robots.txt”-nek.
2) Szerkesztés: a robots.txt fájl szerkezete egyszerű. A fájl tartalmazza a robotoknak és keresőmotoroknak szóló irányításokat. Például:
User-agent: *
Disallow: /tiltott-mappa/Az első sorban a „User-agent” utasítással az összes robotra vonatkozó irányításokat adhatod meg. A „Disallow” utasítás meghatározza, hogy mely mappákat vagy oldalakat ne látogassák a robotok.
3) Feltöltés a szerverre: a létrehozott és szerkesztett robots.txt fájlt el kell helyezni a weboldalad gyökérkönyvtárában, tehát azon a helyen, ahová a weboldalad domain nevén keresztül elérhető tartalmai találhatók. Például, ha a weboldalad címe https://kiszervezettmarketing.hu/, akkor a fájlt a https://kiszervezettmarketing.hu/robots.txt elérési útvonalon kell elhelyezni.
4) Google-nek való beküldés: a Google keresőmotor automatikusan beolvassa a weboldalak robots.txt dokumentumát. Tehát nem szükséges külön beküldeni. Azonban a Google Search Console nevű eszközön keresztül monitorozhatod és ellenőrizheted a robots.txt fájl helyességét, valamint megtekintheted, hogy a Google keresőmotor milyen módon értelmezi a fájlt. Próbáld ki a robots.txt tesztelőt! 🙂
Fontos, hogy gondosan ellenőrizd a robots.txt fájl tartalmát és helyességét, mivel helytelenül konfigurált fájl esetén a keresőmotorok nem feltétlenül indexelik megfelelően a weboldalad tartalmát. Emellett arra is figyelj oda, hogy a fájl mérete nem haladhatja meg az 500 kibibyte-ot (KiB).
További információ itt olvasható a robots.txt felépítéséről és a Google általi értelmezéséről.
4. Robots.txt frissítése
A robots.txt fájl frissítése egyszerű, csak szerkesztened kell a tartalmát a változtatásoknak megfelelően.
1) Megnyitás és szerkesztés: találd meg és nyisd meg a weboldalad gyökérkönyvtárában lévő robots.txt fájlt.
2) Módosítások elvégezése: módosítsd a fájlt úgy, ahogyan azt szeretnéd. Például, ha szeretnéd engedélyezni vagy tiltani bizonyos mappák vagy oldalak hozzáférését a robotok és keresőmotorok számára, akkor a „Disallow” vagy „Allow” direktívákat írd át vagy add hozzájuk új oldalak HTML nevét.
3) Mentés: a módosítások elvégzése után mentsd el a fájlt a szövegszerkesztőben.
4) Feltöltés a szerverre: töltsd fel a szerkesztett fájlt a weboldalad gyökérkönyvtárába. Ügyelj arra, hogy a fájl neve „robots.txt” maradjon, és megfelelően legyen elhelyezve a szerveren.
5) Tesztelés és ellenőrzés: miután a fájlt frissítetted és feltöltötted, érdemes ellenőrizni, hogy a változtatások megfelelően működnek-e. Ezt a Google Search Console-ban megteheted.
5. Robots.txt és SEO kapcsolata
A robots.txt fájl és a SEO (Search Engine Optimization – keresőoptimalizálás) közötti kapcsolat igen fontos a weboldal láthatósága és a keresőmotorokban való helyezései szempontjából. A megfelelően konfigurált robots.txt fájl hozzájárulhat a SEO stratégia sikeréhez az alábbi módon:
- Tartalom irányítása: a robots.txt fájl lehetővé teszi számodra, hogy pontosan meghatározd, melyik tartalomhoz és oldalakhoz férjenek hozzá a keresőmotorok. Ez segít abban, hogy a keresőmotorok csak a releváns tartalmakat indexeljék és mutassák meg a keresési eredményekben. Ezáltal javíthatod a weboldalad relevanciáját és felhasználói élményét.
- Duplikált tartalom elkerülése: a robots.txt fájl segítségével megakadályozhatod a keresőmotorokat abban, hogy olyan tartalmakat indexeljenek, amelyek potenciálisan duplikáltak vagy nem kívánatosak. Ez csökkenti a duplikált tartalom okozta SEO problémákat és segíthet a weboldalad minőségének javításában.
- Szerverterhelés csökkentése: a robots.txt fájl segítségével irányíthatod, hogy mely részeket vagy oldalakat ne látogassák a keresőrobotok olyan gyakran, ami csökkenti a szerver terhelését. Ez különösen hasznos lehet, ha dinamikus tartalomgenerálással rendelkező weboldalad van.
- Oldalak mélyebb elérése: a robots.txt fájlban irányításokat adhatsz a keresőmotoroknak arra vonatkozóan, hogy melyik tartalmakhoz és oldalakhoz férhetnek hozzá mélyebben a weboldalon. Ez lehetővé teszi a fontosabb oldalak gyorsabb és könnyebb indexelését.
- Speciális tartalmak irányítása: ha olyan tartalmakat szeretnél elrejteni a keresőmotorok elől, amelyek nem relevánsak vagy nem publikusak, a robots.txt fájl segítségével ezt megteheted.
Fontos azonban, hogy a robots.txt fájlt helyesen konfiguráld. Egy rossz beállítás lehetőséget ad a keresőmotoroknak arra, hogy fontos tartalmakat ne indexeljenek, ami negatív hatással lehet a weboldal SEO eredményeire. A megfelelően optimalizált és konfigurált robots.txt fájl azonban segíthet a weboldalad helyezésének javításában a keresőmotorokban
6. Hogyan tudom megnézni a weboldalam robots.txt dokumentumát?
A legegyszerűbb módja annak, hogy megtekinthesd egy weboldal robots.txt fájlját, hogy a böngésző címsorába beírod a weboldal domainjét, majd hozzákapcsolod a „/robots.txt” útvonalat. Például: https://kiszervezettmarketing.hu/robots.txt
7. Összefoglaló
A robots.txt egy olyan szöveges dokumentum, amely a weboldalak gyökérkönyvtárához kapcsolódik, és meghatározza, hogy mely oldalakat szabad vagy éppen nem szabad a keresőrobotoknak feltérképeznie.
Ezáltal lehetővé válik annak szabályozása, hogy a weboldalunk mely oldalait szeretnénk indexelni a Google Keresőben, aminek a felhasználói élmény és a keresőoptimalizálás szempontjából is fontos szerepe van.
Végső soron a robots.txt fájl a weboldal készítés egyik fontos összetevője, amelyre érdemes figyelmet fordítani.
Hibát találtál? Írj nekünk az alábbi e-mail címre: szerk@kiszervezettmarketing.hu
8. Gyakran ismételt kérdések és válaszok
Egy szöveges dokumentum a weboldal gyökérkönyvtárában.
Jelezhetjük a keresőmotorok és keresőrobotok számára, hogy mely oldalakat nem szeretnénk indexelni a keresési eredmények között.
Elkerülhetjük, hogy a Google olyan oldalakat indexeljen, amelyeket nem kellene, illetve a tartalom duplikáció problémája is megoldható.
