Egy hasznos oldal eltűnését nem érdemes egyetlen robots.txt szabállyal megpróbálni kezelni anélkül, hogy tudnánk, mi a cél. Más kérdés, hogy a kereső megtalálja-e a címet, hozzáférhet-e a tartalomhoz, és szerepelhet-e az oldal a kereső indexében.
A robots.txt-generátor és a sitemap-generátor eltérő feladatot támogat. A generált állományok megléte nem bizonyítja a helyes működést. Az alábbi ellenőrzési rend a konkrét URL szerepéből indul, és kerüli a hasznos nyilvános tartalom indokolatlan tiltását.
A nyilvános kalkulátor példája
Legyen egy nyilvános, érdemi magyarázattal és működő eszközzel rendelkező oldalad. A cél, hogy a látogató keresőből is megtalálhassa. Az oldalnak hozzáférhetőnek kell lennie, és nem szabad véletlen noindex utasítást adnia.
A sitemap felsorolhatja ezt a kanonikus címet, segítve a felfedezését. A belső navigációban is legyen valódi hivatkozás rá. A sitemap-bejegyzés ugyanakkor nem garantál indexelést vagy meghatározott helyezést. A tartalom és a technikai állapot külön vizsgálatot igényel.
Egy szerkesztési ellenőrzőlapon szerepeljen a cél-URL, HTTP-válasz, kanonikus cím, robots szabály és indexelési utasítás. Így egy későbbi beállításmódosítás után pontosan látható, melyik feltétel változott.
Mit csinál a robots.txt?
A robots.txt a robotok feltérképezési hozzáférését szabályozza az érintett útvonalakon. Nem biztonsági hozzáférésvédelem, és a tiltott URL más hivatkozásokból továbbra is ismertté válhat. Privát adatok védelméhez hitelesítés és megfelelő szerveroldali jogosultságkezelés szükséges.
Az általános tiltás különösen kockázatos, ha olyan erőforrásokat vagy oldalakat érint, amelyek szükségesek a nyilvános tartalom megértéséhez. Egyetlen széles útvonalminta helyett először pontosan sorold fel, mely típusokat akarod kezelni.
A kézzel megadott szabályt a webhely valódi elérési útjaival teszteld. Egy adminmappa neve más alkalmazásban nyilvános tartalmi kategória is lehet, ezért a másolt szabályokat nem indokolt ellenőrzés nélkül alkalmazni.
A noindex feltétele
A noindex indexelési utasítás, amelyet a keresőnek meg kell tudnia olvasni az oldal válaszából. Ha a robots.txt közben elzárja a feltérképezést, a robot nem feltétlenül jut el ehhez az utasításhoz. A két beállítás összekapcsolása ezért tudatos döntést igényel.
Egy személyes eredményoldalnál először az adatvédelmi szerepet tisztázd. Ha a tartalom privát, a noindex nem helyettesíti a belépést. Ha nyilvános, de önálló keresési megjelenést nem kívánó segédoldal, más kezelés lehet indokolt. A döntést az oldal feladata alapján dokumentáld.
Egyszerű ellenőrzési mátrix
| Oldaltípus | Látogatói cél | Első ellenőrzés |
|---|---|---|
| Nyilvános kalkulátor | Kereshető, használható eszköz | Elérhetőség, véletlen tiltások hiánya |
| Belépéses ügyféladat | Jogosult felhasználó kiszolgálása | Hitelesítés és jogosultság |
| Ugyanazon oldal paraméteres másolata | Azonos tartalom követési paraméterrel | Kanonikus kapcsolat és mérés |
| Végleg megszűnt, helyettesítő nélküli oldal | Korrekt megszűnés jelzése | Megfelelő HTTP-válasz |
A táblázat munkalap, nem teljes webhelyre másolható konfiguráció. Például a paraméteres cím mögött valóban más termékválasztás is lehet, amelyet külön kell értékelni.
Módosítás utáni bizonyíték
A konfiguráció elmentése után kérd le újra az érintett URL tényleges válaszát. A forrásfájlban látott beállítás eltérhet a gyorsítótárból vagy más kiszolgálási rétegből érkező tartalomtól. Jegyezd fel a vizsgálat idejét és azt, melyik választ ellenőrizted.
A sitemap ne tartalmazzon tudatosan hibás, átirányított vagy privát címlistát. A webhelyen használt kanonikus címekkel legyen következetes. A változás keresőoldali feldolgozását külön ellenőrizd; a szerveroldali javítás és a kereső indexének frissülése eltérő esemény.
Gyakori kérdések
A robots.txt elrejti az admin jelszavát?
Nem jogosultságkezelő eszköz. Titkot vagy védendő adatot megfelelő hitelesítés nélkül nem szabad nyilvánosan kiszolgálni.
A sitemap-be tett oldal biztosan indexbe kerül?
A sitemap felfedezési segítség és jelzés. Indexelési garanciát nem ad.
Minden paraméteres URL legyen noindex?
A paraméter funkcióját előbb meg kell vizsgálni. Követési változat és önállóan hasznos tartalom eltérő döntést igényel.
Módszertani forrás
Google Search Central – A robots.txt feladata