Gyors útmutató a Robots.txt fájl írásához

Az egyetlen módja annak, hogy kapcsolatba lépjen a keresőmotor pókjával, vagy a lánctalpasnevű fájlon keresztül történik Robots.txt. Vagy jobb. Amikor elküldi webhelyjavaslatát a Google-nak, egyszerűen kolosszális mennyiségű információval kell szembenéznie.

Hogyan nézhet bele egy akkora tankönyvbe, hogy úgy érzi, soha nem talál meg mindent, amire szüksége van? Ön konzultál a nyom. Nos: a robots.txt fájl a webhely indexe.

Ez egy könnyen kitölthető dokumentum, amely megmondja a keresőrobotnak, hogy mit kell keresnie. Röviden: segít neki megérteni, miből áll az Ön webhelye, így az algoritmus az elvégzett munkának megfelelő rangsort tud adni Önnek.

Tud valaki írni egy robots.txt fájlt?

A rövid válasz: igen. Az őszinte válasz: nem. Bár a robots.txt fájl nyelvtana rendkívül egyszerű, összetétele pedig néhány sorból áll, jobb, ha egy szakértő webmesterre bízzuk, aki tudja, hová tegye a kezét. Hiszen egy apró hiba is elég ahhoz, hogy veszélybe sodorja webhelye pozicionálását, és ezért minden SEO műveletet le kell állítani, mielőtt elkezdené.

Mielőtt elkezdené, tudjon meg egy dolgot: bárki megtekintheti bármely webhely robots.txt fájlját, ha a domain után ír egy /robots.txt fájlt. Akár a Google-tól is érdeklődhet!

Írhat ilyen fájlt speciális szoftver letöltése nélkül. Valójában elegendő a jegyzettömböt használni, és .txt formátumban elmenteni, találd ki mit.

Írjunk együtt egy robots.txt-et: a fejlécet

Kezdjük elölről, ahogy az mindig logikus. A fájl megnyitása, vagy inkább a fejléc teljes egészében a pók nevének van szentelve, amelyet egy kis szöveg előz meg, amely mindig ugyanaz. Tegyük fel, hogy szeretne felfigyelni a Google-ra. Tehát az első sor ez lesz:

Felhasználói ügynök: Googlebot

Ez a nagyon rövid karakterlánc azt mondja a Google-nak, hogy minden, ami ezután következik, minden bizonnyal érdekes lesz számára. Ha azt szeretné, hogy az ilyen típusú fájlokat olvasó összes bejáró hozzáférhessen a dokumentumhoz, cserélje le a Googlebotot egy egyszerű *, egy csillag.

Most, hogy jelezte, hogy melyik pókot, azaz KIT, meg kell jelölnie azt is, hogy MIT kell majd elolvasnia.

A kód minden sora értelemszerűen a gép egy műveletének felel meg. Magától értetődik, hogy a robots.txt fájl minden egyes parancsa megfelel annak, amit a gépnek nem szabad megtennie. És ez a kulcs, amely lehetővé teszi, hogy igazán hatékonyat írjon. A DISALLOW parancsról beszélünk.

Mi az a DISALLOW parancs?

Il tiltó parancs lehetővé teszi a kizárással való érvelést. Más szóval, amikor azt mondják, hogy először meg kell mondani, hogy mit nem szabad megtenni, akkor te a kizárással érvelsz. A tiltás mellett ott van az engedélyezés is, ami a blokk alóli kivétel.

Ha jó robots fájlt akarsz írni, akkor fordítva kell gondolkodnod, tehát meg kell mondanod a Google-nek, hogy mit ne olvasson el. Ha írod:

Letiltás:

A pók az egész webhelyet olvassa, minden fék nélkül.

Ha a „Disallow:” után perjelet szúr be (ezért Disallow: /), az oldal nem kerül be a keresőkbe, pont.

Disallow: /könyvtárak/

Cserélje ki a szókönyvtárat arra a mappára, amelyet meg szeretne tiltani a póknézetből. Ugyanezt megteheti egy adott fájllal.

Disallow: /myfile.html

FIGYELEM a írásjelek és betűk, kis- vagy nagybetűk. Ez a fájltípus nagy becsben tartja az ilyen "apróságokat", de nagy különbséget jelentenek.

Miért akadályozná meg a Google-t abban, hogy webhelye nagy részét elolvassa? Amikor ilyen típusú fájlt ír, fontos megértenie, mely fájlok nem jelenhetnek meg a keresőben, de anélkül, hogy visszaélnénk velük. Tudni kell azonban, hogy aki ismeri az adott fájl pontos címét, az mindenképpen hozzáférhet.

Mi az ALLOW parancs?

A fájlban a paranccsal kivételt adhatunk hozzá LEHETŐVÉ TESZI. A nyelvtan azonos, de néhány kivételt hoz létre a DISALLOW alól, ami érdekes felfedezési határokat nyit meg a pók számára.

Egy kis mintafájl:

Felhasználói ügynök: Googlebot

Disallow: /images/

Engedélyezés: /images/holidays.jpg

Alapvetően azt mondtuk a Googlebotnak, hogy ne vegye figyelembe a képmappát, kivéve egy bizonyos fotót benne, mégpedig az ünnepi fotót.

És ez, srácok, ennyi. Megírtuk az első robots.txt fájlunkat. Persze, amit a tényleges webhelyen fogunk tenni, az kissé eltérhet, de nem sokkal. Ha kétségei vannak, mindig kérjen tanácsot egy speciális webmestertől. Azt tanácsoljuk, hogy próbálja meg először megírni saját maga, és küldje el neki ellenőrzésre, hogy elsajátítsa az alapelemeket, és jobban megértse webhelye működését.

Mi a kapcsolat a robots.txt és a webhelytérképek között?

Az oldaltérkép egy speciális bővítmények által generált fájl, amely tartalmazza az oldalon található összes hivatkozást. Amikor a pók belép a webhelyre, először beolvassa a robotokat, majd feltérképezi az oldalt. Ha a bejárás során a robot megtalálja az oldaltérkép címét, az egész folyamat sokkal könnyebb lesz.

Adja hozzá a következőket a fenti kódhoz:

Webhelytérkép: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

Következtetésképpen

Minden robotfájl azonos. Ez azt jelenti, hogy a Google számára írt Robots fájl a Bing számára is tökéletesen működik, és ugyanazt a nyelvtant követi.

A jól szervezett robots.txt fájl lehetővé teszi időt takaríthat meg a bejáró számára. Ne csüggedj: ez az első lépés a siker felé!