Keresőoptimalizálás:

۞ keresés ۞ látogató-keresés ۞ pénzkeresés

• robots.txt

  ...

Keresőrobotok viselkedését befolyásoló fájl

A webhely gyökérkönyvtárában elhelyezett robots.txt nevű, egyszerű szöveges fájl segítségével meghatározhatjuk, hogy a különböző User agenttel bejelentkező Keresőrobotok a webhely melyik könyvtárát vagy fájlját nem idekszelhetik be. A robots.txt fájlnak a legtöbb webpók engedelmeskedik, ez a fájl önmagában nem jelent technikai korlátot a keresőrobotok és az offline böngészők számára. A robots.txt mellett még a Robots Meta tagok segítségével is befolyásolhatjuk a keresőrobotok működését.

robots.txt használata

• Ha például egy fájl elérését meg akarod tiltani a Keresőrobot mindegyikének, akkor ezt írod bele:

    User-agent: *
    Disallow: nem-akarom-ezt-megmutatni.htm
  

• Ha egy könyvtárat akarsz letiltani, akkor így add meg:

    User-agent: *
    Disallow: /titkok/
    Disallow: /csunyasagok/
  

• Ha az egész oldaladtól akarod távoltartani -a robots exclusion protokoll-nak engedelmeskedő pókokat-, akkor pedig ezt írd be:

    User-agent: *
    Disallow: /
  

A http://www.robotstxt.org/wc/exclusion.html oldalon lehet több információt szerezni többek között arról, hogy hogyan is kell pontosan kinézni egy ilyen fájlnak.

Robots.txt ellenőrző szolgáltatás

http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

Leellenőrzi, hogy megfelel-e a szabályoknak a webhelyünk robots.txt fájlja. Emellett különböző példákat, és egyéb kapcsolódó információkat is találhatunk az oldalon

Példák a robots.txt felhasználására

Hasznos lehet, ha nem szeretnénk, hogy sokan lecincálják az egész webhely tartalmát offline böngészőkkel, mint pl a HTTrack?, kiváltképp, ha tárhelyünk a havi adatforgalma korlátos. Erre gondoltam én is beüzemelni egy robots.txt fájlt, azonban konkrétan a HTTrack? azt mondta a "Disallow: /" (tehát mindent tiltó) kitételre, hogy túlságosan szigorúak a feltételek és ezért nem veszi figyelembe. Mivel az összes fájl a gyökérkönyvtárban található, még egyes mappákat sem tudtam letiltani.

Másik kézenfekvő megoldás lehet, ha egy webhely több címen érhető el, mi viszont csak az egyik cím alapján szeretnénk beindekszeltetni, akkor letilthatjuk a többi változatot. Például a webni.innen.hu elméletileg innen.hu/webni címről van átirányítva, továbbá az innen.hu tartalma más URL alól is elérhető. Én nem szeretném azonban, ha véletlenül e címekbe botlik egy keresőrobot, akkor ezeket is végigindekszelje, és többször szerepeljen az oldalam valamelyik kereső adatbázisában.

Pusztán a robots.txt jelenléte elegendő ahhoz, hogy egyszerűen nyomon követhessük, hogy a látogatók mekkora hányadát képviselték a keresőrobotok. A webpókok ugyanis minden látogatásuk alkalmával kikérik ezt a fájlt, és így a robots.txt letöltéseinek száma alapján az olyan Látogatottsági statisztika segítségével is képet kaphatunk az általuk generált forgalomról, mely egyébként nem összesíti, hogy hány webpók látogatónk volt (mint pl. a Webalizer).

^{2005. augusztus}A Google kereső rendszere okosabb mint a többi keresőé: automatikusan detektálta, hogy ugyanaz a tartalom más címen is tükrözve van, és csak azt a címet hagyta meg adatbázisában, amelyikre Külső hivatkozások is mutattak. A Yahoo! kereső rendszere nem volt ennyire okos, és --igaz az én hibámból-- duplán, más URL alatt is bekerült weblapokat csak a robots.txt fájl segítségével tudtam eltávolíttatni, és ez is több mint egy hónapba került.

comments:

Blog a robots.txt-ben --kaixo, Fri, 20 Jan 2006 06:05:45 -0600 reply
Amikor Brett Tabke, a [Webmaster World]? atyja bejelentette, hogy kitiltja oldaláról a Keresőrobotat és a robotokat úgy általában, akkor sokan nem értették meg a miértjét, ezért elég gyorsan terjedt e radikális lépés híre (lásd pl. http://seoblackhat.com/2006/01/03/webmaster-world-i-think-i-get-it/ ), emiatt a szakemberek közül sokan nézték meg, hogy mit is csinált tulajdonképpen Brett a robots.txt fájljával. Kézenfekvő ötlet volt ezekután blogot indítani ebben a szöveges fájlban (kikommentezett sorokban): http://www.webmasterworld.com/robots.txt

Gratuláció! -- Mon, 30 Jan 2006 05:26:32 -0600 reply

Gratuláció! -- Mon, 30 Jan 2006 05:28:07 -0600 reply
Kedves Szerkesztők! Végre egy közérthetően leírt fejtegetés, ami sokunkat érdekelhet. Köszönöm Botz István

Hálás köszönet! -- Tue, 14 Feb 2006 06:45:43 -0600 reply
Köszönet az önzetlen és segítőkész informálásért! :) Ritka, hogy mapanság valaki önszorgalomból akar segíteni másokon mindenféle érdek nélkül. Csak így tovább! :) Üdvözlettel; Laya - http://www.visionart.hu

Hálás köszönet! -- Wed, 15 Feb 2006 02:44:06 -0600 reply
István, Laya!

Köszönöm kedves szavaitokat! (Azért nem minden érdek nélkül foglalkozok az oldallal, persze leginkább azért csinálom, mert szeretem csinálni ;)

Üdv: JJózsef

Állati Jó ez az oldal! -- Sun, 17 Sep 2006 03:35:50 -0500 reply

	Web webni.innen.hu

<<heureka.hu

www.yahoo.hu>>

OldalGazda : Jároli József

	Web innen.hu