Keresők által elérhetetlen weblapok összessége
Mivel manapság már rengeteg dolgot meg lehet találni az interneten, hajlamosak vagyunk olykor azt gondolni, hogy ami nem található meg a keresők segítségével, az nincs is. Kétfajtaképpen fordulhat elő, hogy egy információ gyakorlatilag ne létezzen az interneten: vagy nem készítettek olyan weboldalt, ahol fellelhető lenne az információ, vagy készítettek, de a weboldal maga a láthatatlan web (angolul invisible, deep, stb. web) részét képezi. A láthatatlan webhez pedig azok az oldalak tartoznak, melyeket a Keresőrobotok nem tudnak, vagy nem akarnak beindexelni.
Miért nem akarja egy spider beindexelni az oldalt?
- Vagy azért, mert a kereső működtetői úgy gondolják, hogy azt a fajta információtípust nem indexelik be, mint például a Google által felismert formátumú dokumentumok között nem felsorolt fájltípusokat,
- vagy pedig az adott kereső fenntartói szankcionált kereső-optimalizáló trükkök (pl. Web spam) használata miatt törölték az oldalakat adatbázisukból.
Miért nem tudja a robot beindexelni az oldalt?
Manapság keresőrobotok már minden helyre el tudnak jutni, és némi kivétellel az összes weblapot beindexelik: ilyen kivétel, ha rosszul csináltunk valamit, vagy direkt nem akarjuk, hogy bekerüljön az oldal a keresők adatbázisába. Vannak továbbá olyan információtípusok, melyeket a technika mai állása szerint nem, vagy csak részben lehet beindexelni.
- A robot nem tud eljutni az oldalhoz, mert nem törént meg a Keresőoldalakra regisztrálás és
- Nem mutatnak a webhelyre sehonnan Külső hivatkozások
- Jelszóval, felhasználói névvel védettek az oldalak
- Internetről nem elérhető, például intranet oldal esetén
- A robots Meta tagok, vagy a robots.txt használatával korlátoztunk a keresőrobotok működését
- Problémás technológiák felhasználása miatt a keresőrobot nem tudja a weboldalt egy bizonyos mélység után beindexelni.
- Dinamikus, adatbázisok lekérdezésével generált oldalakon található információk nagyja is sokszor rejtve marad. (például egy robot nem fog nekiállni kitöltögetni különböző űrlapokat.)
- A mutimédiás tartalom java is beindexeletlen marad, mint például Java, és egyéb speciális plugin-t igénylő tartalmak, mint például a DWF formátumban tárolt műszaki rajzok, vagy akár csak a képek(en olvasható szövegek), zenék, hangfelvételek, videók. Bár ez utóbbiak indexelésére már folynak a kísérletek. (Pl. [Google videó kereső]?)
The Invisible Web --kaixo, Tue, 28 Jun 2005 07:59:16 -0500 reply
http://www.invisible-web.net
Az általános célú szabadszavas keresők által be nem indexelt információforrások témakörönként csoportosított gyűjteménye, mely a hasonló című könyv internetes kiegészítőjeként jött létre. Jó lenne, ha létezne egy, a hasonló magyar nyelvű oldalakat számba vevő változat is.
