Láthatatlan web ۞ Keresők által elérhetetlen weblapok összessége

Láthatatlan web
...

Keresők által elérhetetlen weblapok összessége

Mivel manapság már rengeteg dolgot meg lehet találni az interneten, hajlamosak vagyunk olykor azt gondolni, hogy ami nem található meg a keresők segítségével, az nincs is. Kétfajtaképpen fordulhat elő, hogy egy információ gyakorlatilag ne létezzen az interneten: vagy nem készítettek olyan weboldalt, ahol fellelhető lenne az információ, vagy készítettek, de a weboldal maga a láthatatlan web (angolul invisible, deep, stb. web) részét képezi. A láthatatlan webhez pedig azok az oldalak tartoznak, melyeket a Keresőrobotok nem tudnak, vagy nem akarnak beindexelni. Gyakran ez a láthatatlanság csak időleges, melynek leggyakoribb oka, hogy nem telt még el elegendő idő ahhoz, hogy a keresõk felfedezzék az oldalt, megtörténjen a Felgöngyölítés.

Miért nem akarja egy spider beindexelni az oldalt?

vagy azért, mert a kereső működtetői úgy gondolják, hogy egy adott információtípus, fájlformátum Felgöngyölítése nem lehetséges vagy nem érdemes,
vagy pedig az adott kereső fenntartói szankcionált kereső-optimalizáló trükkök (pl. Web spam) használata miatt törölték az oldalakat adatbázisukból.

Miért nem tudja a robot beindexelni az oldalt?

Manapság keresőrobotok már minden helyre el tudnak jutni, és idővel egy átlagos weboldal majd' összes weblapját felgöngyölítik: ilyen kivétel, ha rosszul csináltunk valamit, vagy direkt nem akarjuk, hogy bekerüljön az oldal a keresők adatbázisába. Vannak továbbá olyan információtípusok, melyeket a technika mai állása szerint nem, vagy csak részben lehet beindexelni.

Nem törént meg a Keresőoldalakra regisztrálás és nem mutatnak a webhelyre Teljes értékű linkek semmilyen külső oldalról sem.
Jelszóval, felhasználói névvel védettek az oldalak
Internetről nem elérhető, például intranet oldal esetén
A robots Meta tagok (META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW" beállítással), vagy a robots.txt használatával korlátozott a keresőrobotok működése
Problémás technológiák felhasználása miatt a keresőrobot nem tudja a weboldalt egy bizonyos mélység után beindexelni.
Dinamikus, adatbázisok lekérdezésével generált oldalakon található információk nagyja is sokszor rejtve marad. (egy robot pl. nem fog nekiállni kitöltögetni különböző űrlapokat.)
A mutimédiás tartalom java is beindexeletlen marad a Szabadszavas keresők által, mint például Java, és egyéb speciális plugin-t igénylő tartalmak, mint például a DWF formátumban tárolt műszaki rajzok, vagy akár csak a képek(en olvasható szövegek), zenék, hangfelvételek, videók. Bár ez utóbbiak indexelésére már folynak a kísérletek. (Pl. Google videó kereső)

Hogyan lehet elérni, hogy egy weboldal rejtve maradjon?

Ha egy weboldal tartalmát el kell rejteni a keresőrobotok elol, akkor a legbiztosabb módszer a jelszavas védelem. Attól még, hogy nem mutat sehonnan bejövő link egy oldalra, egyesek beírhatják az oldal címét - így felfedezve a tartalmat -, és esetleg be is linkelhetik. A robotok korlátozására szolgáló jelzések pedig nem kötelező érvényuek, azokat csak a jólnevelt robotok tartják be, az offline Böngészők például nem feltétlenül.

Megjegyzések

Ha olyan a Tartalomkezelő rendszered, hogy a "404 not found" oldal helyett valami okosságot ad vissza, akkor akár évekkel ezelőtt felgöngyölített oldalak is benne tudnak ragadni a Google kereső adatbázisában, tehát rá lehet keresni, meg lehet tekinteni őket a [Google Cache]?-ban.
sokszor nem elég a nyitóoldalról mutató linkek eltávolítása vagy az egész nyitólap törlése ha az elrejtendő régi weblapok fennmaradnak a szerveren, kiváltképp, ha közülük valamelyikre Mélylinkeléssel mutat hivatkozás.

Keresés a láthatatlan weben

Ha olyan információra szeretnénk keresni, ami nagy valószínűséggel nem található meg a látható weben, akkor ajánlatos azokat az oldalakat, adatbázisokat megkeresni, melyek bár lehetővé teszik látogatóik számára adatbázisaik lekérdezését, azonban a Keresőrobotok nem képesek beindexelni tartalmukat. Ezen webhelyek általában nem teljes mértékben láthatatlanok a keresők számára, ezért a konkrét kulcsszavak helyett a témakörre, illetve a lehetséges adatbázisokra keressünk rá: jó ötlet például a {témakör jellemző kulcsszavai} + "adatbázis" (vagy angol nyelven "database") jellegű Kereső-kifejezésekkel operálni.

<<Linkre rakott kulcsszavak

Látogató-keresés>>

Keresőoptimalizálás:

Láthatatlan web