Alex Lazarciuc: august 2010

Termenul de Deep Web (numit si Deep Net, Invisible Web, Dark Web sau Hidden Web) se refera la o parte din continutul World Wide Web care nu face parte din Surface Web, portiune indexata de motoarele standard de cautare. Acea parte a Web-ului care nu poate fi accesata de aceste motoare, se numeste Deep Web. Motoarele de cautare construiesc o baza de date a Web-ului folosind programe numite spiders sau web crawlers care incep explorarea cu o lista cunoscuta de pagini web. Spider-ul face o copie a paginii web accesate si o indexeaza, stocand informatiile necesare pentru ca acea pagina sa poate fi accesata rapid data viitoare. Toate link-urile din cadrul paginii indexate vor fi explorate si indexate la randul lor. Intr-un final, toate paginile web functionale vor fi explorate, daca nu cumva spider-ul nu mai are timp sau ramane fara spatiu pe disc. Toate paginile care au fost explorate si indexate, puse la un loc, formeaza ceea ce numim Surface Web (internetul asa cum il stim noi).

Din diverse motive, cum ar fi link-urile generate in JavaScript sau cele care necesita autentificare, paginile care nu sunt explorate raman in anonimat. Totalitatea lor formeaza Deep Web-ul.

In 2000, se estima ca Deep Web-ul contine aproximativ 7.500 de terabiti si 550 de miliarde de documente individuale.

In iunie 2008, numarul de pagini web indexate cu succes se ridica la aproximativ 63 de miliarde. In momentul de fata, se estimeaza ca Deep Web-ul depaseste de 4 ori ca marime Surface Web-ul.

Resursele Deep Web-ului pot fi clasificate in cateva categorii generale:

- pagini cu continut dinamic: pagini dinamice care apar ca raspuns la un anumit tip de cautare sau care sunt accesate prin formulare web (campuri de text). Explorarea acestor pagini e dificila, daca nu suntem familirizati cu continutul domeniului.

- pagini care nu sunt legate de altele prin link-uri, acest lucru impiedica programele de tip spider sa le acceseze continutul.

- web privat: pagini care necesita un nume de utilizator si o parola.

- web contextual: pagini ale caror continut variaza in functie contextul in care sunt accesate (clasa de I.P.-uri a clientului sau secventa de navigare precedenta).

- pagini cu continut limitat: pagini cu acces limitat tehnic ( folosesc programe care exclud accesul robotilor si impiedica motoarele de cautare sa le indexeze si sa creeze copii cache ).

- continut scriptat: pagini ce sunt accesibile doar prin link-uri de JavaScript, dar si alte continuturi dinamice descarcate de pe serverele web via Flash sau AJAX.

- continut non-HTML/text: continut textual codat in fisiere multimedia sau alte formate specifice ce nu sunt suportate de motoarele de cautare.