Web superficial y web profunda

Existen dos tipos de contenido en la web. El que se encuentra en la web superficial (visible) y el que está en la conocida como web profunda (invisible).
Los contenidos de la web visible no están contenidos en bases de datos, son de libre acceso y provienen de páginas web estáticas (con una URL fija y accesibles desde otros enlaces).

La web invisible no está disponible en los buscadores convencionales ya que los resultados se generan como contestación a una pregunta directa mediante páginas dinámicas (páginas que no tienen una UL fija , se construyen en el mismo instante de la búsqueda y se destruyen una vez realizada la consulta).

Según Sherman y Price, hay cuatro tipos de contenido en la red invisible:

La web opaca. Sus archivos no están contenidos en los índices de los buscadores por criterios de economía (no todo está indizado), por falta de frecuencia en la indización, porque los motores de búsqueda limitan los resultados que ofrecen o porque la URL están desconectadas.

La web privada. Las páginas web han sido excluidas deliberadamente al estar protegidas por contraseñas, contener un archivo "robots.txt" o un campo "noindex" para evitar que el buscador las localice.

La web propietaria. Requiere registrarse para acceder a ella, ya sea de jodo gratuito o de pago.

La web realmente invisible. Las páginas no pueden ser indizadas por limitaciones técnicas de los buscadores, programas ejecutables y archivos comprimidos, página generadas dinámicamente o información almacenada en bases de datos relacionales (no puede ser extraída a no ser que se realice una petición específica).

Estos son algunos de los principales recursos de búsqueda en la web profunda:

The WWW Virtual Library (el catálogo más antiguo).

Academia,edu (publicaciones científicas y académicas).

Reefseek.com (para estudiantes e investigadores).

Jurn (ofrece acceso a multitus de artículos sobre múltipes discipinas).

Microsoft Acadey Search (buscador académico de Microsoft).

TechXtra (especializado en ingeniería, matemáticas e informática)

Ciencia (rastrea información científica de Gobierno de Estados Unidos. Su equivalente en España es Science.gov