Crawler, spider, robot, bot

Un crawler o web crawler (también conocido como spider, robot o bot) es una aplicación diseñada para explorar de forma automática y recurrente páginas web de acuerdo a determinado conjunto de reglas.
 
La araña web comienza visitando una lista inicial de URLs, analiza las páginas y busca enlaces a páginas nuevas, identifica los hiperenlaces, descarga las direcciones para añadirlas a la lista de URLs a visitar y así sucesivamente. Hasta el infinito.
 
El crawler es un robot y sólo lee el código fuente de la página web que esté rastreando, no el diseño ni las imágenes ni los videos, ni archivos de audio o cualquier otro contenido multimedia.
 
Como ves el crawler es una aplicación con funcionalidades básicas. Se le suele utilizar para listar las URLs que contiene un website (a estos listados se les llama también índices), analizar los enlaces de un website para descubrir los enlaces rotos, recolectar cierta información como precios de productos.
 
Los crawlers más famosos son Screaming Frog y DeepCrawl.
 
Anuncios