Website Crawling & Spidering
Passive Crawling & Spidering with Burp Suite & OWASP ZAP
Crawling
El Crawling es el proceso de navegar por la aplicación web, seguir enlaces, enviar formularios e iniciar sesión (cuando sea posible) con el objetivo de mapear y catalogar la aplicación web y las rutas de navegación dentro de ella.
El rastreo es típicamente pasivo, ya que la interacción con el objetivo se realiza a través de lo que es de acceso público. Podemos utilizar el rastreador pasivo de Burp Suite para ayudarnos a mapear la aplicación web y comprender mejor cómo está configurada y cómo funciona.
Spidering
El Spidering es el proceso de descubrir automáticamente nuevos recursos (URL) en una aplicación o sitio web.
Normalmente comienza con una lista de URL de destino denominadas semillas, después de lo cual el rastreador visitará las URL y los hipervínculos identificados en la página y los agregará a la lista de URL para visitar y repetirá el proceso de forma recursiva.
El rastreo de páginas web puede ser bastante ruidoso y, como resultado, normalmente se considera una técnica de recopilación de información activa.
Podemos utilizar Spidering de OWASP ZAP para automatizar el proceso de rastreo de una aplicación web para mapear la aplicación web y aprender más sobre cómo está diseñado el sitio y cómo funciona.
Practical Demo
Requisitos
Tener configurado el navegador con la extension de FoxyProxy
Burp Suite
Ejecutar Burp Suite
Comenzar a navegar en la pagina web posterior a la habilitacion de la extensio de FoxyProxy
Esto es considerado como parte de un escaneo Ceawling, para un escaneo automatico se debe de realizar lo siguiente:
Hacer clic Dashboard > New live task | Resource Pool > Scan configuration > New
Owas ZAP
Ejecutar OWASP ZAP
Establecer el modo en "Standar Mode", debido a que permite la utilización de escaneos activos como pasivos. Sin embargo otros metodos no te permiten ejecutar escaneos mas robostos debido al modo en el que estan.
Hacer clic en Tools > Spider
Durante el escaneo vera en su consola las URLs que se van descubriendo, sin embargo todas las URLs que estan con un punto rojo, son consideradas como URLs externas.
Analizar las URLs descubiertas
Last updated