eJPT
  • 👋Welcome
  • Tools
    • 🔭Escaneo y Enumeración
  • SECTION 1: Assessment Methodologies
    • Assessment Methodologies: Information Gathering
      • Introducción a la Recopilación de Información
        • Start Quiz
      • Passive Information Gathering
      • Active Information Gathering
    • Assessment Methodologies: Footprinting & Scanning
      • Introduction
      • Networking Primer
      • Host Discovery
      • Port Scanning
      • Evasion, Scan Performance & Output
      • Page
      • Challenges
    • Assessment Methodologies: Enumeration
      • Overview
      • SMB Lesson
      • FTP Lesson
      • SSH Lesson
      • HTTP Lesson
      • SQL Lesson
    • Assessment Methodologies: Vulnerability Assessment
      • Vulnerability Assessment
      • Course Labs
  • SECTION 2: Host & Networking Auditing
    • Assessment Methodologies: Auditing Fundamentals
      • Assessment Methodologies
      • Practice
  • SECTION 3: Host & Network Penetration Testing
    • Host & Network Penetration Testing: System/Host Based Attacks
      • Introduction to Attacks
      • Windows Vulnerabilities
      • Exploiting Windows Vulnerabilities
      • Windows Privilege Escalation
      • Windows File System Vulnerabilities
      • Windows Credential Dumping
      • Linux Vulnerabilities
      • Exploiting Linux Vulnerabilities
      • Linux Privilege Escalation
      • Linux Credential Dumping
      • Conclusion
    • Host & Network Penetration Testing: Network-Based Attacks
      • Network-Based Attacks
    • Host & Network Penetration Testing: The Metasploit Framework (MSF)
      • Metasploit
        • Metasploit Fundamentals
      • Information Gathering & Enumeration
        • Nmap
        • Enumeration
      • Vulnerability Scanning
        • MSF
        • Nessus
        • Web Apps
      • Client-Side Attacks
        • Payloads
        • Automating
      • Exploitation
        • Windows Exploitation
        • Linux Exploitation
        • Post Exploitation Fundamentals
        • Windows Post Exploitation
        • Linux Post Exploitation
      • Armitage
        • Metasploit GUIs
    • Host & Network Penetration Testing: Exploitation
      • Introduction To Exploitation
      • Vulnerability Scanning Overview
      • Exploits
        • Searching For Exploits
        • Fixing Exploits
      • Shells
      • Frameworks
      • Windows
      • Linux
      • Obfuscation
    • Host & Network Penetration Testing: Post-Exploitation
      • Introduction
      • Windows Enumeration
      • Linux Enumeration
      • Transferring Files
      • Shells
      • Escalation
        • Windows Privilege Escalation
        • Linux Privilege Escalation
      • Persistence
        • Windows Persistence
        • Linux Persistence
      • Dumping & Cracking
        • Windows Password Hashes
        • Linux Password Hashes
      • Pivoting Lesson
      • Clearing
  • Host & Network Penetration Testing: Social Engineering
    • Social Engineering
  • SECTION 4: Web Application Penetration Testing
    • Introduction to the Web & HTTP Protocol
      • Web Applications
      • HTTP Protocol
        • HTTP/S Protocol Fundamentals
        • Website Crawling & Spidering
Powered by GitBook
On this page
  • Passive Crawling & Spidering with Burp Suite & OWASP ZAP
  • Crawling
  • Spidering
  • Practical Demo
  1. SECTION 4: Web Application Penetration Testing
  2. Introduction to the Web & HTTP Protocol
  3. HTTP Protocol

Website Crawling & Spidering

PreviousHTTP/S Protocol Fundamentals

Last updated 7 months ago

Passive Crawling & Spidering with Burp Suite & OWASP ZAP

Crawling

El Crawling es el proceso de navegar por la aplicación web, seguir enlaces, enviar formularios e iniciar sesión (cuando sea posible) con el objetivo de mapear y catalogar la aplicación web y las rutas de navegación dentro de ella.

El rastreo es típicamente pasivo, ya que la interacción con el objetivo se realiza a través de lo que es de acceso público. Podemos utilizar el rastreador pasivo de Burp Suite para ayudarnos a mapear la aplicación web y comprender mejor cómo está configurada y cómo funciona.

Spidering

El Spidering es el proceso de descubrir automáticamente nuevos recursos (URL) en una aplicación o sitio web.

Normalmente comienza con una lista de URL de destino denominadas semillas, después de lo cual el rastreador visitará las URL y los hipervínculos identificados en la página y los agregará a la lista de URL para visitar y repetirá el proceso de forma recursiva.

El rastreo de páginas web puede ser bastante ruidoso y, como resultado, normalmente se considera una técnica de recopilación de información activa.

Podemos utilizar Spidering de OWASP ZAP para automatizar el proceso de rastreo de una aplicación web para mapear la aplicación web y aprender más sobre cómo está diseñado el sitio y cómo funciona.

Practical Demo

Requisitos

  1. Tener configurado el navegador con la extension de FoxyProxy

Burp Suite

  1. Ejecutar Burp Suite

  2. Comenzar a navegar en la pagina web posterior a la habilitacion de la extensio de FoxyProxy

Esto es considerado como parte de un escaneo Ceawling, para un escaneo automatico se debe de realizar lo siguiente:

  1. Hacer clic Dashboard > New live task | Resource Pool > Scan configuration > New

Owas ZAP

  1. Ejecutar OWASP ZAP

  2. Establecer el modo en "Standar Mode", debido a que permite la utilización de escaneos activos como pasivos. Sin embargo otros metodos no te permiten ejecutar escaneos mas robostos debido al modo en el que estan.

  1. Hacer clic en Tools > Spider

  1. Durante el escaneo vera en su consola las URLs que se van descubriendo, sin embargo todas las URLs que estan con un punto rojo, son consideradas como URLs externas.

Analizar las URLs descubiertas

Revisar todas las opciones que ofrece
Se puede exportar la informacion