Presentación de Crawlino, un sistema de crawling distribuido de nueva generación.
De qué va
Crawlino es un sistema de crawling distribuido diseñado para reconocimiento y análisis de aplicaciones web a escala.
En esta charla cubrimos:
- Limitaciones de los crawlers tradicionales
- Arquitectura distribuida y escalable
- Crawling inteligente con aprendizaje
- Casos de uso en pentesting y reconocimiento
- Rendimiento: millones de URLs por día
Por qué es relevante
Los crawlers tradicionales no escalan. Cuando necesitas analizar miles de dominios o millones de URLs, necesitas otra aproximación.
Crawlino resuelve esto con arquitectura distribuida, cola de mensajes y crawling inteligente.
Impacto
Adoptado por equipos de seguridad para reconocimiento masivo de superficies de ataque en grandes organizaciones.