A quien no le ha interesado alguna vez poder descargarse el contenido de una web si tener que ir pinchando en cada enlace?
Podemos hacer una descarga recursiva evitando la exclusión por el robots.txt
el comando:
wget -r -e robots=off URL
donde URL lo sustituiremos por el enlace a la página en cuestion.
para más info: man wget
Un saludo.
Excelente aporte. Gracias por compartir la info!
ResponderEliminarUna informacion realmente EXCELENTE. GRACIAS.
ResponderEliminar