wget не качает рекурсивно
Иногда, при попытке выкачать сайт через wget с ключиком "-r" ничего не происходит. Wget скачивает robots.txt и на этом останавливается. Но что же в этом случае делать?
Иногда на сайты ставят защиту от роботов, чтобы они не нагружали сайт. Обычно, такая защита обходится довольно лёгко, путём добавления следующих ключиков:
--user-agent=opera -e robots=off
первый ключик заменяет User-Agent на "opera", что позволяет обходить проверку по User Agent на стороне сервереа. Второй ключик запрещает скачивание robots.txt и если защита настроена именно на это, то опять же она обходится.
- Войдите или зарегистрируйтесь, чтобы получить возможность отправлять комментарии
- 1132 просмотра