Иногда, при попытке выкачать сайт через wget с ключиком "-r" ничего не происходит. Wget скачивает robots.txt  и на этом останавливается. Но что же в этом случае делать?

Иногда на сайты ставят защиту от роботов, чтобы они не нагружали сайт. Обычно, такая защита обходится довольно лёгко, путём добавления следующих ключиков:

--user-agent=opera -e robots=off

первый ключик заменяет User-Agent на "opera", что позволяет обходить проверку по User Agent на стороне сервереа. Второй ключик запрещает скачивание robots.txt и если защита настроена именно на это, то опять же она обходится.