Иногда, при попытке выкачать сайт через wget с ключиком "-r" ничего не происходит. Wget скачивает robots.txt  и на этом останавливается. Но что же в этом случае делать?

С удивлением обнаружил, что на просторах интернета предлагаются только онлайн-сервисы проверки наличия сжатия для страниц сайта. Почти все они, проверяют сжатие для страницы в целом и бесполезны если вы хотите проверить включено ли gzip сжатие для конкретного файла. Мало того, многие из них ничего не проверяют или проверяют неправильно, вводя в заблуждение. Вот вам две команды, которые позволяют самостоятельно проверять включено ли у вас gzip сжатие или нет.

Часто возникает необходимость понимать, какого рода ошибка произошла при работе wget, особенно при использовании его в скриптах. К сожалению в man-страницах либо вообще про это не рассказывается, либо список кодов, которые возвращает wget, неполный. Ниже показаны коды, которые возвращает wget и пояснения к ним.