Установка wget из портов для FreeBSD
Введение в GNU Wget.
GNU Wget является бесплатным пакетом программного обеспечения (ПО) для получения файлов с помощью HTTP, HTTPS и FTP, наиболее широко используемых протоколов Интернет. Это не интерактивный инструмент командной строки, поэтому он может вызывается из сценариев, терминалов без поддержки X-Windows и т. д.
GNU Wget имеет множество функций, можно скачивать файлы (ISO, картинки, музыку, веб страницы и др) и даже целый веб-сайт или FTP-сайт, в том числе:
• Может возобновить прерванные загрузки, используя REST и RANGE.
• По желанию преобразует абсолютные ссылки в загруженных документов на родственника, чтобы загруженные документы были связаны друг с другом локально.
• Работает на большинстве UNIX-подобных операционных систем, а также Microsoft Windows.
• Поддержка HTTP прокси.
• Поддержка HTTP cookies (куки).
• Поддерживает постоянные соединения HTTP.
• Автоматическая / фоновая операция.
• GNU Wget распространяется под GNU General Public License.
• И др его плюсы.
Установка wget из портов для FreeBSD
Установить можно из пакетов (портов), а можно и собрать (скомпилировать) из исходного кода. Я буду устанавливать из портов — это быстрый способ что бы установить программу, на компиляцию
потребуется больше времени и документации.
# cd /usr/ports/ftp/wget # make install clean
или скачать исходный код.
Скачать GNU Wget.
Исходный код для GNU Wget можно найти на
http://ftp.gnu.org/gnu/ [через HTTP] и ftp://ftp.gnu.org/gnu/ [через FTP]
Документация.
Документацию GNU Wget можно найти на http://www.gnu.org/software/wget/manual/. Для руководства о других пакетах GNU посетите http://www.gnu.org/manual/
Примеры использование программы Wget.
1. Допустим, вы хотите скачать URL. Просто введите:
# wget http://linux-notes.org/
Вы увидите на экране в консоле что-то вроде:
—13:30:45—http://fly.cc.fer.hr:80/
=>`index.html’
Connecting to fly.cc.fer.hr:80… connected!
HTTP request sent, fetching headers… done.
Length: 1,749 [text/html]
0K -> .
13:30:46 (68.32K/s) — `index.html’ saved [1749/1749]
2. Но что произойдет, если связь медленная, а файл длиннющий? Соединение вероятно отсоединиться и файл не докачаеться. В этом случае Wget будет пытаться получить файл, пока он либо не скачает весь файл, или превысит количество попыток — по умолчанию (20). Можно легко изменить количество попыток чтобы гарантировать, что весь файл скачаеться безопасно:
# wget --tries=45 http://fly.cc.fer.hr/jpg/flyweb.jpg
3. Теперь давайте запустим Wget чтобы он работал в фоновом режиме, и записать этот отчет в файл ‘log’, для того чтобы это сделать нужно набрать «—tries», но это утомляет, по этому можно написать более короче — использовать ‘-t’.
# wget -t 45 -o log http://fly.cc.fer.hr/jpg/flyweb.jpg &
Амперсанд в конце строки говорит, что Wget будет работать в фоновом режиме. Для снятия ограничения на количество попыток можно воспользоваться «-t inf «
4. Использование FTP так же просто.
# wget ftp://gnjilux.cc.fer.hr/welcome.msg
—23:35:55— ftp://gnjilux.cc.fer.hr:21/welcome.msg
=> `welcome.msg’
Connecting to gnjilux.cc.fer.hr:21… connected!
Logging in as anonymous … Logged in!
==> TYPE I … done. ==> CWD not needed.
==> PORT … done. ==> RETR welcome.msg … done.
Length: 1,340 (unauthoritative)
0K -> .
23:35:56 (37.39K/s) — `welcome.msg’ saved [1340]
5. Если вы укажете каталог, Wget будет получит список каталога, а разложит его и преобразует в HTML:
# wget ftp://prep.ai.mit.edu/pub/gnu/ lynx index.html
Расширенное использование.
1. Вы хотите прочитать список URL-адресов из файла? Не проблема:
# wget -i file
Если указать `- ‘как имя файла, то URL-адреса будут считываться из стандартного ввода.
2. Создать зеркальное изображение сайте GNU WWW (с той же структурой каталогов что и оригинал) только с одной попыткой и сохранить в журнал `gnulog ‘:
# wget-р-T1 http://www.linux-notes.org/-оgnulog
3. Получить первый слой Ссылок в Yahoo:
# wget-р-L1 http://www.linux-notes.org/
4. Извлечь index.html из `www.linux-notes.org», показывая оригинальные серверные заголовки:
# wget-S http://www.linux-notes.org/
5. Сохраните сервера заголовки с файлом:
# wget-х http://www.linux-notes.org/
не только index.html
6. Получить первые два уровня `wuarchive.wustl.edu ‘, сохраняя их в / TMP.
# wget -P/tmp-L2 ftp://linux-notes.org/
7. Вы хотите скачать все GIF-файлы из каталога HTTP. `Wget http://host/dir/ *. gif» не работает, так как поисковый HTTP браузер не поддерживает подстановку. В этом случае используйте:
# wget -r -l1 --no-parent -A.gif http://host/dir/
8. Предположим, что у Вас произошел разрыв в середине загрузки, когда Wget качал файлы и Вы не хотите замещать файлы которые уже скачаны (имеющиеся). Используйте это так:
# wget-NC-R http://www.linux-notes.org/
9. Если вы хотите указать имя пользователя и пароль для HTTP или FTP, используйте соответствующий синтаксис URL:
# wget ftp://hniksic:mypassword@jagor.srce.hr/.emacs
10. Если вам не нравится визуализация по умолчанию (1 Кбайт на точку, 10 точек в кластере, 50 точек в строке), вы можете настроить это через настройку точек. Например, многие люди, как «бинарной» стиль представления, с 8K точек и 512K линий:
# wget --dot-style=binary ftp://prep.ai.mit.edu/pub/gnu/README
Вы можете экспериментировать с другими стилями, так:
# wget --dot-style=mega ftp://linux-notes.org/pub/xemacs/xemacs-20.4/xemacs-20.4.tar.gz # wget --dot-style=micro http://linux-notes.org/
Чисто для ПРО, =D
1. Если вы хотите Wget загружал из зеркала страницы (или FTP каталоги), то используйте `—mirror’ (`-m’) что является сокращением для`-r-N’. Вы можете прописать Wget в файле кронтаба чтобы выполнять проверку сайта каждое воскресенье например (можно настроить выполнение на любое время, число, месяц, год):
crontab
0 0 * * 0 wget --mirror ftp://ftp.xemacs.org/pub/xemacs/ -o /home/me/weeklog
2. Вы можете скачивать то же самое с чьей-то домашней страницей. Но вы не хотите, загружать все эти образы или файлы и вас интересует только HTML, тогда:
# wget --mirror -A.html http://www.w3.org/
3. Но как насчет зеркал которые близки к вам сети? DNS поможет в этом вопросе, просто используйте ключ ‘-D’
# wget -rN -Dsrce.hr http://www.srce.hr/
4. Что бы преобразовать абсолютные ссылки в относительные? Используйте `-к ‘:
# wget -k -r URL
5. Вам необходимо чтобы выгружаемые документы выдавались на стандартный вывод вместо записи их в файлы? ОК, но Wget автоматически умолкнет (включить «—quiet»), чтобы избежать смешивания вывода Wget и получаемых документов.
# wget -O - http://jagor.srce.hr/ http://www.linux-notes.org/
Вы также можете комбинировать две опции и сделать потоки для получения документов из удаленных хостов:
# wget -O - http://linux-notes.org/ | wget --force-html -i -
Установка wget из портов для FreeBSD завершена. Пользуйтесь)
Мои партнеры:
1. Вздулся аккумулятор на телефоне. Почему вздуваются аккумуляторы. » АККУМУЛЯТОРНЫЕ БАТАРЕЙКИ: зарядка батареек