728x90

 

브라우저에서 다운로드 하는 것 처럼 user-agent 정보 보내기

몇몇 웹사이트는 브라우저로 다운로드하지 않는다고 판단될 경우 다운로드를 허가하지 않는 경우가 있다. 이 때 '--user-agent' 옵션으로 정보를 함께 보낼 수 있음.

 

$ wget --user-agent="나의 useragent정보넣기" DOWNLOAD-URL



 

useragent 찾는 법

1. 구글에 user agent확인 검색

http://m.avalon.co.kr/check.html

 

USER AGENT 확인

navigator.userAgent 값은 다음과 같습니다. $_SERVER['HTTP_USER_AGENT'] 값은 다음과 같습니다.

m.avalon.co.kr

2. 콘솔창에

Useragent 구글에 useragent확인 또는

콘솔창에 navigator.userAgent라고 입력을 한다.

 

다운로드 가능한지 확인

 

wget --spider 다운받을링크

올바른 링크는 잘되고 아니면 안되는 거 볼 수 있음

 

재시도 횟수

wget --tries=횟수 다운받을링크

wget --tries=75 naver.com

 

여러개 파일 다운로드

1. 폴더 만들고

 

mkdir 폴더명

2 . 거기에 링크를 여러개  다운

링크 한 칸씩 띄어써야함

 

wget -i 폴더명 링크1 링크2

 

ftp파일 전송 프로토콜(File Transfer Protocol, FTP)다운로드

는 잘 안됨..

 

이해 잘 안감요 이하 블로그설명

 

wget으로 ftp 다운로드를 할 수 있습니다.

 

anonymous ftp 다운로드는 다음 예제와 같습니다.

$ wget FTP-URL

 

인증이 필요한 ftp는 '--ftp-user'와 '--ftp-password'를 입력해야 합니다.

$ wget --ftp-user=USERNAME --ftp-password=PASSWORD FTP-URL



출처: https://sisiblog.tistory.com/25 [달삼쓰뱉]

728x90

+ Recent posts