리눅스 `curl` 명령어는 단순한 파일 다운로드를 넘어 다양한 작업을 수행할 수 있습니다. `curl`의 기능과 `wget` 대신 언제 사용해야 하는지 알아보겠습니다.
`curl` vs `wget`: 주요 차이점
많은 사용자들이 `wget`과 `curl` 명령의 상대적인 장점을 구분하는 데 어려움을 느낍니다. 두 명령어는 일부 기능이 겹치지만, 원격 위치에서 파일을 가져오는 기능은 공통점일 뿐입니다.
`wget`은 콘텐츠 및 파일 다운로드에 특화된 강력한 도구입니다. 파일, 웹 페이지, 디렉터리를 다운로드할 수 있으며, 웹 페이지 내의 링크를 추적하여 웹사이트 전체를 재귀적으로 다운로드하는 기능까지 갖추고 있습니다. 명령줄 다운로드 매니저로서 탁월한 성능을 자랑합니다.
`curl`은 보다 다양한 용도로 활용됩니다. 파일을 가져올 수 있지만, `wget`처럼 웹사이트를 재귀적으로 탐색하여 콘텐츠를 다운로드하는 기능은 없습니다. `curl`의 주된 역할은 원격 시스템에 요청을 보내고 응답을 받아 표시하여 사용자와 원격 시스템 간의 상호작용을 가능하게 하는 것입니다. 이러한 응답은 웹 페이지, 파일일 수도 있지만, 웹 서비스나 API를 통해 제공되는 데이터일 수도 있습니다.
또한, `curl`은 웹사이트에만 국한되지 않고 HTTP, HTTPS, SCP, SFTP, FTP 등 20개 이상의 다양한 프로토콜을 지원합니다. 리눅스 파이프와의 뛰어난 호환성 덕분에 다른 명령어 및 스크립트와 쉽게 통합될 수 있다는 장점도 있습니다.
`curl` 개발자는 자신의 웹페이지에서 `curl`과 `wget`의 차이점을 자세히 설명하고 있습니다.
`curl` 설치
이 글을 작성하는 데 사용된 Fedora 31과 Manjaro 18.1.0 시스템에는 `curl`이 이미 설치되어 있었습니다. 반면, Ubuntu 18.04 LTS에서는 `curl`을 설치해야 했습니다. Ubuntu에서는 다음 명령을 사용하여 설치할 수 있습니다.
sudo apt-get install curl
`curl` 버전 확인
`–version` 옵션을 사용하면 `curl`의 버전을 확인하고 지원하는 프로토콜 목록을 볼 수 있습니다.
curl --version
웹 페이지 가져오기
웹 페이지 주소를 `curl`에 전달하면 해당 페이지를 가져올 수 있습니다.
curl https://www.bbc.com
하지만, 기본적으로 `curl`은 웹 페이지의 소스 코드를 터미널 창에 출력합니다.
주의: `curl`에 파일로 저장하라는 지시가 없으면 항상 터미널 창에 결과를 출력합니다. 만약 바이너리 파일을 가져오는 경우, 결과가 예측 불가능할 수 있습니다. 셸이 바이너리 파일의 일부 바이트 값을 제어 문자 또는 이스케이프 시퀀스로 해석하려고 할 수 있기 때문입니다.
파일에 데이터 저장
이제 `curl`의 출력을 파일로 리디렉션하여 저장해 보겠습니다.
curl https://www.bbc.com > bbc.html
이번에는 가져온 정보가 터미널에 표시되지 않고 파일로 바로 저장됩니다. 터미널 창에 표시할 출력이 없으므로 `curl`은 진행 정보를 출력합니다.
이전 예제에서는 진행 정보가 웹 페이지 소스 코드와 섞여 있었기 때문에 `curl`이 자동으로 진행 정보를 출력하지 않았습니다. 하지만, 출력이 파일로 리디렉션되고 있음을 감지하면 진행 정보를 출력합니다.
표시되는 정보는 다음과 같습니다.
% Total: 다운로드할 총 데이터 양
% Received: 현재까지 다운로드된 데이터의 백분율 및 실제 값
% Xferd: 데이터 업로드 시 전송된 백분율 및 실제 값
Avg. speed download: 평균 다운로드 속도
Avg. speed upload: 평균 업로드 속도
Total time: 예상 총 전송 시간
Time spent: 현재까지 경과된 전송 시간
Time left: 전송 완료까지 남은 예상 시간
Current speed: 현재 전송 속도
이제 `bbc.html` 파일이 생성되었습니다.
해당 파일을 두 번 클릭하면 웹 브라우저가 열리고 다운로드한 웹 페이지가 표시됩니다.
브라우저 주소 표시줄에는 원격 웹사이트 주소가 아닌 로컬 파일 주소가 표시됩니다.
출력을 파일로 리디렉션하는 대신 `-o` (출력) 옵션을 사용하여 파일을 생성하도록 `curl`에 직접 지시할 수도 있습니다. 다음은 `-o` 옵션을 사용하여 `bbc.html` 파일을 생성하는 예입니다.
curl -o bbc.html https://www.bbc.com
진행률 표시줄로 다운로드 모니터링
텍스트 기반 다운로드 정보를 간단한 진행률 표시줄로 변경하려면 `-#` (진행률 표시줄) 옵션을 사용합니다.
curl -# -o bbc.html https://www.bbc.com
중단된 다운로드 재개
중단된 다운로드를 재개하는 것은 매우 쉽습니다. 먼저, 큰 파일 다운로드를 시작해 보겠습니다. Ubuntu 18.04 최신 장기 지원 빌드를 사용할 것입니다. `-output` 옵션을 사용하여 저장할 파일 이름을 지정합니다. 여기서는 `ubuntu18043.iso`로 지정합니다.
curl --output ubuntu18043.iso http://releases.ubuntu.com/18.04.3/ubuntu-18.04.3-desktop-amd64.iso
다운로드가 시작되고 완료될 때까지 진행됩니다.
Ctrl+C를 눌러 다운로드를 중단하면 명령 프롬프트로 돌아가고 다운로드가 중단됩니다.
다운로드를 재개하려면 `-C` (계속) 옵션을 사용합니다. 이 옵션을 사용하면 대상 파일 내의 지정된 지점 또는 오프셋에서 다운로드가 재개됩니다. 하이픈 `-`을 사용하는 경우, `curl`은 파일의 이미 다운로드된 부분을 확인하여 올바른 오프셋을 스스로 결정합니다.
curl -C - --output ubuntu18043.iso http://releases.ubuntu.com/18.04.3/ubuntu-18.04.3-desktop-amd64.iso
다운로드가 재개됩니다. `curl`은 다시 시작하는 오프셋을 보고합니다.
HTTP 헤더 가져오기
`-I` (head) 옵션을 사용하면 HTTP 헤더만 가져올 수 있습니다. 이는 웹 서버에 HTTP HEAD 명령어를 보내는 것과 같습니다.
curl -I www.twitter.com
이 명령은 정보만 가져올 뿐, 웹 페이지나 파일은 다운로드하지 않습니다.
여러 URL 다운로드
xargs를 사용하면 여러 개의 URL을 한 번에 다운로드할 수 있습니다. 예를 들어, 단일 기사 또는 튜토리얼을 구성하는 여러 웹 페이지를 다운로드해야 할 때 유용합니다.
다음 URL 목록을 편집기에 복사하여 `urls-to-download.txt`라는 파일에 저장합니다. xargs를 사용하여 각 줄의 내용을 처리하고, `curl`에 매개변수로 전달합니다.
https://tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#0 https://tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#1 https://tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#2 https://tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#3 https://tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#4 https://tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#5
다음은 xargs가 각 URL을 curl에 전달하여 한 번에 하나씩 다운로드하도록 하는 데 사용해야 하는 명령입니다.
xargs -n 1 curl -O < urls-to-download.txt
이 명령은 `-O` (원격 파일) 출력 명령을 사용하는데, 대문자 “O”를 사용한다는 점에 유의해야 합니다. 이 옵션은 `curl`이 가져온 파일을 원격 서버의 파일 이름과 동일하게 저장하도록 합니다.
`-n 1` 옵션은 xargs가 텍스트 파일의 각 줄을 단일 매개변수로 처리하도록 지시합니다.
명령을 실행하면 여러 다운로드가 순서대로 시작되고 완료되는 것을 확인할 수 있습니다.
파일 브라우저에서 확인하면 여러 파일이 다운로드되었음을 알 수 있습니다. 각 파일은 원격 서버에서 사용하던 이름으로 저장됩니다.
FTP 서버에서 파일 다운로드
사용자 이름과 비밀번호로 인증해야 하는 경우에도, 파일 전송 프로토콜 (FTP) 서버와 함께 `curl`을 사용하는 것은 매우 쉽습니다. `curl`에 사용자 이름과 비밀번호를 전달하려면 `-u` (사용자) 옵션을 사용하고 사용자 이름, 콜론 “:”, 비밀번호를 순서대로 입력합니다. 콜론 앞뒤에는 공백을 넣지 않아야 합니다.
다음은 Rebex에서 호스팅하는 테스트용 무료 FTP 서버입니다. 이 테스트 FTP 사이트는 “demo”라는 사용자 이름과 “password”라는 비밀번호를 미리 설정해 놓았습니다. 실제 FTP 서버에서는 이처럼 취약한 사용자 이름과 비밀번호를 사용하지 않아야 합니다.
curl -u demo:password ftp://test.rebex.net
curl이 FTP 서버를 가리키고 있음을 인식하고 서버에 있는 파일 목록을 반환합니다.
이 서버의 유일한 파일은 길이가 403바이트인 `readme.txt` 파일입니다. 이제 이 파일을 다운로드해 보겠습니다. 잠시 전과 동일한 명령을 사용하되, 파일 이름을 추가합니다.
curl -u demo:password ftp://test.rebex.net/readme.txt
파일이 다운로드되고 `curl`이 파일 내용을 터미널 창에 표시합니다.
대부분의 경우, 다운로드한 파일을 터미널 창에 표시하는 것보다 디스크에 저장하는 것이 더 편리합니다. 다시 한번 `-O` (원격 파일) 출력 명령을 사용하여 원격 서버의 파일 이름과 동일하게 파일을 디스크에 저장할 수 있습니다.
curl -O -u demo:password ftp://test.rebex.net/readme.txt
파일이 다운로드되어 디스크에 저장됩니다. `ls` 명령어를 사용하여 파일 정보를 확인할 수 있습니다. 파일 이름이 FTP 서버의 파일과 동일하며 길이는 403바이트입니다.
ls -hl readme.txt
원격 서버에 매개변수 전송
일부 원격 서버는 전송된 요청에 포함된 매개변수를 수락합니다. 이러한 매개변수는 반환되는 데이터의 형식을 지정하거나, 사용자가 원하는 데이터를 선택하는 데 사용될 수 있습니다. 때로는 `curl`을 사용하여 웹 애플리케이션 프로그래밍 인터페이스 (API)와 상호 작용할 수도 있습니다.
간단한 예로, ipify 웹사이트는 외부 IP 주소를 확인하기 위해 쿼리할 수 있는 API를 제공합니다.
curl https://api.ipify.org
`json` 값을 사용하여 명령에 `format` 매개변수를 추가하면 외부 IP 주소를 다시 요청할 수 있지만, 이번에는 반환되는 데이터가 JSON 형식으로 인코딩됩니다.
curl https://api.ipify.org?format=json
<img src=”https://koreantech.org/wp-content/uploads/2021/12/1640137402_54_curl%EC%9D%84-%EC%82%AC%EC%9A%A9%ED%95%98%EC%97%AC-Linux-%EB%AA%85%EB%A0%B9%ED%96%87%EC%97%90%EC%84%9C-%ED%8C%8C%EC%9D%BC%EC%9D%84-%EB%8B%