자체 서버에서 객체 저장소 소프트웨어를 운영하고 싶으신가요?
그렇다면 주목해 주세요.
AWS S3와 같은 클라우드 기반 객체 저장소가 널리 사용되지만, 직접 서버에서 데이터를 관리해야 할 때는 MinIO가 데이터 센터 내에서 매우 유용할 수 있습니다.
MinIO는 널리 알려진 오픈 소스 분산 객체 저장소 소프트웨어이며, S3와 호환됩니다. 기업 수준의 안정성과 뛰어난 성능으로 명성이 높습니다.
MinIO는 단순한 웹 애플리케이션부터 분석 및 머신 러닝을 위한 대규모 데이터 배포 작업까지 다양한 용도로 활용될 수 있습니다. 이는 다양한 사용 사례에서 실질적인 도움이 됩니다.
- 표준 플랫 파일 저장
- 다중 클라우드 환경에서의 데이터 배포
- 재해 복구 시스템
- 데이터 분석
소프트웨어가 너무 무겁지는 않을까요?
아닙니다. 약 50MB 정도의 가벼운 크기이며 Kubernetes 환경에도 적합합니다. MinIO는 데이터와 메타데이터를 객체 형태로 저장하므로, 별도의 데이터베이스나 소프트웨어 의존성 없이 메타데이터 저장 및 성능 향상을 가능하게 합니다.
아래는 공식 웹사이트에 게시된 아키텍처입니다.
이제 MinIO의 몇 가지 주목할 만한 특징을 살펴보겠습니다.
- 뛰어난 성능 – 제목 그대로입니다. 최대 170GB/s의 읽기/쓰기 속도를 제공합니다. 정말 빠릅니다!
- 확장성 – 필요에 따라 클러스터링 및 확장이 가능합니다.
- 클라우드 네이티브
- 삭제 코드를 활용한 데이터 보호
- AES-CBC, AES-256-GCM, ChaCha20 등 다양한 암호화 방식 지원
- 일반적인 KMS와 호환
- 애플리케이션 및 사용자 식별
- 이벤트 알림
- etcd 및 CoreDNS를 사용한 페더레이션 기능
MinIO는 소프트웨어 정의 스토리지에 최적의 선택입니다. 이제 설정 방법에 대해 알아보겠습니다.
MinIO 서버 설치 가이드
MinIO는 다양한 플랫폼 (Linux, Windows, macOS, Kubernetes)에서 설치할 수 있습니다. 또한, Golang이 설치되어 있다면 소스 코드를 빌드하여 설치할 수도 있습니다.
여기서는 카마테라에서 호스팅되는 CentOS에 설치하는 방법을 보여드리겠습니다.
- 서버에 로그인합니다.
- 원하는 파일 시스템 아래에 폴더를 만듭니다. 예를 들어 ‘minio_server’와 같은 폴더를 만들 수 있습니다.
- 새로 만든 폴더로 이동한 다음, 아래의 wget 명령을 실행합니다.
wget https://dl.min.io/server/minio/release/linux-amd64/minio바이너리 파일이 다운로드되면 다음과 같은 형태를 갖게 됩니다.
-rw-r--r-- 1 root root 48271360 Oct 18 21:57 miniochmod 명령을 사용하여 파일을 실행 가능하게 만듭니다.
chmod 755 minio이제 MinIO를 서버로 시작해 봅시다.
./minio server /data &위의 ‘/data’는 MinIO가 객체를 저장할 파일 시스템 경로입니다.
MinIO는 빠르게 시작되며, 아래와 유사한 시작 정보가 표시되어야 합니다.
Endpoint: http://xx.71.141.xx:9000 http://127.0.0.1:9000
AccessKey: minioadmin
SecretKey: minioadmin
Browser Access:
http://xx.71.141.xx:9000 http://127.0.0.1:9000
Command-line Access: https://docs.min.io/docs/minio-client-quickstart-guide
$ mc alias set myminio http://xx.71.141.xx:9000 minioadmin minioadmin
Object API (Amazon S3 compatible):
Go: https://docs.min.io/docs/golang-client-quickstart-guide
Java: https://docs.min.io/docs/java-client-quickstart-guide
Python: https://docs.min.io/docs/python-client-quickstart-guide
JavaScript: https://docs.min.io/docs/javascript-client-quickstart-guide
.NET: https://docs.min.io/docs/dotnet-client-quickstart-guide
Detected default credentials 'minioadmin:minioadmin', please change the credentials immediately using 'MINIO_ACCESS_KEY' and 'MINIO_SECRET_KEY'기본 자격 증명인 ‘minioadmin:minioadmin’을 사용하여 브라우저에서 MinIO에 액세스해 보겠습니다.
인터페이스는 매우 깔끔하지만, 무엇보다도 위험을 감수해야 하므로 기본 자격 증명을 변경해야 합니다. 브라우저가 아닌 환경 변수를 통해 관리자 자격 증명을 변경하는 옵션이 있습니다.
MinIO의 기본 자격 증명을 변경하려면 아래와 같이 액세스 키와 비밀 키를 내보낸 다음 MinIO를 시작합니다.
export MINIO_ACCESS_KEY=koreantech.org
export MINIO_SECRET_KEY=geekpassword
./minio server /data &이제 기본 자격 증명 감지 경고가 표시되지 않아야 합니다.
몇 가지 파일을 업로드해 보겠습니다.
- 오른쪽 하단의 ‘+’ 아이콘을 클릭하여 버킷을 생성합니다.
- 테스트 파일을 업로드하면 브라우저에 즉시 표시됩니다.
그리고 서버에서는 다음과 같이 나타납니다.
[[email protected] geekflare]# ls -ltr
total 4
-rw-r--r-- 1 root root 11 Oct 19 11:09 MinIO-Test.txt
[[email protected] geekflare]#브라우저에서 파일 공유 버튼을 클릭하면 공유 가능한 링크와 만료 설정 옵션이 표시됩니다.
MinIO 클라이언트
MinIO 클라이언트는 스토리지를 관리하는 데 유용한 도구로, aws-cli보다 강력한 기능을 제공합니다. 이 클라이언트는 Windows, macOS, Linux 환경에서 사용할 수 있습니다.
Linux에 설치하려면 다음 명령을 실행합니다.
wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod 755 mc명령어 도움말을 보려면 ‘mc’ 명령을 실행하십시오.
[[email protected] ~]# ./mc
NAME:
mc - MinIO Client for cloud storage and filesystems.
USAGE:
mc [FLAGS] COMMAND [COMMAND FLAGS | -h] [ARGUMENTS...]
COMMANDS:
alias set, remove and list aliases in configuration file
ls list buckets and objects
mb make a bucket
rb remove a bucket
cp copy objects
mirror synchronize object(s) to a remote site
cat display object contents
head display first 'n' lines of an object
pipe stream STDIN to an object
share generate URL for temporary access to an object
find search for objects
sql run sql queries on objects
stat show object metadata
mv move objects
tree list buckets and objects in a tree format
du summarize disk usage recursively
retention set retention for object(s)
legalhold manage legal hold for object(s)
diff list differences in object name, size, and date between two buckets
rm remove objects
version manage bucket versioning
ilm manage bucket lifecycle
encrypt manage bucket encryption config
event manage object notifications
watch listen for object notification events
undo undo PUT/DELETE operations
policy manage anonymous access to buckets and objects
tag manage tags for bucket and object(s)
replicate configure server side bucket replication
admin manage MinIO servers
update update mc to latest release
GLOBAL FLAGS:
--autocompletion install auto-completion for your shell
--config-dir value, -C value path to configuration folder (default: "/root/.mc")
--quiet, -q disable progress bar display
--no-color disable color theme
--json enable JSON lines formatted output
--debug enable debug output
--insecure disable SSL certificate verification
--help, -h show help
--version, -v print the version
TIP:
Use 'mc --autocompletion' to enable shell autocompletion
VERSION:
RELEASE.2020-10-03T02-54-56Z
[[email protected] ~]#mc 명령어를 사용하여 업로드한 파일을 나열해 보겠습니다.
먼저, 별칭을 사용하여 관리하려는 스토리지를 설정해야 합니다.
[[email protected] ~]# ./mc alias set minio http://xx.71.141.xx:9000/ koreantech.org geekpassword
Added `minio` successfully.
[[email protected] ~]#- ‘minio’는 별칭 이름으로, 원하는 대로 변경할 수 있습니다.
- HTTP 엔드포인트를 실제 엔드포인트로 변경합니다.
- 액세스 키와 비밀 키를 변경합니다.
이제 파일 목록을 확인하려면 아래와 같이 ‘ls’ 명령을 사용합니다.
[[email protected] ~]# ./mc ls --recursive minio
[2020-10-19 11:09:06 UTC] 11B koreantech.org/MinIO-Test.txt
[[email protected] ~]#정말 놀랍네요! 잘 작동합니다!
클라이언트를 통해 모든 작업을 수행할 수 있습니다. MinIO 클라우드 스토리지뿐만 아니라 GCS, AWS S3, Azure도 관리할 수 있습니다.
자세한 내용은 클라이언트 빠른 시작 가이드를 참조하십시오.
MinIO SDK
애플리케이션 스택에 따라 SDK를 사용하여 프로그래밍 방식으로 객체 저장소와 상호 작용할 수 있습니다. MinIO는 Go, Python, Node.js, .NET, Haskell 및 Java를 지원합니다.
MinIO 게이트웨이
MinIO 게이트웨이를 S3, Azure, NAS, HDFS에 추가하여 MinIO 브라우저 및 디스크 캐싱을 활용할 수 있습니다.
결론
프라이빗, 하이브리드 또는 다중 클라우드 객체 저장소를 찾고 있다면 MinIO가 매력적인 선택이 될 수 있습니다. 한번 사용해 보면 매력에 빠질 것입니다. 테스트를 위해 Kamatera의 MinIO VM을 이용하거나 클라우드 서버에 직접 설치해 보십시오.