오늘날의 IT 환경은 방대한 양의 로그 데이터를 생성합니다. 거의 모든 플랫폼에서 발생하는 각 이벤트는 중요도에 관계없이 어딘가에 기록됩니다. 이러한 로그는 일반적으로 로그가 생성된 소스 시스템에 로컬로 저장됩니다. 하지만 문제 해결 및 근본 원인 분석을 위해서는 여러 장치에 걸쳐 흩어져 있는 수많은 로그 파일을 확인해야 하는 경우가 많습니다. 만약 모든 장치의 모든 로그가 한 곳에 저장된다면 어떨까요? 바로 이러한 필요성을 충족하는 것이 로그 관리입니다. 본 글에서는 최고의 로그 관리 시스템들을 살펴보고 그 중요성을 논의합니다.
먼저 로그 관리가 무엇인지 명확히 해야 합니다. 단순한 로그 저장소 중앙 집중화 이상의 의미를 가집니다. 로그 관리 시스템이 제대로 작동하려면 먼저 로깅 프로토콜이 필수적입니다. 또한, 로그 관리 시스템은 일반적으로 로그 서버와 혼동되지만, 분명한 차이점이 있습니다. 보안 정보 및 이벤트 관리(SIEM) 시스템 역시 로그 관리와 유사해 보이지만, 고유한 목적을 가지고 있습니다. 마지막으로, 시장에서 주목할 만한 8가지 주요 로그 관리 시스템을 소개합니다.
로그 관리의 정의
로그 관리에 대한 논의에 앞서, 먼저 로그가 무엇인지 간략히 정의하겠습니다. 로그는 특정 시스템에서 발생하는 이벤트에 대한 시간 기록이 포함된 자동으로 생성되는 문서입니다. 시스템에서 이벤트가 발생할 때마다 로그가 생성되며, 시스템 관리자는 어떤 이벤트를 기록하고 기록하지 않을지 제어할 수 있습니다.
로그 관리는 대량의 로그 데이터 생성, 전송, 분석, 저장, 보관 및 폐기를 관리하고 촉진하는 데 사용되는 프로세스 및 정책을 의미합니다. 이는 다양한 소스의 로그를 수집하여 중앙 집중화하는 시스템을 포함합니다.
그러나 로그 관리는 단순한 로그 수집 이상의 기능을 수행합니다. ‘관리’라는 측면이 핵심입니다. 로그 관리 시스템은 다양한 기능을 제공하며, 로그 수집은 그 중 한 가지 기능일 뿐입니다.
로그 관리 시스템이 로그를 수신하면, 수신된 로그들을 공통 형식으로 ‘변환’해야 합니다. 다양한 시스템은 서로 다른 로그 형식을 사용하고, 각 로그에는 다른 정보가 포함되어 있습니다. 로그 항목은 일부는 날짜와 시간으로 시작하고, 일부는 이벤트 번호로 시작하며, 일부는 로그 ID만 포함하는 반면, 다른 일부는 이벤트에 대한 자세한 텍스트 설명을 포함합니다. 로그 관리 시스템의 주요 목표 중 하나는 수집된 모든 로그 항목을 균일한 형식으로 저장하여 검색 및 이벤트 상관 관계를 훨씬 쉽게 만드는 것입니다.
로그 관리 시스템은 강력한 검색 엔진을 제공하여 관리자가 필요로 하는 정보를 정확하게 찾을 수 있도록 지원합니다. 상관 관계 기능은 서로 다른 소스에서 발생한 경우에도 관련 이벤트를 자동으로 그룹화합니다. 로그 관리 시스템이 이러한 기능을 얼마나 성공적으로 구현하느냐에 따라 시스템의 성능이 크게 달라집니다.
로깅 프로토콜의 중요성
로깅 프로토콜은 로그 관리 시스템의 핵심 구성 요소입니다. 로깅 프로토콜이 없다면 로그 관리는 매우 어려울 것입니다. 로깅 프로토콜은 로그에 포함할 데이터, 형식을 지정하는 방법, 시스템 간에 데이터를 전송하는 방법을 정의합니다.
가장 널리 사용되는 로깅 프로토콜 중 하나는 Syslog입니다. 1980년대 초에 개발된 Syslog는 유닉스 계열 시스템의 사실상 표준이 되었습니다. Syslog 프로토콜의 가장 큰 장점 중 하나는 로그를 생성하는 소프트웨어, 로그를 저장하는 시스템, 로그를 보고 분석하는 소프트웨어를 분리할 수 있다는 것입니다. 이를 통해 로그 관리가 훨씬 쉬워집니다. 많은 비 유닉스 장치(예: 스위치 라우터 및 다양한 네트워킹 장비)도 Syslog 프로토콜을 기반으로 한 변형된 프로토콜을 사용합니다.
마이크로소프트 윈도우는 자체 로깅 시스템을 사용합니다. 윈도우 운영 체제 및 애플리케이션의 로그는 Syslog가 허용하는 것보다 훨씬 더 많은 정보를 포함할 수 있습니다. 다행히도 윈도우 이벤트 수집기 기능을 통해 로그 관리 시스템은 윈도우 호스트로부터 이벤트를 수집할 수 있습니다.
어떤 로깅 프로토콜을 사용하든, 로그 관리의 중요한 측면 중 하나는 장치가 로그 관리 시스템으로 로그를 전송하도록 구성하는 것입니다. 이는 호스트에서 데이터를 가져오는 네트워크 모니터링 시스템과 같은 다른 시스템과는 다릅니다.
로그 서버와 로그 관리의 차이점
오랜 기간 동안 Syslog는 유닉스 계열 시스템에서 광범위하게 사용되었으며, 한 컴퓨터가 여러 컴퓨터로부터 Syslog 데이터를 수신하는 로그 서버로 자주 사용되었습니다. 중앙 집중식 로그 저장소는 분명한 장점이 있지만, 이것이 곧 로그 관리는 아닙니다.
로그 관리 시스템으로 인정받기 위해서는 제품에 최소한 고급 기능이 포함되어야 합니다. 위키피디아에 따르면 로그 관리는 로그 수집, 중앙 집중식 로그 집계, 장기 로그 저장 및 보존, 로그 순환, 로그 분석, 로그 검색 및 보고 기능을 포함합니다. 반면 로그 서버는 단순히 로그 수집 및 저장 기능만 제공하는 경우가 많습니다. 여기에서 논의되는 상위 로그 관리 시스템은 최소한 일부 고급 기능을 제공합니다.
SIEM 시스템의 역할
로그와 밀접하게 관련되어 있고 로그 관리 시스템과 혼동될 수 있는 또 다른 기술은 보안 정보 및 이벤트 관리(SIEM) 시스템입니다. SIEM은 로그 관리와 밀접한 관련이 있지만, 근본적으로 다릅니다. 사실, 일부 제품은 로그 관리 시스템으로 광고되지만 실제로는 SIEM 시스템인 반면, 기본적인 SIEM 시스템은 로그 관리 시스템에 더 가까운 기능을 제공합니다.
이러한 혼란의 주된 이유는 로그 관리 또는 최소한 로그 분석이 SIEM 시스템의 중요한 구성 요소이기 때문입니다. 일반적으로 SIEM 시스템은 로그 관리 프로세스에 정보 분석 기능을 추가하여 한 단계 더 발전된 기능을 제공합니다. SIEM 시스템의 궁극적인 목표는 보안 문제를 식별하는 것입니다. 예를 들어, 무단 침입 시도를 나타내는 로그인 실패 패턴을 식별합니다. 이러한 시스템은 로그 항목을 자동으로 스캔하여 비정상적인 활동을 찾습니다.
SIEM 시스템은 IT 관리보다는 IT 보안과 더 관련이 있습니다. 일부 SIEM 시스템은 광범위한 로그 관리 기능을 포함하지만, 많은 시스템이 별도의 로그 관리 시스템을 사용할 수도 있습니다. 이러한 시스템은 서로 보완적으로 작동할 수 있습니다.
주요 로그 관리 소프트웨어
이제 로그 관리의 개념과 특징을 명확히 이해했으므로, 시장에 나와 있는 몇 가지 주요 로그 관리 소프트웨어를 살펴보겠습니다. 시장 조사 결과, 다양한 로그 관리 시스템들이 존재하며, 대부분은 매우 우수한 성능을 제공합니다. 본 글에서는 이 중에서 가장 주목할 만한 8가지 시스템을 소개합니다.
1. SolarWinds Papertrail
SolarWinds는 네트워크 관리 도구 분야에서 잘 알려진 기업입니다. 20년 가까이 운영해 왔으며, 우수한 대역폭 모니터링 도구 및 NetFlow 분석기를 제공하고 있습니다. 또한 서브넷 계산기 및 Syslog 서버와 같은 네트워크 관리자의 특정 요구 사항을 충족하는 무료 도구들을 제공하는 것으로 유명합니다.
몇 년 전, SolarWinds는 인기 있는 로그 관리 시스템인 Papertrail을 인수했습니다. Papertrail은 Apache, MySQL, Ruby on Rails 앱, 다양한 클라우드 호스팅 서비스 및 기타 표준 텍스트 로그 파일과 같은 다양한 소스의 로그 파일을 수집합니다. Papertrail을 통해 사용자는 웹 기반 검색 인터페이스 또는 명령줄 도구를 사용하여 이러한 파일을 검색하여 버그 및 성능 문제를 진단할 수 있습니다. 또한, Papertrail은 그래프 결과를 위해 Librato 및 Geckoboard와 같은 다른 SolarWinds 제품과 통합됩니다.
Papertrail은 SolarWinds에서 제공하는 클라우드 기반 서비스형 소프트웨어(SaaS)입니다. 구현, 사용 및 이해가 쉽고, 단 몇 분 만에 시스템에 대한 가시성을 확보할 수 있습니다. 또한, 저장된 로그와 스트리밍 로그를 모두 검색할 수 있는 효과적인 검색 엔진을 제공합니다.
Papertrail은 무료 플랜을 포함한 다양한 플랜으로 제공됩니다. 그러나 무료 플랜은 월 100MB 로그로 제한적입니다. 하지만 처음 한 달 동안은 16GB 로그를 사용할 수 있는 무료 평가판을 제공합니다. 유료 플랜은 월 7달러부터 시작하여 월 1GB 로그, 1년 보관, 1주 인덱스 등을 제공합니다. 노이즈 필터링을 통해 불필요한 로그를 저장하지 않아 데이터를 절약할 수 있습니다.
2. SolarWinds 로그 및 이벤트 관리자 (무료 평가판)
다음 항목은 SolarWinds의 또 다른 제품인 SolarWinds 로그 및 이벤트 관리자입니다. 이전 항목과 달리 이 제품은 로컬에 설치하는 제품이며, 단순한 로그 관리 시스템 이상의 기능을 제공합니다. 이 제품의 고급 기능은 SIEM 시스템의 범위에 속합니다. 실시간 이벤트 상관 관계 및 실시간 교정 기능이 그 예입니다.
SolarWinds 로그 및 이벤트 관리자의 주요 기능은 다음과 같습니다. 의심스러운 활동을 즉시 감지하고 자동화된 대응을 통해 위협을 신속하게 제거합니다. 보안 이벤트 조사 및 포렌식을 통해 보안 문제를 완화하고 규정 준수를 보장합니다. HIPAA, PCI DSS 및 SOX와 같은 규정 준수 보고서를 통해 규정을 준수하고 있음을 입증할 수 있습니다. 또한, 파일 무결성 모니터링 및 USB 장치 모니터링과 같은 기능은 일반적인 로그 관리 시스템에서 볼 수 있는 것보다 훨씬 고급입니다.
SolarWinds 로그 및 이벤트 관리자의 가격은 최대 30개의 모니터링되는 노드에 대해 4,585달러부터 시작합니다. 제품을 최대 2,500개 노드까지 확장할 수 있으며, 모든 기능을 갖춘 30일 무료 평가판을 제공합니다.
3. ipswitch 로그 관리 제품군
로그 관리 제품군은 WhatsUp Gold라는 인기 있는 네트워크 모니터링 도구를 제공하는 Ipswitch에서 제공하는 도구입니다. 이 제품은 시스템 로그, 윈도우 이벤트 및 W3C/IIC 로그를 수집, 저장, 보관하는 자동화된 도구이며, 지속적인 로그 모니터링을 통해 의심스러운 활동에 대한 경고를 제공합니다.
액세스 권한, 파일, 폴더 및 개체 권한과 같이 자주 감사되는 이벤트를 추적하여 필요한 경우 경고를 생성하고 HIPAA, SOX, FISMA, PCI, MiFID 또는 Basel II 규정 준수에 대한 규정 준수 보고서를 작성하는 데 사용할 수 있습니다. 또한, 자동화된 필터링, 상관 관계, 보고 및 변환 기능을 통해 원시 로그 데이터를 IT 보안팀에 유의미한 데이터로 변환할 수 있습니다.
로그 관리 제품군의 가격 정보는 Ipswitch에서 쉽게 구할 수 없습니다. 제품은 게시자 또는 Ipswitch의 리셀러 네트워크를 통해 구매할 수 있으며 무료 평가판을 제공합니다.
4. ManageEngine EventLog 분석기
ManageEngine은 네트워크 관리자에게 잘 알려진 이름이며, ManageEngine EventLog 분석기는 에이전트 기반 및 에이전트 없는 로그 수집 방식을 사용하여 700개 이상의 소스에서 로그 데이터를 수집, 관리, 분석, 상호 연관 및 검색합니다.
ManageEngine EventLog 분석기의 가장 큰 강점 중 하나는 빠른 속도입니다. 초당 25,000개의 로그 데이터를 처리하고 실시간으로 공격을 감지할 수 있습니다. 또한, 빠른 포렌식 분석을 통해 침해의 영향을 줄일 수 있습니다. 시스템의 감사 기능은 네트워크 경계 장치의 로그, 사용자 활동, 서버 계정 변경, 사용자 액세스 등 광범위한 로그 데이터를 감사하여 보안 요구 사항을 충족하는 데 도움이 됩니다.
ManageEngine EventLog 분석기는 5개의 로그 소스만 지원하는 무료 버전 또는 595달러부터 시작하는 프리미엄 버전으로 제공되며, 가격은 장치 및 애플리케이션 수에 따라 달라집니다. 또한, 모든 기능을 갖춘 30일 무료 평가판을 제공합니다.
5. 나기오스 로그 서버
Nagios는 뛰어난 네트워크 모니터링 소프트웨어로 유명하지만, Nagios Log Server도 주목할 만합니다. Nagios Log Server는 중앙 집중식 로그 관리, 모니터링 및 분석 기능을 제공합니다. 로그 데이터 검색 프로세스를 단순화하고, 잠재적 위협에 대한 알림을 설정할 수 있습니다. 또한, 고가용성 및 장애 조치 기능을 내장하고 있으며, 간편한 설정 마법사를 통해 모든 로그 데이터를 전송하고 로그 모니터링을 시작할 수 있습니다.
Nagios Log Server를 사용하면 클릭 몇 번으로 모든 서버의 로그 이벤트를 쉽게 상호 연관시킬 수 있습니다. 또한, 실시간으로 로그 데이터를 확인하여 문제가 발생하는 즉시 분석하고 해결할 수 있습니다. 이 제품은 뛰어난 확장성을 제공하며, 조직이 성장함에 따라 요구 사항을 충족할 수 있습니다. 모니터링 클러스터에 Nagios Log Server 인스턴스를 추가하여 더 많은 처리 능력, 속도, 스토리지 및 안정성을 확보할 수 있습니다.
Nagios Log Server의 단일 인스턴스 가격은 3,995달러이며, 무료 평가판은 제공하지 않지만 제품을 직접 보고 싶은 경우 무료 온라인 데모를 이용할 수 있습니다.
6. 경보 로직 로그 관리자
Alert Logic은 보안 및 규정 준수에 중점을 두고 있으며, 로그 관리는 두 가지 모두와 밀접하게 관련되어 있기 때문에 Alert Logic 로그 관리자를 제공합니다. 이 클라우드 기반 도구는 모든 환경에서 자동화되고 통합된 로그 관리 기능을 제공하며, 클라우드, 서버, 애플리케이션, 보안 및 네트워크 자산에서 로그 데이터를 수집, 집계 및 검색합니다.
경보 로직 로그 관리자는 로그 모니터링 및 분석은 물론, 전문가에 의해 실시간으로 수행되는 로그 검토 기능을 제공합니다. Alert Logic의 전문가는 연중무휴로 위협 활동을 감시하고 경고를 제공합니다. 또한, SOC 2, HIPAA 및 SOX의 로그 검토 요구 사항을 충족하고 PCI/DSS 10.6, 10.6.1, 10.6.3을 준수하여 로그 검토 및 이벤트 후속 조치의 부담을 줄여줍니다.
경보 로직 로그 관리자의 가격은 웹에서 쉽게 구할 수 없으며, 공식적인 견적을 받으려면 Alert Logic 영업팀에 문의해야 합니다. 무료 평가판은 제공하지 않지만, Alert Logic에 문의하여 무료 데모를 예약할 수 있습니다.
7. 로그DNA
2015년에 설립된 LogDNA는 새로운 로그 관리 시스템입니다. LogDNA는 ‘가장 빠르고 직관적이며 비용 효율적인 로그 관리 시스템’이라고 자부합니다. 몇 분 안에 설치를 완료하고 로그 모니터링을 시작할 수 있습니다. 로그가 생성되고 전송되는 방식에 관계없이 수백 가지 맞춤형 통합 체계를 사용하여 로그를 단일 창에서 중앙 집중화할 수 있습니다.
LogDNA는 기본 설정에 따라 클라우드 기반 또는 자체 호스팅으로 배포할 수 있습니다. 뛰어난 확장성을 자랑하며, 실시간 로그 분석을 통해 하루에 수십 테라바이트의 데이터를 처리할 수 있습니다. 또한, SOC2, PCI 및 HIPAA를 준수하고 Privacy Shield 인증을 획득했습니다.
간단한 GB당 요금 모델을 통해 전체 소유 비용이 가장 낮은 로그 관리 시스템 중 하나입니다. 다양한 기능이 포함된 여러 구독 플랜을 제공합니다. 하위 요금제는 무료이며, 유료 요금제는 보존 기간 및 사용자 수에 따라 월별 GB당 1.50달러에서 3달러까지 다양합니다. 또한, 모든 기능을 갖춘 14일 무료 평가판을 제공합니다.
8. 그레이로그
마지막으로 소개할 로그 관리 시스템은 그레이로그입니다. 그레이로그는 모든 데이터 소스의 로그 및 이벤트 데이터를 구문 분석하고 보강하는 기능을 제공합니다. 처리 파이프라인을 통해 실시간으로 메시지 라우팅, 블랙리스트 작성, 수정 및 강화에 대한 유연성을 제공합니다. 그레이로그를 통해 테라바이트의 로그 데이터를 검색하여 중요한 정보를 발견하고 분석할 수 있으며, 강력한 검색 구문을 통해 원하는 정보를 정확하게 찾을 수 있습니다.
그레이로그를 사용하면 대시보드를 만들어 메트릭을 시각화하고 추세를 관찰할 수 있습니다. 검색 결과 페이지에서 필드 통계, 빠른 값 및 차트를 사용하여 데이터에 대한 심층 분석을 수행할 수 있습니다. 또한, 로그인 시도 실패, 예외 또는 성능 저하와 같은 이벤트에 대해 조치를 트리거하거나 알림을 발행하는 옵션을 제공합니다.
그레이로그는 제한적인 지원 기능을 제공하는 무료 오픈 소스 버전 또는 확장 기능과 무제한 지원을 포함하는 엔터프라이즈 버전으로 제공됩니다. 평가판 라이선스는 그레이로그 영업팀에 문의하여 얻을 수 있습니다.