로그 파일 분석이란 무엇이며 SEO에 중요한 이유는 무엇입니까?

웹사이트 SEO를 개선하기 위한 중요한 단계 중 하나는 SEO 로그 파일 분석입니다. 이를 통해 웹사이트를 방문하는 크롤러들의 행동을 파악하고, 잠재적인 기술적 SEO 최적화 기회를 찾아낼 수 있습니다.

크롤러의 행동을 분석하지 않고 SEO를 진행하는 것은 마치 눈을 감고 비행하는 것과 같습니다. Google 검색 콘솔에 웹사이트를 제출하고 색인 생성을 완료했을지라도, 로그 파일 분석을 하지 않으면 검색 엔진 봇이 웹사이트를 제대로 크롤링하고 읽고 있는지 확인할 수 없습니다.

이 글에서는 SEO 로그 파일 분석의 모든 것, 즉 분석의 중요성부터 문제점 식별, SEO 기회 포착까지, 상세하게 알아보겠습니다.

로그 파일 분석이란 무엇인가?

SEO 로그 파일 분석은 웹사이트와 검색 엔진 봇 간의 상호작용 패턴을 파악하는 과정입니다. 기술 SEO의 핵심 요소이며, 웹사이트가 검색 엔진에 의해 어떻게 인지되고 있는지 이해하는 데 필수적입니다.

로그 파일 분석은 크롤링, 색인 생성, 상태 코드 관련 문제점을 파악하고 해결하는 데 매우 중요합니다.

로그 파일이란 무엇인가?

로그 파일은 웹사이트 방문자와 그들이 보는 콘텐츠에 대한 기록을 담고 있습니다. 여기에는 웹사이트에 접속을 요청한 '클라이언트'에 대한 정보가 포함됩니다.

여기서 클라이언트는 Google, Bing과 같은 검색 엔진 봇이 될 수도 있고, 실제 웹사이트 방문자가 될 수도 있습니다. 일반적으로 로그 파일 기록은 웹사이트의 서버에 의해 수집, 관리되며 일정 기간 동안 보관됩니다.

로그 파일에는 어떤 정보가 담겨있나?

로그 파일이 SEO에 왜 중요한지 알기 전에, 파일 내부에 담긴 정보를 이해하는 것이 필요합니다. 로그 파일에는 다음의 주요 데이터 포인트가 포함되어 있습니다.

웹사이트 방문자가 요청한 페이지 URL
페이지의 HTTP 상태 코드
요청된 서버 IP 주소
요청 발생 날짜 및 시간
요청을 보낸 사용자 에이전트(검색 엔진 봇) 정보
요청 방법 (GET/POST)

로그 파일의 내용은 처음 보면 복잡해 보일 수 있습니다. 하지만, 로그 파일의 목적과 SEO에 대한 중요성을 이해하면, 이를 효과적으로 활용하여 귀중한 SEO 통찰력을 얻을 수 있습니다.

SEO를 위한 로그 파일 분석의 목적

로그 파일 분석은 기술적인 SEO 문제를 해결하고, 웹사이트를 최적화하는 효과적인 SEO 전략을 수립하는 데 도움을 줍니다.

다음은 로그 파일 분석을 통해 식별하고 해결할 수 있는 몇 가지 SEO 관련 문제입니다.

#1. Googlebot이 웹사이트를 크롤링하는 빈도

검색 엔진 봇(크롤러)은 중요한 페이지를 자주 크롤링하여 검색 엔진이 웹사이트의 업데이트 또는 새로운 콘텐츠를 인지하도록 해야 합니다.

중요한 제품 페이지나 정보 페이지는 반드시 Google 로그에 기록되어야 합니다. 반대로 판매가 중단된 제품 페이지나 가장 중요한 카테고리 페이지가 로그에 나타나지 않는다면, 이는 로그 파일 분석을 통해 발견할 수 있는 문제입니다.

검색 엔진 봇은 크롤링 예산을 어떻게 활용하는가?

검색 엔진 크롤러가 웹사이트를 방문할 때마다 "크롤링 예산"이라는 제한된 리소스를 사용합니다. Google은 크롤링 예산을 웹사이트의 크롤링 속도와 크롤링 수요의 합으로 정의합니다.

웹사이트에 가치가 낮은 URL이 많거나, 사이트맵에 올바르게 제출되지 않은 URL이 있다면 사이트 크롤링 및 색인 생성이 방해받을 수 있습니다. 크롤링 예산이 최적화되어 있다면, 주요 페이지를 크롤링하고 색인 생성하는 것이 훨씬 쉬워집니다.

로그 파일 분석은 SEO 개선을 가속화하는 크롤링 예산을 최적화하는 데 도움을 줄 수 있습니다.

#2. 모바일 우선 색인 생성 관련 문제 및 상태

모바일 우선 색인 생성은 현재 모든 웹사이트에 중요하며, Google은 이를 우선시합니다. 로그 파일 분석을 통해 스마트폰 Googlebot이 웹사이트를 크롤링하는 빈도를 파악할 수 있습니다.

스마트폰 Googlebot이 페이지를 제대로 크롤링하지 못하고 있다면, 웹마스터는 로그 파일 분석 결과를 바탕으로 모바일 버전에 맞게 웹페이지를 최적화할 수 있습니다.

#3. 웹 페이지 요청 시 반환되는 HTTP 상태 코드

웹페이지가 반환하는 HTTP 응답 코드는 로그 파일이나 Google Search Console의 '가져오기 및 렌더링' 요청 옵션을 통해 확인할 수 있습니다.

로그 파일 분석 도구는 3xx, 4xx, 5xx 상태 코드가 있는 페이지를 찾아낼 수 있습니다. 이 정보를 바탕으로, URL을 올바른 대상으로 리디렉션하거나 302 상태를 301로 변경하는 등의 조치를 취하여 문제를 해결할 수 있습니다.

#4. 크롤링 깊이, 내부 링크 등 크롤링 활동 분석

Google은 크롤링 깊이와 내부 링크를 기반으로 한 사이트 구조를 높이 평가합니다. 웹사이트 크롤링 문제가 발생하는 원인 중 하나는 잘못된 내부 링크 구조와 크롤링 깊이일 수 있습니다.

웹사이트의 계층 구조, 사이트 구조, 혹은 링크 구조에 문제가 있는 경우, 로그 파일 분석을 통해 이를 발견할 수 있습니다.

로그 파일 분석은 웹사이트 아키텍처와 내부 링크 구조를 최적화하는 데 유용합니다.

#4. 고아 페이지 발견

고아 페이지는 다른 페이지와 연결되지 않은 웹사이트 내의 웹페이지를 의미합니다. 이러한 페이지는 봇에 의해 쉽게 발견되지 않기 때문에 색인 생성이 어렵고, 검색 엔진 결과에 노출될 가능성이 낮습니다.

고아 페이지는 Screaming Frog와 같은 크롤러를 통해 쉽게 발견할 수 있으며, 해당 페이지를 웹사이트 내 다른 페이지에 연결함으로써 문제를 해결할 수 있습니다.

#5. 페이지 속도 및 경험 관련 페이지 감사

페이지 경험과 핵심 웹 바이탈은 이제 공식적으로 순위 요소입니다. 웹페이지가 Google의 페이지 속도 가이드라인을 준수하는 것이 중요해졌습니다.

로그 파일 분석기를 사용하여 느리거나 용량이 큰 페이지를 찾고, 이러한 페이지를 페이지 속도에 최적화하여 검색 결과 순위 향상에 기여할 수 있습니다.

로그 파일 분석은 웹사이트의 크롤링 방식과 검색 엔진이 웹사이트를 처리하는 방식을 제어하는 데 도움을 줍니다.

이제 로그 파일의 기본 사항과 분석에 대해 이해했으니, SEO를 위한 로그 파일 분석 프로세스를 자세히 살펴보겠습니다.

로그 파일 분석 방법

지금까지 로그 파일의 다양한 측면과 SEO에서의 중요성을 알아보았습니다. 이제 파일을 분석하는 프로세스와, 로그 파일 분석을 위한 최적의 도구에 대해 알아볼 차례입니다.

로그 파일에 접근하기 위해서는 먼저 웹사이트의 서버 로그 파일에 접근해야 합니다. 파일 분석은 다음과 같은 방법으로 진행할 수 있습니다.

로그 파일에 수동으로 접근하는 것은 여러 단계를 필요로 합니다.

웹 서버에서 로그 데이터를 수집하거나 내보낸 후, 검색 엔진 봇 또는 크롤러 데이터만 필터링해야 합니다.
다운로드한 파일을 데이터 분석 도구에서 읽을 수 있는 형식으로 변환합니다.
Excel이나 다른 시각화 도구를 사용하여 수동으로 데이터를 분석하며 SEO 개선 기회를 찾습니다.
필터링 프로그램과 명령줄을 사용하여 작업을 보다 쉽게 수행할 수 있습니다.

파일 데이터를 수동으로 작업하는 것은 Excel 지식이 필요하고 개발팀의 도움이 필요하므로 쉽지 않습니다. 반면 로그 파일 분석 도구를 사용하면 SEO 전문가가 보다 쉽게 작업할 수 있습니다.

이제 로그 파일 분석을 위한 최고의 도구들을 살펴보고, 이러한 도구들이 로그 파일 분석에 어떻게 도움이 되는지 알아보겠습니다.

Screaming Frog 로그 파일 분석기

업로드된 로그 파일 데이터와 검증된 검색 엔진 봇을 사용하여, 기술적인 SEO 문제를 식별할 수 있습니다. Screaming Frog 로그 파일 분석기를 사용하면 다음과 같은 작업을 수행할 수 있습니다.

검색 엔진 봇 활동 및 데이터 분석을 통해 검색 엔진 최적화 개선
검색 엔진 봇이 웹사이트를 크롤링하는 빈도 파악
기술적인 SEO 문제 및 외부/내부 링크 끊김 확인
크롤링 빈도가 낮은 URL과 높은 URL 분석을 통해 효율성 향상 및 손실 감소
검색 엔진에 의해 크롤링되지 않은 페이지 발견
외부 링크 데이터, 지시문 및 기타 정보를 포함한 모든 데이터 비교 및 결합
참조 URL에 대한 데이터 확인

Screaming Frog 로그 파일 분석기 도구는 단일 프로젝트에서 1,000줄 로그 이벤트까지는 무료로 사용할 수 있습니다. 무제한 액세스와 기술 지원이 필요한 경우에는 유료 버전으로 업그레이드해야 합니다.

JetOctopus

합리적인 가격의 로그 분석 도구를 찾는다면, JetOctopus가 좋은 선택입니다. 7일 무료 평가판을 제공하며 신용카드 정보 없이 간편하게 연결할 수 있습니다. JetOctopus 로그 분석기를 사용하면 크롤링 빈도, 크롤링 예산, 가장 인기 있는 페이지 등을 쉽게 파악할 수 있습니다. 다른 도구와 마찬가지로,

특히, 이 도구는 로그 파일 데이터를 Google Search Console 데이터와 통합할 수 있다는 큰 장점이 있습니다. 이를 통해 Googlebot이 웹사이트와 상호작용하는 방식과 개선해야 할 부분을 명확히 파악할 수 있습니다.

Oncrawl 로그 분석기

Oncrawl 로그 분석기는 하루에 5억 개 이상의 로그 라인을 처리할 수 있으며, 중대형 웹사이트를 위해 설계된 도구입니다. 웹 서버 로그를 실시간으로 감시하여 페이지가 제대로 색인 생성되고 크롤링되는지 확인할 수 있습니다.

Oncrawl 로그 분석기는 GDPR을 준수하며 매우 안전합니다. IP 주소 대신 모든 로그 파일을 안전한 FTP 클라우드에 저장합니다.

JetOctopus 및 Screaming Frog 로그 파일 분석기 외에도, Oncrawl은 다음과 같은 다양한 기능을 제공합니다.

IIS, Apache, Nginx와 같은 다양한 로그 형식을 지원합니다.
변화하는 요구 사항에 따라 처리 및 보관 요구 사항에 쉽게 적응합니다.
다양한 기준에 따라 URL과 내부 링크를 그룹화하여 데이터의 패턴과 연결을 파악하는 동적 세분화 기능이 있습니다.
원시 로그 파일의 데이터 포인트를 사용하여 실행 가능한 SEO 보고서를 작성합니다.
기술 직원의 도움을 받아 FTP 공간으로 전송된 로그 파일을 자동화할 수 있습니다.
Google, Bing, Yandex, Baidu를 포함한 모든 주요 검색 엔진의 크롤러를 모니터링할 수 있습니다.

Oncrawl 로그 분석기에는 두 가지 중요한 추가 도구가 있습니다.

Oncrawl SEO 크롤러: 최소한의 리소스로 웹사이트를 빠르게 크롤링할 수 있도록 지원하며, SEO에 대한 사용자의 이해도를 높여줍니다.

크롤링 데이터: 크롤링 및 분석 데이터를 결합하여 모든 SEO 요소를 분석합니다. 크롤링 및 로그 파일 데이터를 기반으로 크롤링 동작을 이해하고, 우선 순위 콘텐츠 또는 페이지에 크롤링 예산을 효율적으로 배분할 수 있습니다.

SEMrush 로그 파일 분석기

SEMrush 로그 파일 분석기는 편리한 브라우저 기반 로그 분석 도구입니다. 별도의 다운로드 없이 온라인 버전에서 바로 사용할 수 있습니다.

SEMrush는 두 가지 주요 보고서를 제공합니다.

페이지 조회수: 웹 크롤러와 웹사이트 콘텐츠의 상호작용을 보여줍니다. 봇과의 최대/최소 상호작용이 일어난 페이지, 폴더, URL 데이터 등을 제공합니다.

Googlebot 활동: Googlebot 활동 보고서는 다음과 같은 사이트 관련 통계를 매일 제공합니다.

크롤링된 파일 유형
전체 HTTP 상태 코드
다양한 봇이 사이트로 보낸 요청 수

SolarWinds의 Loggly

SolarWinds의 Loggly는 웹 서버의 접근 및 오류 로그와, 사이트의 주간 지표를 검사합니다. 로그 데이터는 언제든 볼 수 있으며, 로그를 쉽게 검색할 수 있는 기능을 제공합니다.

SolarWinds Loggly와 같은 강력한 로그 파일 분석 도구는 웹 서버의 로그 파일을 효율적으로 마이닝하여, 클라이언트의 리소스 요청 성공/실패에 대한 정보를 얻는 데 필수적입니다.

Loggly는 가장 적게 조회된 페이지를 표시하는 차트를 제공하고, 웹사이트의 검색 엔진 최적화 개선에 도움을 주기 위해 평균, 최소, 최대 페이지 로드 속도를 계산할 수 있습니다.

Google Search Console 크롤링 통계

Google Search Console은 유용한 정보를 제공하여 사용자가 보다 쉽게 작업을 수행하도록 지원합니다. 크롤링 통계는 세 가지 범주로 나뉩니다.

일일 다운로드 킬로바이트: Googlebot이 웹사이트를 방문하는 동안 다운로드하는 킬로바이트 수를 나타냅니다. 그래프에서 평균이 높으면 사이트가 더 자주 크롤링되거나, 봇이 웹사이트 크롤링에 시간이 오래 걸리고, 사이트가 가볍지 않다는 것을 의미할 수 있습니다.
일일 크롤링 페이지: Googlebot이 매일 크롤링하는 페이지 수를 보여줍니다. 크롤링 활동 상태가 낮음, 높음, 평균인지에 대한 정보도 제공합니다. 낮은 크롤링 속도는 웹사이트가 Googlebot에 의해 제대로 크롤링되지 않음을 나타냅니다.
페이지 다운로드에 소요된 시간 (밀리초): 웹사이트 크롤링 중 Googlebot이 HTTP 요청을 수행하는 데 걸린 시간을 나타냅니다. Googlebot이 요청에 소비해야 하는 시간이 짧을수록, 색인 생성이 빨라지고 페이지 다운로드가 원활해집니다.

결론

이 가이드를 통해 SEO용 로그 파일을 분석하는 데 필요한 정보와 유용한 도구에 대해 많은 것을 배우셨기를 바랍니다. 로그 파일 분석은 웹사이트의 기술적인 SEO 측면을 개선하는 데 매우 효과적일 수 있습니다.

Google Search Console과 SEMrush 로그 파일 분석기는 무료 또는 기본 분석 도구 옵션을 제공합니다. 또는 Screaming Frog Log File Analyzer, JetOctopus, Oncrawl Log Analyzer를 사용하여 검색 엔진 봇이 웹사이트와 상호작용하는 방식을 더 깊이 이해할 수 있습니다. SEO 개선을 위해 프리미엄 및 무료 로그 파일 분석 도구를 혼합하여 사용하는 것도 좋은 방법입니다.

추가적으로, SEO 개선에 도움이 되는 고급 웹사이트 크롤러 도구를 함께 살펴보시는 것도 추천합니다.