SEO 로그 파일 분석은 웹사이트에서 크롤러의 행동을 이해하고 잠재적인 기술적 SEO 최적화 기회를 식별하는 데 도움이 됩니다.
크롤러의 행동을 분석하지 않는 SEO는 맹목적으로 날아가는 것과 같습니다. Google 검색 콘솔에 웹사이트를 제출하고 색인을 생성했을 수 있지만 로그 파일을 연구하지 않으면 웹사이트가 검색 엔진 봇에 의해 제대로 크롤링되거나 읽히지 않는지 알 수 없습니다.
그래서 SEO 로그 파일을 분석하고 문제와 SEO 기회를 식별하기 위해 알아야 할 모든 것을 모았습니다.
목차
로그 파일 분석이란 무엇입니까?
SEO 로그 파일 분석은 웹사이트와 검색 엔진 봇의 상호 작용 패턴을 인식하는 프로세스입니다. 로그 파일 분석은 기술 SEO의 일부입니다.
로그 파일 감사는 SEO가 크롤링, 인덱싱, 상태 코드와 관련된 문제를 인식하고 해결하는 데 중요합니다.
로그 파일이란 무엇입니까?
로그 파일은 웹사이트를 방문하는 사람과 그들이 보는 콘텐츠를 추적합니다. 여기에는 웹사이트에 대한 액세스를 요청한 사람(‘클라이언트’라고도 함)에 대한 정보가 포함되어 있습니다.
감지된 정보는 Google 또는 Bing과 같은 검색 엔진 봇 또는 웹사이트 방문자와 관련될 수 있습니다. 일반적으로 로그 파일 기록은 사이트의 웹 서버에서 수집 및 유지 관리되며 일반적으로 일정 기간 동안 보관됩니다.
로그 파일에는 무엇이 포함되어 있습니까?
SEO에 대한 로그 파일의 중요성을 알기 전에 이 파일 내부에 무엇이 있는지 알아야 합니다. 로그 파일 e에는 다음 데이터 포인트가 포함되어 있습니다.
- 웹사이트 방문자가 요청하는 페이지 URL
- 페이지의 HTTP 상태 코드
- 요청된 서버 IP 주소
- 적중 날짜 및 시간
- 요청하는 사용자 에이전트(검색 엔진 봇)의 데이터
- 요청 방법(GET/POST)
로그 파일을 먼저 보면 복잡해 보일 수 있습니다. 그래도 SEO에 대한 로그 파일의 목적과 중요성을 알게 되면 이를 효과적으로 사용하여 귀중한 SEO 통찰력을 얻을 수 있습니다.
SEO를 위한 로그 파일 분석의 목적
로그 파일 분석은 중요한 기술적 SEO 문제를 해결하는 데 도움이 되며, 이를 통해 웹사이트를 최적화하는 효과적인 SEO 전략을 세울 수 있습니다.
다음은 로그 파일을 사용하여 분석할 수 있는 몇 가지 SEO 문제입니다.
#1. Googlebot이 웹사이트를 크롤링하는 빈도
검색 엔진 봇 또는 크롤러는 중요한 페이지를 자주 크롤링하여 검색 엔진이 웹사이트 업데이트 또는 새 콘텐츠에 대해 알 수 있도록 해야 합니다.
중요한 제품 또는 정보 페이지는 모두 Google 로그에 표시되어야 합니다. 더 이상 판매하지 않는 제품의 제품 페이지와 가장 중요한 카테고리 페이지가 없는 것은 로그 파일을 사용하여 인식할 수 있는 문제의 지표입니다.
검색 엔진 봇은 크롤링 예산을 어떻게 활용합니까?
검색 엔진 크롤러가 귀하의 사이트를 방문할 때마다 제한된 “크롤링 예산”이 있습니다. Google은 크롤링 예산을 사이트의 크롤링 속도와 크롤링 수요의 합계로 정의합니다.
사이트에 가치가 낮은 URL이 많거나 사이트맵에 올바르게 제출되지 않은 URL이 있는 경우 사이트 크롤링 및 색인 생성이 방해받을 수 있습니다. 크롤링 예산이 최적화되어 있으면 주요 페이지를 크롤링하고 색인을 생성하는 것이 더 쉽습니다.
로그 파일 분석은 SEO 노력을 가속화하는 크롤링 예산을 최적화하는 데 도움이 됩니다.
#2. 모바일 우선 색인 생성 문제 및 상태
모바일 우선 인덱싱은 이제 모든 웹사이트에서 중요하며 Google은 이를 선호합니다. 로그 파일 분석은 스마트폰 Googlebot이 사이트를 크롤링하는 빈도를 알려줍니다.
이 분석은 스마트폰 Googlebot이 페이지를 올바르게 크롤링하지 않는 경우 웹마스터가 모바일 버전에 맞게 웹페이지를 최적화하는 데 도움이 됩니다.
#삼. 요청 시 웹 페이지에서 반환되는 HTTP 상태 코드
웹페이지가 반환하는 최근 응답 코드는 로그 파일이나 Google Search Console의 가져오기 및 렌더링 요청 옵션을 사용하여 검색할 수 있습니다.
로그 파일 분석기는 3xx, 4xx 및 5xx 코드가 있는 페이지를 찾을 수 있습니다. URL을 올바른 대상으로 리디렉션하거나 302 상태를 301로 변경하는 등 적절한 조치를 취하여 이러한 문제를 해결할 수 있습니다.
#4. 크롤링 깊이 또는 내부 링크와 같은 크롤링 활동 분석
Google은 크롤링 깊이와 내부 링크를 기반으로 한 사이트 구조를 높이 평가합니다. 웹사이트의 부적절한 크롤링의 원인은 잘못된 인터링크 구조와 크롤링 깊이일 수 있습니다.
웹사이트의 계층 구조나 사이트 구조 또는 링크 구조에 문제가 있는 경우 로그 파일 분석을 사용하여 찾을 수 있습니다.
로그 파일 분석은 웹사이트 아키텍처와 인터링크 구조를 최적화하는 데 도움이 됩니다.
#4. 분리된 페이지 발견
고아 페이지는 다른 페이지와 연결되지 않은 웹 사이트의 웹 페이지입니다. 이러한 페이지는 봇에 의해 쉽게 발견되지 않기 때문에 색인을 생성하거나 검색 엔진에 나타나기가 어렵습니다.
고아 페이지는 Screaming Frog와 같은 크롤러에 의해 쉽게 발견될 수 있으며 이 문제는 이러한 페이지를 웹사이트의 다른 페이지에 연결하여 해결할 수 있습니다.
#5. 페이지 속도 및 경험에 대한 페이지 감사
페이지 경험과 핵심 웹 바이탈은 이제 공식적으로 순위 요소이며 이제 웹페이지가 Google 페이지 속도 가이드라인을 준수하는 것이 중요합니다.
느리거나 큰 페이지는 로그 파일 분석기를 사용하여 검색할 수 있으며 이러한 페이지는 SERP의 전체 순위에 도움이 되는 페이지 속도에 최적화될 수 있습니다.
로그 파일 분석을 통해 웹사이트가 크롤링되는 방식과 검색 엔진이 웹사이트를 처리하는 방식을 제어할 수 있습니다.
이제 로그 파일의 기본 사항과 분석에 대해 이해했으므로 SEO에 대한 로그 파일을 감사하는 프로세스를 살펴보겠습니다.
로그 파일 분석 방법
우리는 이미 로그 파일의 다양한 측면과 SEO의 중요성을 살펴보았습니다. 이제 파일을 분석하는 과정과 로그 파일을 분석할 수 있는 최고의 도구에 대해 알아볼 차례입니다.
로그 파일에 액세스하려면 웹 사이트의 서버 로그 파일에 액세스해야 합니다. 파일은 다음과 같은 방법으로 분석할 수 있습니다.
로그 파일에 수동으로 액세스하는 것과 관련된 여러 단계가 있습니다.
- 웹 서버에서 로그 데이터를 수집하거나 내보내고 검색 엔진 봇 또는 크롤러에 대해 데이터를 필터링해야 합니다.
- 다운로드한 파일을 데이터 분석 도구를 사용하여 읽을 수 있는 형식으로 변환합니다.
- Excel 또는 기타 시각화 도구를 사용하여 수동으로 데이터를 분석하여 SEO 격차와 기회를 찾습니다.
- 또한 필터링 프로그램과 명령줄을 사용하여 작업을 쉽게 수행할 수 있습니다.
파일 데이터를 수동으로 작업하는 것은 Excel에 대한 지식이 필요하고 개발 팀이 참여하기 때문에 쉽지 않습니다. 그럼에도 불구하고 로그 파일 분석 도구를 사용하면 SEO가 작업을 쉽게 수행할 수 있습니다.
로그 파일 감사를 위한 최고의 도구를 살펴보고 이러한 도구가 로그 파일을 분석하는 데 어떻게 도움이 되는지 알아보겠습니다.
Screaming Frog 로그 파일 분석기
기술적인 SEO 문제는 업로드된 로그 파일 데이터와 다음을 사용하여 검증된 검색 엔진 봇을 사용하여 식별할 수 있습니다. Screaming Frog 로그 파일 분석기. 다음과 같이 할 수도 있습니다.
- 검색 엔진 최적화를 위한 검색 엔진 봇 활동 및 데이터.
- 검색 엔진 봇에 의한 웹사이트 크롤링 빈도 알아보기
- 모든 기술적 SEO 문제와 외부 및 내부 링크 끊김에 대해 알아보십시오.
- 가장 적게 크롤링된 URL과 가장 많이 크롤링된 URL을 분석하여 손실을 줄이고 효율성을 높입니다.
- 검색 엔진이 크롤링하지 않는 페이지를 발견하십시오.
- 외부 링크 데이터, 지시문 및 기타 정보를 포함하는 모든 데이터를 비교하고 결합할 수 있습니다.
- 참조 URL에 대한 데이터 보기
Screaming Frog 로그 파일 분석기 도구는 1000줄 로그 이벤트의 제한이 있는 단일 프로젝트에 대해 완전히 무료로 사용할 수 있습니다. 무제한 액세스 및 기술 지원을 원하는 경우 유료 버전으로 업그레이드해야 합니다.
제트옥토퍼스
저렴한 로그 분석기 도구에 관해서는 JetOctopus가 가장 좋습니다. 7일 무료 평가판이 있으며 신용 카드가 필요하지 않으며 두 번 클릭하면 연결됩니다. 크롤링 빈도, 크롤링 예산, 가장 인기 있는 페이지 등은 모두 다음을 사용하여 식별할 수 있습니다. JetOctopus 로그 분석기목록에 있는 다른 도구와 마찬가지로
이 도구를 사용하면 로그 파일 데이터를 Google Search Console 데이터와 통합할 수 있으므로 경쟁 제품보다 뚜렷한 이점을 얻을 수 있습니다. 이 콤보를 사용하면 Googlebot이 사이트와 상호작용하는 방식과 개선할 수 있는 부분을 확인할 수 있습니다.
크롤링 로그 분석기에서
하루에 5억 개 이상의 로그 라인이 처리됩니다. 온크롤 로그 분석기, 중대형 웹사이트용으로 설계된 도구입니다. 웹 서버 로그를 실시간으로 주시하여 페이지가 제대로 인덱싱되고 크롤링되는지 확인합니다.
Oncrawl Log Analyzer는 GDPR을 준수하며 매우 안전합니다. IP 주소 대신 프로그램은 모든 로그 파일을 안전하고 분리된 FTP 클라우드에 저장합니다.
JetOctopus 및 Screaming Frog Log File Analyzer 외에도 Oncrawl에는 다음과 같은 몇 가지 기능이 더 있습니다.
- IIS, Apache 및 Nginx와 같은 다양한 로그 형식을 지원합니다.
- 도구는 변경에 따라 처리 및 보관 요구 사항에 쉽게 적응합니다.
- 동적 세분화는 다양한 기준에 따라 URL과 내부 링크를 그룹화하여 데이터의 패턴과 연결을 찾아내는 강력한 도구입니다.
- 원시 로그 파일의 데이터 포인트를 사용하여 실행 가능한 SEO 보고서를 작성하십시오.
- 기술 직원의 도움을 받아 FTP 공간으로 전송된 로그 파일을 자동화할 수 있습니다.
- Google, Bing, Yandex 및 Baidu의 크롤러를 포함하여 널리 사용되는 모든 브라우저를 모니터링할 수 있습니다.
OnCrawl 로그 분석기에는 두 가지 더 중요한 도구가 있습니다.
Oncrawl SEO 크롤러: Oncrawl SEO Crawler를 사용하면 최소한의 리소스로 빠른 속도로 웹사이트를 크롤링할 수 있습니다. 순위 기준이 검색 엔진 최적화(SEO)에 미치는 영향에 대한 사용자의 이해도를 높입니다.
크롤링 데이터: Oncrawl 데이터는 크롤링 및 분석 데이터를 결합하여 모든 SEO 요소를 분석합니다. 크롤링 및 로그 파일에서 데이터를 가져와 크롤링 동작을 이해하고 우선 순위 콘텐츠 또는 순위 페이지에 크롤링 예산을 권장합니다.
SEMrush 로그 파일 분석기
그만큼 SEMrush 로그 파일 분석기 간단한 브라우저 기반 로그 분석 도구를 위한 현명한 선택입니다. 이 분석기는 다운로드가 필요하지 않으며 온라인 버전에서 사용할 수 있습니다.
SEMrush는 두 가지 보고서를 제공합니다.
페이지 조회수: 페이지의 조회수는 웹 크롤러와 웹사이트 콘텐츠의 상호작용을 보고합니다. 봇과의 최대 및 최소 상호 작용으로 페이지, 폴더 및 URL의 데이터를 제공합니다.
Googlebot의 활동: Googlebot 활동 보고서는 다음과 같은 사이트 관련 통계를 매일 제공합니다.
- 크롤링된 파일 유형
- 전체 HTTP 상태 코드
- 다양한 봇이 귀하의 사이트에 보낸 요청 수
SolarWinds의 Loggly
SolarWinds의 로글리 웹 서버의 액세스 및 오류 로그와 사이트의 주간 지표를 검사합니다. 언제든지 로그 데이터를 볼 수 있으며, 로그를 간단하게 검색할 수 있는 기능이 있습니다.
SolarWinds Loggly와 같은 강력한 로그 파일 분석 도구는 클라이언트의 리소스 요청 성공 또는 실패에 대한 정보를 얻기 위해 웹 서버의 로그 파일을 효율적으로 마이닝하는 데 필요합니다.
Loggly는 가장 적게 조회된 페이지를 표시하는 차트를 제공하고 웹사이트의 검색 엔진 최적화를 최적화하는 데 도움이 되도록 평균, 최소 및 최대 페이지 로드 속도를 계산할 수 있습니다.
Google Search Console 크롤링 통계
구글 서치 콘솔 사례에 대한 유용한 개요를 제공하여 사용자가 작업을 더 쉽게 수행할 수 있도록 했습니다. 콘솔의 작동은 간단합니다. 그러면 크롤링 통계가 세 가지 범주로 나뉩니다.
- 일일 다운로드 킬로바이트: 웹사이트를 방문하는 동안 Googlebot이 다운로드하는 킬로바이트를 나타냅니다. 이것은 기본적으로 두 가지 중요한 점을 나타냅니다. 그래프에 높은 평균이 표시되면 사이트가 더 자주 크롤링됨을 의미하거나 봇이 웹 사이트를 크롤링하는 데 시간이 오래 걸리고 가볍지 않다는 것을 나타낼 수도 있습니다.
- 일별 크롤링 페이지: Googlebot이 매일 크롤링하는 페이지 수를 알려줍니다. 또한 크롤링 활동 상태가 낮음, 높음 또는 평균인지 기록합니다. 낮은 크롤링 속도는 웹사이트가 Googlebot에 의해 제대로 크롤링되지 않음을 나타냅니다.
- 페이지 다운로드에 소요된 시간(밀리초): 웹사이트를 크롤링하는 동안 Googlebot이 HTTP 요청을 수행하는 데 걸린 시간을 나타냅니다. Googlebot이 요청하는 데 소비해야 하는 시간이 줄어들수록 색인 생성이 빨라지므로 페이지를 더 잘 다운로드할 수 있습니다.
결론
이 가이드에서 SEO용 로그 파일을 감사하는 데 사용되는 로그 파일 분석 및 도구에 대해 많은 정보를 얻으셨기를 바랍니다. 로그 파일을 감사하는 것은 웹사이트의 기술적 SEO 측면을 개선하는 데 매우 효과적일 수 있습니다.
Google Search Console 및 SEMrush Log File Analyzer는 무료 및 기본 분석 도구를 위한 두 가지 옵션입니다. 대안으로 Screaming Frog Log File Analyzer, JetOctopus 또는 Oncrawl Log Analyzer를 확인하여 검색 엔진 봇이 웹사이트와 상호 작용하는 방식을 더 잘 이해하십시오. SEO를 위해 혼합 프리미엄 및 무료 로그 파일 분석 도구를 사용할 수 있습니다.
SEO를 개선하기 위해 일부 고급 웹사이트 크롤러를 살펴볼 수도 있습니다.