크롤링 예산은 무엇입니까

SEO 커뮤니티에서 오늘날 많이 언급되는 용어는 크롤링 예산 입니다. 번역하면 '추적 예산'으로 표시됩니다. 드문 중간 지점이지만 SEO 영역에서 매우 오래된 개념입니다.

대규모 전자 상거래, 콘텐츠 포털 및 SEO 전문가와 같은 대규모 프로젝트를 수행하는 사람들은 Google이 특정 날짜에 웹 사이트 페이지를 읽는 데 소요되는 시간으로 크롤링 예산을 이해합니다.

목차 색인

Google 크롤러가 웹 사이트의 페이지를 읽는 데 걸리는 시간입니다. 그러나 이번에는 크롤러가 귀하의 웹 사이트에 지출하는 것은 여러 가지 요인에 달려 있습니다. 웹 사이트 권한, 중복 콘텐츠 비율, 페이지 오류 등이 있습니다.

그러나 Google의 공식 웹 마스터 블로그에 따르면 모든 사람이이 크롤링 예산 문제에 대해 걱정하지 않아도된다고합니다. 즉, 페이지 수십 개가 포함 된 웹 사이트가있는 경우 Google에서 아무 문제없이 페이지 크롤링 문제를 걱정할 필요가 없습니다.

그러나 온라인 상점이나 수천 페이지의 다른 웹 프로젝트가있는 경우 웹 사이트와 관련된 크롤링 예산을 세 심하게주의하고 최적화해야합니다.

크롤링 예산 및 웹 포지셔닝

Google은 크롤링 예산이 게재 순위에 영향을 미치지 않지만 검색 엔진에서 순위를 매기는 200 개 이상의 요소 중 부정적인 요소 에 영향을 미치고 때로는 통제 할 수 있음을 확인합니다.

그러나 왜 Google이 웹 사이트의 페이지를 더 많이 크롤링하기를 원합니까? 반면에 크롤링 예산 이 충분 하면 웹 사이트 페이지의 전체 게재 순위가 향상되어 유기적 트래픽 이 증가하는 SEO 전문가가 몇 명 있습니다.

기본적으로 Google은 전 세계 각 사이트에서 얼마나 많은 시간을 소비해야하는지 결정해야하므로 사이트 내에서 특정 시간을 보내야합니다. 웹 사이트의 페이지를 읽으십시오.

웹 사이트의 품질

Google은 웹 사이트에서 연결하고이 페이지를 읽은 후 읽기를 중지하는 데 시간을 보냅니다. 하루 종일 이것을 반복하지만 항상 시간의 일부가 있습니다. 이 짧은 시간은 일반적으로 웹 사이트의 권한, 새 페이지 수 및 Google과의 관련성에 비례합니다.

이는 콘텐츠의 품질과 사이트를 가리키는 링크 에 의해 제공됩니다. 즉, 많은 품질 링크를 가리키는 경우 Google은 귀하에게 더 많은 품질로 귀하를 이해하고 귀하의 웹 사이트에 더 많은 시간을 할애 할 수 있습니다. 많은 양의 페이지.

일반적으로 크롤링 예산 은 10, 50 또는 100 페이지 사이트에서 크게 변경되지 않으므로 몇 페이지에서 큰 차이는 없습니다. 그러나 대규모 사이트의 경우 Google에서 사이트를 검색하는 데 시간이 걸리고 읽을 내용을 알려 주면 크롤러에게 매우 유용하므로 크롤링 작업을 더 빨리 완료 할 수 있습니다.

중요한 페이지 설정

먼저 robots.txt 파일을 확인하여 사이트 정보를보다 체계적으로 구성하여 불필요한 페이지를 설정하고 특정 페이지의 색인을 생성하지 않도록해야합니다.

Google은 웹 사이트의 검색 섹션이나 필터 내비게이션이있는 섹션 (예: 온라인 상점에서 신발 크기, 아파트 크기 또는 셔츠 색. 이 필터는 사람들이 일반적으로 "faced navigation"또는 "navigation filter"라고 부르는 것입니다.

일부 웹 마스터는 robots.txt 파일에서 이러한 필터와 해당 검색을 차단하는 경향이 있습니다. Google은 이러한 페이지를 읽는 데 시간을 소비하지 않습니다. 실제로는 해당 경험을 찾는 사용자에게 초점을 맞추고 있으며 이미 사이트의 다른 내부 페이지에서 사용할 수 있습니다.

웹 사이트를 만들 때 피해야 할 오류:

또 다른 라인은 사이트의 중요한 페이지를 설정함으로써, 직면 탐색의 경우, 개인 정보 보호 정책 페이지, 이용 약관과 같은 콘텐츠 가 중복 된 페이지에서 Google 읽기 시간을 절약한다는 것입니다 당신은 그들이 읽기를 원합니다. 이 페이지는이 페이지를 보려는 사용자 만 사용할 수 있습니다.

순위가 매겨지지 않고 인생에서 가장 큰 차이를 만들지 않기 때문에 가치가 낮은 페이지에서 시간을 낭비해서는 안되지만 일부 사용자는 어쨌든이 정보를 참조하기를 원하기 때문에 거기에 있어야합니다.

크롤링 예산이 내부적으로 작동하는 방식

일반적으로 크롤링 예산은 아키텍처를 기반으로합니다. Google에서 중요도에 따라 페이지를 읽고 우선 순위를 지정할 수있는 페이지에 대한 링크를 정의합니다.

결국이 페이지에서 나오는 링크는 Google이 우선 순위를 매길 수있는 링크입니다. 따라서 내부 링크 와 페이지 구성 방식 에 대해 잘 생각 하는 것이 좋습니다.

크롤링 예산은 Google이 웹 사이트의 정보를 읽고 이해하고 아키텍처 구성 및 robots.txt의 차단과 같은 요소를 평가하는 데 소비하는 시간입니다. 링크에서 nofollow 태그를 사용하면 Google이 해당 링크를 따라 가지 못하게됩니다. 예를 들어 링크에 nofollow 속성이 있지만 다른 내부 링크에 페이지로 연결되는 링크가없는 경우 Google은 두 번째 경로를 사용하므로 시간을 절약 할 수 있습니다.

최적화 된 사이트의 장점

매일 더 많은 페이지를 읽는 데 도움이되는 것들이 있으며, 이는 모든 웹 사이트에 유용 할 수 있습니다. 예를 들어 서버 속도가 더 빠르면 Google은 그때 더 많은 페이지를 요청합니다.

페이지가 압축 된 경우 Google은 이러한 요청에서 더 많은 페이지를 요청합니다. 깨끗 하고 적절한 코드가있는 경우 Google은 하루가 끝날 때 더 나은 압축률을 가진 더 압축 된 페이지를받습니다. 즉, 웹 사이트 최적화, 사이트 및 서버 속도는 크롤링 예산 문제에 큰 영향을 미칩니다.

사이트의 크롤링 예산을 계산하는 방법

Google 검색 엔진 스파이더가 특정 시간에 웹 사이트를 크롤링하는 횟수는 "크롤링 예산"입니다. 따라서 Googlebot이 하루에 32 번 사이트를 방문하는 경우 Google 추적 예산은 한 달에 약 960 개라고 말할 수 있습니다.

Google 검색 콘솔 및 Bing 웹 마스터 도구와 같은 도구를 사용하여 웹 사이트의 대략적인 크롤링 예산을 계산할 수 있습니다. 로그인하여 추적> 추적 통계로 이동하여 하루 평균 추적 페이지 수를 확인하십시오.

크롤링 예산과 SEO: 동일합니까?

예, 아니오 두 가지 유형의 최적화가 페이지를보다 잘 보이게하고 SERP에 영향을주는 것을 목표로하지만 SEO 는 사용자 경험에 중점을 두는 반면 스파이더 최적화는 전적으로 봇을 유치하는 것입니다.

검색 엔진 최적화 (SEO)는 사용자 쿼리의 최적화 프로세스에 더 중점을 둡니다. 대신 Googlebot 최적화는 Google 크롤러가 사이트에 액세스하는 방법에 중점을 둡니다.

크롤링 예산을 최적화하는 방법

각 웹 프로젝트, 페이지 수 및 기타 문제에 따라 웹 사이트 의 크롤링 예산 을 최적화하는 몇 가지 방법이 있습니다. 다음은 고려해야 할 사항입니다.

페이지를 추적 할 수 있는지 확인

검색 엔진 스파이더가 웹 사이트 내 링크를 찾아서 따라갈 수 있으면 페이지를 추적 할 수 있으므로 사이트의 중요 페이지를 차단하지 않도록 .htaccess 및 robots.txt 파일을 구성해야합니다. Flash 및 Silverlight와 같은 리치 미디어 파일에 크게 의존하는 텍스트 버전의 페이지를 제공 할 수도 있습니다.

물론, 페이지가 검색 결과에 나타나지 않게하려면 반대의 경우도 마찬가지입니다. 그러나 페이지의 색인이 생성되지 않도록하려면 robots.txt 파일을 "disallow"로 설정하는 것만으로는 충분하지 않습니다. Google에 따르면 "허용 안 함"규칙은 결과에 페이지가 나타나지 않는다고 보장하지 않습니다.

외부 정보 (예: 인바운드 링크)가 거부 한 페이지로 계속 트래픽을 유도하는 경우 Google은 해당 페이지가 여전히 관련성이 있다고 결정할 수 있습니다. 이 경우 noindex 메타 태그 또는 HTTP X-Robots-Tag 헤더를 사용하여 페이지의 색인 을 수동으로 차단해야합니다.

-색인 없음 메타 태그:이 메타 태그를 섹션에 넣습니다. 대부분의 웹 크롤러가 귀하의 페이지를 색인 생성하지 못하도록하기 위해

noindex "/>

-X-Robots-Tag-크롤러가 페이지를 색인화하지 않도록 지시하기 위해 HTTP 헤더 응답에 다음을 배치합니다.

X- 로봇 태그: noindex

noindex 메타 태그 또는 X-Robots-Tag를 사용하는 경우 robots.txt에서 페이지를 허용하지 않아야합니다. 태그를보고 준수하기 전에 페이지를 크롤링해야합니다.

리치 미디어 파일의 신중한 사용

Googlebot 이 JavaScript, Flash 및 HTML과 같은 콘텐츠를 크롤링하지 못한 시간이있었습니다. Googlebot은 여전히 ​​Silverlight 및 기타 파일에 문제가 있지만 그 시간은 오래 걸렸습니다.

그러나 Google에서 대부분의 리치 미디어 파일을 읽을 수 있어도 다른 검색 엔진에서는 읽을 수 없을 수 있습니다. 즉, 이러한 파일을 신중하게 사용해야하며 원하는 페이지에서 전체 파일을 사용하지 않는 것이 좋습니다. 위치.

리디렉션 문자열을 피하십시오

리디렉션하는 모든 URL로 인해 크롤링 예산이 약간 낭비됩니다. 웹 사이트에 긴 리디렉션 문자열 (예: 많은 301 및 302 리디렉션이 연속으로있는 경우)이 랜딩 페이지에 도달하기 전에 Googlebot과 같은 스파이더가 충돌 할 수 있습니다. 이는 해당 페이지의 색인이 생성되지 않음을 의미합니다. 리디렉션을 사용하는 가장 좋은 방법은 웹 사이트에 가능한 적은 리디렉션을 두 번 이상 두지 않는 것입니다.

끊어진 링크 수정

John Mueller는 끊어진 링크 가 포지셔닝에 영향을 미치는지 여부를 물었을 때 포지셔닝 목적보다 사용자 환경에 다소 중점을 둔다고 대답했습니다.

이는 SEO와 Googlebot 최적화의 근본적인 차이점 중 하나입니다. 이는 링크가 끊어지면 Googlebot이 웹 사이트의 색인 을 생성 하고 순위를 매기는 기능을 크게 방해하더라도 순위에서 중요한 역할을하지 않기 때문입니다..

그러나 Google 알고리즘 이 수년에 걸쳐 크게 개선되었으며 사용자 경험에 영향을 미치는 모든 것이 SERP에 영향을 줄 수 있다는 점을 고려하여 Mueller의 조언을 따라야합니다.

동적 URL에서 매개 변수 설정

스파이더는 동일한 페이지로 연결되는 동적 URL을 별도의 페이지로 취급하므로 불필요하게 크롤링 예산을 낭비 할 수 있습니다. Search Console에 액세스하고 추적> URL 매개 변수를 클릭하여 URL 매개 변수를 관리 할 수 ​​있습니다. 여기에서 CMS가 페이지 내용을 변경하지 않는 URL에 매개 변수를 추가하는지 Googlebot에 알릴 수 있습니다.

사이트 맵 정리

XML 사이트 맵은 방문자와 스파이더 로봇 모두를 지원하여 컨텐츠를보다 체계적이고 쉽게 찾을 수 있도록합니다. 따라서 사이트 맵을 최신 상태로 유지하고 400 레벨 페이지, 불필요한 리디렉션, 표준이 아닌 페이지 및 차단 된 페이지를 포함하여 사이트의 유용성을 손상시킬 수있는 혼란을 제거하십시오.

사이트 맵을 정리하는 가장 쉬운 방법은 Website Auditor와 같은 도구를 사용하는 것입니다. Website Auditor의 XML 사이트 맵 생성기를 사용하여 차단 된 모든 페이지를 색인에서 제외하는 깔끔한 사이트 맵을 만들 수 있습니다. 또한 "사이트 감사"옵션으로 이동하면 모든 4xx 오류, 301 및 302 리디렉션 및 비정규 페이지를 찾아서 복구 할 수 있습니다.

피드 활용

피드, RSS, XML 및 Atom을 통해 컨텐츠를 사이트를 탐색하지 않을 때 팔로어에게 전달할 수 있습니다. 이를 통해 사용자는 즐겨 찾는 사이트를 구독하고 새 컨텐츠가 게시 될 때마다 정기적으로 업데이트를받을 수 있습니다.

RSS 피드가 독자와 참여를 높이는 좋은 방법이라는 사실 외에도 Googlebot이 가장 많이 방문한 사이트이기도합니다. 웹 사이트에서 업데이트 (예: 새 제품, 블로그 게시물, 페이지 업데이트 등)를 받으면 Google 피드 버너로 보내 올바르게 색인이 생성되었는지 확인하십시오.

외부 링크 만들기

링크 빌딩은 여전히 ​​화제가되고 있으며 언제라도 곧 사라질 것입니다.

온라인 관계 형성, 새로운 커뮤니티 발견, 브랜드 가치 구축; 이 작은 승리는 링크 계획 과정에서 이미 인쇄되어 있어야합니다. 1990 년에 이르러서는 링크 구축의 독특한 요소가 있지만 인간은 다른 사람들과 연결해야 할 필요가 없습니다.

현재 외부 링크 가 귀하의 웹 사이트를 방문한 스파이더 방문 횟수와 밀접한 관련이 있다는 증거가 있습니다.

내부 연결의 무결성 유지

내부 링크를 만드는 것이 크롤링 속도에서 중요한 역할을하지는 않지만 완전히 무시할 수있는 것은 아닙니다. 잘 관리 된 사이트 구조로 인해 크롤링 예산을 낭비하지 않고도 검색 로봇이 콘텐츠를 쉽게 찾을 수 있습니다.

잘 구성된 내부 링크 구조는 특히 사용자가 세 번의 클릭으로 웹 사이트의 어느 영역 에든 접근 할 수있는 경우 사용자 경험을 향상시킬 수 있습니다. 보다 일반적으로 모든 것이 접근 가능하다는 것은 방문자가 더 오래 머무르는 것을 의미하며, 이는 SERP 를 향상시킬 수 있습니다.

우리는 어떤 결론을 내립니까?

위에서 언급 한 내용을 다시 한 번 강조하지만이 크롤링 예산 문제는 수백 및 수천 개의 웹 페이지가있는 대규모 웹 사이트에서 중요합니다. 그렇지 않으면 걱정할 필요가 없습니다. 웹 사이트를 매끄럽게

사이트의 페이지를 Google로 크롤링하는 것을 복잡하게해서는 안됩니다. 오류가 충분하고 robots.txt 및 sitemap.xml 파일로 생성 된 장벽이있어 많은 웹 사이트가 있으며 Google이 콘텐츠에 액세스하지 못하게합니다. Google 순위에서 게재 순위를 높이려면 웹 사이트의 페이지를 승인하고 단순화해야 Google이 빠르게 액세스하고 색인을 생성하고 위치를 지정할 수 있습니다. 매우 간단합니다.

지금까지이 기사에서 경향을 발견했을 것입니다. 추적 성 우수 사례도 검색 가능성 을 향상시키는 경향이 있습니다. 따라서 크롤링 예산 최적화가 귀하의 웹 사이트에 중요한지 궁금하다면 대답은 그렇습니다.

간단히 말해 Google에서 웹 사이트 를 더 쉽게 검색하고 색인을 생성 할 수있게되면 더 많은 크롤링이 가능해 지므로 새로운 콘텐츠를 게시 할 때 더 빠르게 업데이트됩니다. 또한 전반적인 사용자 경험을 향상시켜 가시성을 개선하고 궁극적으로 SERP 순위를 높입니다.

이는 웹 사이트의 크롤링 예산을 개선하고 최적화하기위한 여러 가지 사항 중 일부일뿐입니다.