Что такое краулинговый бюджет в SEO и как его увеличить

Google Search Console и Яндекс.Вебмастер помогают определить количество просканированных ботами страниц. В Google Search Console вы сможете узнать информацию за период 90 дней, в то время как в Яндексе можно выбрать любой период. Статья для тех, кто ни разу не считал краулинговый бюджет и не представляет, как это делается и для чего. Мы расскажем и покажем тонкости расчета и на примере нашего сайта, а также объясним, в каком случае следует бить тревогу. Цепочка редиректов запутает робота и не позволит ему сразу попасть на нужную страницу. Повторимся, речь здесь именно о нескольких страницах с кодом 301, а не об одном редиректе.

Например, тот же Twitter буквально переполнен краулерами поисковых систем, которые индексируют все новые ссылки. Не зависимо от размера вашего краулингово бюджета, вы можете расходовать его не правильно или просто не оптимально. Если краулер будет готов уделить вашему сайта большое количество времени, то было бы досадно, чтобы это время уходило на обработку ошибок и индексацию одних и тех же страниц. Краулинговый бюджет — это сумма расходов, которые несет поисковая система для индексации одной ссылки вашего сайта. Чем сложнее индексировать ваш сайт — тем дольше ПС это делает, а следовательно бОльшие расходы несет.

Как работать с рендеринговым бюджетом

Это значительно поможет улучшить ранжирование страниц сайта в органической выдаче и повысить его качество в целом. Такие сайты, как правило, имеют большое количество страниц и сложную структуру. В первую очередь, желательно сделать страницы уникальными, ну или хотя бы большую часть из них. Все вышеперечисленные рекомендации актуальны и для интернет-магазинов, но кроме этого, при наличии большого количества вариаций фильтров, может потребоваться их проработка.

Вся история про лимит индексации завязана на Google, поэтому самый удобный способ — это посмотреть статистику обхода в Google Search Console. Узнайте еще больше фишек о продвижении собственного сайта на курс Поисковик . А с промо-кодом «Сrawling-07-10» Вы получите дополнительный бонус на него.

Определите основную страницу и склейте дубли, чтобы робот просканировал страницу с большим трафиком

Если ваш показатель от 20%, рекомендуем бить тревогу — вероятно, к битым ссылкам добавятся дубли страниц и скрытый контент. Когда четверть сайта представляет как увеличить краулинговый бюджет собой малоценные страницы, боты могут потерять к нему доверие. Необходимо как можно скорее выявить причины и устранить их, чтобы не терять в индексации.

У веб-сайтов есть определенный объем сканирования, который они могут обеспечить, прежде чем возникнут проблемы со стабильностью сервера, такие как замедление работы или ошибки. Большинство краулеров прекратят сканирование, если начнут замечать эти проблемы, чтобы не навредить сайту. Существуют также различные роботы Google, которые используют один краулинговый бюджет. Вы можете найти список различных роботов Google, сканирующих ваш веб-сайт, в отчете “Статистика сканирования” в GSC. Такое явление встречается в некоторых CMS системах, когда одна и та же страница доступна по разным URL-адресам.

Избавьтесь от цикличных ссылок, чтобы не вводить в заблуждение пользователей

В этом случае, для увеличения краулингового бюджета, рекомендуется уникализировать тексты. Начинающим вебмастерам вообще не стоит задумываться о краулинговом бюджете. Ведь он становится проблемой только в том случае, когда необходимо анализировать и добавлять в индекс сразу большие объёмы страниц с полезной информацией. Если ваш сайт насчитывает менее ста статей, можете вообще не придавать значение этой метрике. Как правило, работа над сайтом начинается с анализа динамики краулингового бюджета. Чем быстрее бот получает необходимую информацию, тем выше ваши шансы на получение более высокого приоритета в очереди на индексацию.

• Из-за краулингового бюджета, особенно если ресурс большой, не все странички могут сразу просканироваться.
• Бот назначает ссылкам приоритетность в сканировании в том числе по отдаленности страницы от главной.
• Для того, чтобы оценить успешность проекта в поисковой системе, вебмастерам на регулярной основе необходимо проводить проверку позиций сайта.
• Так что владельцам маленьких сайтов о краулинговом бюджете можно не беспокоиться.

Сложно сказать наверняка, стоит ли тратить много сил на отслеживание этих показателей. Ведь есть большая вероятность, что роботы начнут массово обходить второстепенные документы (дубли, урлы с GET-параметрами), из-за чего актуальные будут дольше попадать в индекс. Краулинговый бюджет — это максимальное число страниц ресурса, со сканированием которых боты поисковика способны справиться за конкретный отрезок времени. Каждый владелец сайта знает, как сложно поддерживать интерес аудитории с течением времени. Google также знает об этом и по какой-то причине поставил максимально короткие сроки, чтобы оправдать ожидания пользователей.

Как оптимизировать картинки для SEO-продвижения и привлечь дополнительный трафик: чек-лист

На сканирование всем сайтам, в зависимости от их размера, выделяется разный бюджет. Небольшому – до 1000 страниц, вероятнее всего, будет выделен меньший бюджет, нежели крупному сайту. Например, ошибки с кодами ответа 300, 404 и 500 и неправильную структуру сайта, из-за которых страницы могут долго индексироваться, не попадать в поиск и лишать вас конверсий.

В следующей части статьи мы детально разберем, какие действия предпринять, чтобы исправить на сайте технические ошибки и повысить краулинговый бюджет. Сервер должен распознавать поисковых роботов и при необходимости предоставлять им контент, уже обработанный на сервере — в виде HTML-страницы. Запросы от пользователей обрабатываются обычным образом как JS на стороне клиента. Динамический рендеринг можно настроить для всех страниц или только для некоторых. Проверить краулинговый бюджет можно в серверных логах, там можно проследить за тем, какие страницы посещает краулер, увидеть маршруты и расписание обходов сайта. На небольших проектах количество страниц, которым нужно сканирование, обычно меньше, чем лимит краулера.

От А до Я: руководство по оптимизации краулингового бюджета

Важно отметить, что если ваш сайт имеет менее URL, доступных для просмотра, вы можете не переживать о краулинговом бюджете. Эта проблема обычно связана с отсутствием 301 редиректа при обновлении сайта, внедрении новой языковой версии, дублировании первой страницы пагинации или копировании описаний и текстов. Зачастую это неосознанные действия, без должной оптимизации. Например, ошибки с кодами ответа 300, 404 и 500 и неправильную структуру сайта, из-за которых страницы могут долго индексироваться, не попадать в поиск и лишать вас конверсий. Чтобы узнать краулинговый бюджет в Google Search Console, заходим в «Настройки» → «Статистика сканирования» → «Открыть отчет». Все эти попытки в отчетах мы не увидим — зафиксируется только одно обращение робота, хотя по факту их может быть 4-5.

Грамотная структура сайта

Для лучшего позиционирования внутренние ссылки следует размещать в мультимедийных материалах. Хлебные крошки могут быть отличным подспорьем в этом контексте как один из методов поддержки внутренних ссылок. Это дополнительный сигнал для роботов-индексаторов, которые получают информацию о читабельности страницы. Каждый раз, когда сканер находит обновленный контент, краулинговый бюджет будет увеличиваться.