Каков бюджет обхода

Термин, который часто упоминается сегодня в сообществе SEO, - это бюджет сканирования. Если мы переведем это, это будет выглядеть как «отслеживание бюджета». Это редкая золотая середина, но это очень старая концепция в области SEO.

Те, кто работает с крупномасштабными проектами, такими как крупная электронная коммерция, контент-порталы и специалисты по SEO, понимают бюджет сканирования как время, которое Google тратит на чтение страниц вашего сайта в определенный день.

Указатель содержания

Это время, которое сканер Google тратит на чтение страниц веб-сайта. Но на этот раз сканер тратит на вашем сайте, зависит от нескольких факторов; такие как авторитет веб-сайта, процент дублирующегося контента, ошибки страницы и многое другое.

Однако, согласно официальному блогу Google для веб-мастеров, говорится, что не все должны быть обеспокоены этой проблемой бюджета сканирования. То есть, если у них есть веб-сайт с несколькими десятками страниц, нет необходимости беспокоиться об этой проблеме сканирования страниц, поскольку Google сделает это без проблем.

Но если у вас есть интернет-магазин или любой другой веб-проект с несколькими тысячами страниц, вам придется обратить пристальное внимание и оптимизировать бюджет сканирования для вашего веб-сайта.

Сканирование бюджета и позиционирование в Интернете

В Google утверждают, что бюджет сканирования не влияет на позиционирование, но, тем не менее, он может влиять, а иногда и контролировать, отрицательно на другие из более чем 200 факторов, которые будут ранжироваться в поисковой системе.

Но почему мы хотим, чтобы Google сканировал страницы нашего сайта чаще? С другой стороны, мы находим нескольких экспертов по SEO, которые гарантируют, что хороший бюджет сканирования улучшит общее положение страниц сайта в рейтинге и, таким образом, увеличит органический трафик.

По сути, у Google есть определенное время на вашем сайте, так как он должен решить, сколько времени он собирается потратить на каждый из сайтов по всему миру, для чего ему нужно будет рассчитать, сколько одновременных соединений он сможет установить, чтобы иметь возможность читать страницы вашего сайта.

Качество сайта

Google тратит время, чтобы иметь возможность подключиться к веб-сайту, прочитать эти страницы и остановить это чтение. Повторите это в течение дня, но всегда есть доля времени. Эта доля времени, как правило, пропорциональна авторитету вашего сайта, количеству новых страниц и релевантности, которую он имеет для Google.

Это определяется качеством вашего контента и ссылками, которые указывают на сайт, то есть, если у вас много качественных ссылок, возможно, Google понимает вас более качественно и проводит больше времени на вашем сайте, пока есть больший объем страниц.

В целом, бюджет сканирования не сильно меняется для сайта с 10, 50 или 100 страницами, поэтому разница в нескольких страницах невелика. Но для крупных сайтов, если у Google есть секунда для просмотра вашего сайта, и вы указываете ему, что читать, это будет очень полезно для сканера, поскольку оно быстрее выполняет задачу сканирования.

Установить, какие важные страницы

Во-первых, вам нужно наметить более упорядоченную архитектуру информации сайта, установить, какие страницы не нужны, и не позволяя индексировать определенные страницы, проверив файл robots.txt.

Google не должен проводить время в разделе поиска на веб-сайте или даже в разделе, где есть фильтр навигации, например, в интернет-магазине, где вы можете выбрать размер обуви, размер квартиры или цвет рубашки. Эти фильтры обычно называют «навигацией по лицу» или «фильтрами навигации».

Некоторые веб-мастера, как правило, блокируют эти фильтры и эти поиски в файле robots.txt, просто чтобы Google не тратил время на чтение этих страниц, потому что, на самом деле, они ориентированы на пользователя, который ищет этот опыт, и это контент, который уже доступно на других внутренних страницах сайта.

Рекомендуем прочитать: Ошибки, которых следует избегать при создании сайта

Другая строка заключается в том, что, определяя, какие страницы вашего сайта являются важными, вы экономите время Google на страницах с дублированным контентом, таких как навигация в режиме поиска, страница политики конфиденциальности, положения и условия, а не Вы хотите, чтобы их читали. Эти страницы будут доступны только пользователям, которые хотят видеть эти страницы.

Время не должно быть потрачено впустую на этих малоценных страницах, так как вы не хотите ранжироваться за них, и они не имеют никакого значения в вашей жизни, но они должны быть там, потому что некоторые пользователи все равно хотят обращаться к этой информации.

Как внутренне работает бюджет обхода

В целом бюджет обхода основан на архитектуре. Вы определяете ссылки на страницы, которые Google сможет прочесть, и расставляете их приоритеты по степени важности.

В конце концов, ссылки, выходящие с этих страниц, являются теми, которые, вероятно, будут приоритетными для Google. Поэтому стоит подумать о том, как хорошо подумать о внутренних ссылках и структуре вашей страницы.

Бюджет сканирования - это время, которое Google тратит на чтение, понимание информации на веб-сайте и оценку таких элементов, как организация архитектуры и блокировка в файле robots.txt. Использование тега nofollow в ссылке не позволяет Google перейти по этой ссылке. Например, если ссылка имеет атрибут nofollow, а другая внутренняя ссылка не имеет ссылки для перехода на страницу, Google выберет второй путь, что позволит вам тратить меньше времени.

Преимущества оптимизированного сайта

Есть вещи, которые помогут вам ежедневно читать больше страниц, что может быть полезно для любого веб-сайта. Например, если ваш сервер работает быстрее, Google будет запрашивать больше страниц.

Если ваша страница сжата, Google в этих запросах запросит больше страниц. И если у вас есть чистый и адекватный код, Google также получит более сжатую страницу в конце дня с лучшими битами. То есть оптимизация сайта, скорость работы сайта и сервера сильно влияют на бюджет сканирования.

Как рассчитать бюджет обхода вашего сайта

Количество раз, когда паук поисковой системы Google сканирует ваш сайт за определенное время, мы называем «бюджетом сканирования». Поэтому, если робот Google посещает ваш сайт 32 раза в день, мы можем сказать, что бюджет отслеживания Google составляет приблизительно 960 в месяц.

Вы можете использовать такие инструменты, как Консоль поиска Google и Инструменты для веб-мастеров Bing, чтобы рассчитать приблизительный бюджет сканирования вашего веб-сайта. Просто войдите в систему и перейдите в раздел Отслеживание> Статистика отслеживания, чтобы увидеть среднее количество отслеживаемых страниц в день.

Бюджет сканирования и SEO: они одинаковы?

Да и нет В то время как оба типа оптимизации направлены на то, чтобы сделать вашу страницу более заметной и повлиять на результаты поиска, SEO уделяет больше внимания удобству работы с пользователями, а оптимизация паука целиком связана с привлечением ботов.

Поисковая оптимизация (SEO) больше ориентирована на процесс оптимизации пользовательских запросов. Вместо этого оптимизация Googlebot фокусируется на том, как сканер Google обращается к вашему сайту.

Как оптимизировать бюджет сканирования

Есть несколько способов оптимизировать бюджет обхода любого веб-сайта, в зависимости от каждого веб-проекта, количества страниц и других проблем, вот некоторые моменты, которые следует учитывать:

Убедитесь, что ваши страницы можно отслеживать

Ваша страница отслеживается, если пауки поисковых систем могут находить ссылки на вашем веб-сайте и переходить по ним, поэтому вам придется настроить файлы .htaccess и robots.txt, чтобы они не блокировали важные страницы вашего сайта. Вы также можете предоставить текстовые версии страниц, которые сильно зависят от мультимедийных файлов, таких как Flash и Silverlight.

Конечно, верно обратное, если вы хотите, чтобы страница не появлялась в результатах поиска. Однако установки файла robots.txt на «disallow» недостаточно, если вы хотите предотвратить индексацию страницы. Согласно Google, правило «запретить» не гарантирует, что страница не появится в результатах.

Если внешняя информация (например, входящие ссылки) продолжает привлекать трафик на страницу, которую вы отклонили, Google может решить, что страница по-прежнему актуальна. В этом случае вы должны вручную заблокировать индексацию страницы, используя метатег noindex или заголовок X-Robots-Tag

- Метатег Noindex: поместите этот метатег в раздел вашей страницы, чтобы большинство поисковых роботов не проиндексировали вашу страницу:

noindex "/>

- X-Robots-Tag - помещает в ответ HTTP-заголовка следующее, чтобы сканеры не индексировали страницу:

X-Robots-Tag: noindex

Обратите внимание, что если вы используете метатег noindex или X-Robots-Tag, вы не должны запрещать страницу в robots.txt. Страница должна быть просканирована до того, как тег увиден и подчинен.

Осторожное использование мультимедийных файлов

Было время, когда робот Google не мог сканировать контент, такой как JavaScript, Flash и HTML. Эти времена давно прошли (хотя у Googlebot все еще есть проблемы с Silverlight и некоторыми другими файлами).

Тем не менее, даже если Google может читать большинство мультимедийных файлов, другие поисковые системы могут не справиться с этим, что означает, что вы должны использовать эти файлы разумно, и вы, вероятно, хотите избегать их полностью на страницах, которые вы хотите. положение.

Избегайте перенаправления строк

Каждый URL, который вы перенаправляете, заставляет вас тратить немного своего бюджета на сканирование. Если на вашем веб-сайте есть длинные строки перенаправления, то есть большое количество переадресаций 301 и 302 подряд, пауки, такие как робот Googlebot, могут аварийно завершить работу, прежде чем попасть на целевую страницу, что означает, что страница не будет проиндексирована, Лучшая практика с перенаправлениями - иметь как можно меньше перенаправлений на веб-сайте и не более двух подряд.

Исправить неработающие ссылки

Когда Джона Мюллера спросили о том, влияют ли неработающие ссылки на позиционирование или нет, он ответил, что он несколько больше ориентирован на взаимодействие с пользователем, чем для позиционирования.

Это одно из фундаментальных отличий между SEO и оптимизацией робота Googlebot, потому что это означает, что неработающие ссылки не играют существенной роли в рейтинге, хотя они сильно затрудняют способность робота Google индексировать и ранжировать веб-сайт., При этом вы должны следовать совету Мюллера, учитывая, что алгоритм Google значительно улучшился за последние годы, и все, что влияет на пользовательский опыт, может повлиять на результаты поисковой выдачи.

Установить параметры в динамических URL

Пауки обрабатывают динамические URL-адреса, которые ведут на одну и ту же страницу, как отдельные страницы, что означает, что вы можете излишне тратить свой бюджет сканирования. Вы можете управлять параметрами URL-адреса, открыв Консоль поиска и нажав Отслеживание> Параметры URL-адреса. Отсюда вы можете сообщить роботу Google, если ваша CMS добавляет параметры к вашим URL, которые не изменяют содержимое страницы.

Очистить карту сайта

XML-карты сайта помогают как посетителям, так и роботам-паукам, что делает контент лучше организованным и легким для поиска. Поэтому старайтесь обновлять карту сайта и очищать ее от любых помех, которые могут повредить удобству использования вашего сайта, включая страницы на 400 уровнях, ненужные перенаправления, неканонические страницы и заблокированные страницы.

Самый простой способ очистить карту сайта - использовать такой инструмент, как Website Auditor. Вы можете использовать генератор XML Sitemap Site Auditor для создания чистой карты сайта, которая исключает все заблокированные страницы из индексации. Кроме того, перейдя к опции «Аудит сайта», вы можете найти и исправить все ошибки 4xx, перенаправления 301 и 302 и неканонические страницы.

Используйте каналы

Оба канала, RSS, XML и Atom позволяют доставлять контент подписчикам, когда они не просматривают сайт. Это позволяет пользователям подписываться на свои любимые сайты и получать регулярные обновления каждый раз, когда публикуется новый контент.

В дополнение к тому факту, что RSS-каналы уже давно являются хорошим способом увеличения читаемости и вовлеченности, они также являются одними из самых посещаемых сайтов Googlebot. Когда ваш веб-сайт получит обновление (например, новые продукты, сообщения в блоге, обновления страниц и т. Д.), Отправьте его в Google Feed Burner, чтобы убедиться, что оно проиндексировано правильно.

Создать внешние ссылки

Создание ссылок остается горячей темой, и нет никаких признаков того, что оно скоро исчезнет.

Выращивание отношений в Интернете, открытие новых сообществ, формирование ценности бренда; Эти маленькие выигрыши уже должны быть напечатаны в процессе планирования ссылок. В то время как в 1990 году существуют отличительные элементы построения ссылок, потребность человека в общении с другими никогда не изменится.

В настоящее время у нас уже есть доказательства того, что внешние ссылки тесно связаны с количеством посещений паука вашим сайтом.

Поддерживать целостность внутренних ссылок

Хотя создание внутренних ссылок не играет существенной роли в скорости сканирования, это не означает, что его можно полностью игнорировать. Хорошо поддерживаемая структура сайта делает ваш контент легко обнаруживаемым поисковыми роботами, не тратя ваш бюджет на сканирование.

Хорошо организованная структура внутренних ссылок также может улучшить взаимодействие с пользователем, особенно если пользователи могут получить доступ к любой области вашего сайта в три клика. Делая все более общедоступным означает, что посетители будут оставаться дольше, что может улучшить результаты поисковой выдачи.

Какой вывод мы делаем?

Опять же, в дополнение к тому, что уже было упомянуто выше, эта проблема бюджета сканирования будет важна для крупных веб-сайтов с сотнями и тысячами веб-страниц, в противном случае беспокоиться не стоит, поскольку Google будет отслеживать ваши сайт гладко.

Мы не должны усложнять сканирование страниц нашего сайта в Google. Существует много сайтов с достаточным количеством ошибок и даже с барьерами, созданными файлами robots.txt и sitemap.xml, которые не позволяют Google получить доступ к контенту. Если мы хотим улучшить позиционирование в рейтинге Google, мы должны авторизовать и упростить страницы веб-сайта, чтобы Google мог быстро получать доступ, индексировать и позиционировать. Очень просто

К настоящему времени вы, вероятно, заметили тенденцию в этой статье: лучшие практики для прослеживаемости также имеют тенденцию улучшать возможности поиска. Поэтому, если вам интересно, важна ли оптимизация бюджета сканирования для вашего сайта, ответ будет положительным.

Проще говоря, если вы упростите для Google поиск и индексирование вашего веб-сайта, вам понравится больше сканирования, что означает более быстрые обновления при публикации нового контента. Вы также улучшите общее взаимодействие с пользователем, улучшите видимость и, в конечном итоге, ранжирование результатов поиска.

Это лишь некоторые из многих моментов, позволяющих улучшить и оптимизировать бюджет сканирования веб-сайта.