В современном интернет-мире возможно создать сайт как на платформе-конструкторе, так и с помощью различных языков программирования. Самыми популярными и закаленными временем остаются такие языки, как HTML, CSS и JavaScript.
Создавая сайт с помощью HTML и CSS гугл бот с легкостью сканирует сайт и понимает, что размещено на странице сайта, а вот язык JavaScript боты не всегда распознают, поэтому времени на сканирование требуется больше.

Если вы следите за своим сайтом, или занимаетесь его продвижением, посещая инструмент Google Search Console вы можете увидеть результаты сканирования во вкладке "Покрытие", информация которого содержит текст: "Обнаружено, не проиндексировано" и в примерах указаны URL с проблемами. Это обычно означает, что Google еще не выполнил JavaScript-код веб-сайта.

Как настроить browser, чтобы он имитировал поискового Google робота

Симитировать робота Google возможно с помощью расширений браузера Chrome или Canary.
Canary - это версия браузера Google Chrome, предназначенная для разработчиков.
Если Chrome выбран в качестве браузера по умолчанию, то загрузите и установите Chrome Canary и используйте его в качестве браузера для маскировки под поискового бота.

Установите через магазин хрома 5 расширений и букмарклер для браузера:


User-Agent Switcher

Это расширение осуществляет переключение User-Agent браузера. В Chrome и Canary есть настройка пользовательского агента, но она применяется только к используемой вкладке и сбрасывается, если вы закрываете браузер.

Берите строку User-Agent поискового робота Google из настроек последней версии браузера Chrome (именно из Chrome, а не из Canary!).

Чтобы получить User-Agent, откройте в Chrome инструменты разработчика одним из трех способов:

  • нажав F12 или комбинацию клавиш "Ctrl + Shift + I";
  • кликнув правой кнопкой мыши и выбрав в меню пункт "Просмотреть код";
  • воспользовавшись меню-гамбургером в правом верхнем углу окна браузера→ "Дополнительные инструменты" → "Инструменты разработчика". 

Вот что надо сделать дальше:

  1. Зайдите на вкладку Network.
  2. На вкладке Network щелкните по меню-гамбургеру, расположенному в правом верхнем углу, а затем выберите More tools → Network conditions.
  3. Откройте вкладку Network conditions, которая появится в нижней части окна.
  4. Уберите флажок с пункта "Использовать браузер по умолчанию".
  5. Выберите Googlebot Smartphone из списка ниже, затем скопируйте строку User-Agent из поля под перечнем и вставьте ее в список, содержащийся в настройках браузерного расширения User-Agent Switcher. 

Не забудьте переключить Chrome обратно на пользовательский агент по умолчанию, если это ваш основной браузер.

На этом этапе, если вы используете Chrome в качестве браузера для маскировки под поискового робота Google, вы также можете поставить флажок в пункте "Отключить кэш".

Имитация гугл бота через свой браузер

Web Developer

Web Developer - это расширение, которое должен иметь каждый специалист по техническому SEO. Он предназначен для включения и отключения JavaScript, чтобы посмотреть, что Googlebot может увидеть с JavaScript и без него.

VPN

VPN маскирует местонахождение поискового робота.

Link Redirect Trace

Link Redirect Trace предназначен для обзора ответа сервера при отправке URL.

View Rendered Source

View Rendered Source сравнивает исходный HTML, который отправляется браузеру самим сервером и отрендеренный HTML(код), который отображается на стороне клиента.

NoJS Side‑by‑Side

NoJS Side-by-Side букмарклет позволяет замаскироваться под поискового робота. Он помогает сравнить страницы сайта с отключенным и включенным JavaScript-кодом.

Следующие этапы:

1. Настройте инструменты разработчика Chrome.

2. Отключите кэширование.

Взглянуть на сайт глазами работа Google

3. Запретите использование сервис-воркеров.

Обзор сайта глазами Goole работа

4. Настройте браузер.

Настройка браузера для имитации гугл бота

Настройка браузера для имитации google бота

Эмулируем мобильное устройство

В левом верхнем углу инструментов разработчика нажмите на переключатель панели инструментов устройства (кнопка с изображением телефона и планшета), затем выберите устройство, которое нужно эмулировать.

Эмулируем мобильное устройство

Какое бы устройство вы ни выбрали, поисковый робот Google не прокручивает веб-страницы, а отображает полную страницу - длинную, с большой высотой.

А если у вас есть доступ к реальным мобильным устройствам, тестируйте просмотр прямо на них. И десктопную версию тоже нужно тестировать. 

Готово. Теперь вы видите страницы сайта так, как их видит поисковый робот Google.

Это один из самых легких и быстрых способов эмитирования робота Google. А самое приятное, что это совершенно бесплатно, по затраченному времени это занимает, примерно, полчаса, но в результате оказывается одним из самых нужных составляющих вашего браузера.

Поделиться в социальных сетях:

Share on facebook
Share on twitter
Share on linkedin
Share on telegram

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *