В современном интернет-мире возможно создать сайт как на платформе-конструкторе, так и с помощью различных языков программирования. Самыми популярными и закаленными временем остаются такие языки, как HTML, CSS и JavaScript.
Создавая сайт с помощью HTML и CSS гугл бот с легкостью сканирует сайт и понимает, что размещено на странице сайта, а вот язык JavaScript боты не всегда распознают, поэтому времени на сканирование требуется больше.
Если вы следите за своим сайтом, или занимаетесь его продвижением, посещая инструмент Google Search Console вы можете увидеть результаты сканирования во вкладке "Покрытие", информация которого содержит текст: "Обнаружено, не проиндексировано" и в примерах указаны URL с проблемами. Это обычно означает, что Google еще не выполнил JavaScript-код веб-сайта.
Как настроить browser, чтобы он имитировал поискового Google робота
Симитировать робота Google возможно с помощью расширений браузера Chrome или Canary.
Canary - это версия браузера Google Chrome, предназначенная для разработчиков.
Если Chrome выбран в качестве браузера по умолчанию, то загрузите и установите Chrome Canary и используйте его в качестве браузера для маскировки под поискового бота.
Установите через магазин хрома 5 расширений и букмарклер для браузера:
- User‑Agent Switcher;
- Windscribe или другой VPN для имитации местоположения поискового робота Google;
- Link Redirect Trace;
- Web Developer;
- View Rendered Source;
- букмарклет NoJS Side‑by‑Side.
User-Agent Switcher
Это расширение осуществляет переключение User-Agent браузера. В Chrome и Canary есть настройка пользовательского агента, но она применяется только к используемой вкладке и сбрасывается, если вы закрываете браузер.
Берите строку User-Agent поискового робота Google из настроек последней версии браузера Chrome (именно из Chrome, а не из Canary!).
Чтобы получить User-Agent, откройте в Chrome инструменты разработчика одним из трех способов:
- нажав F12 или комбинацию клавиш "Ctrl + Shift + I";
- кликнув правой кнопкой мыши и выбрав в меню пункт "Просмотреть код";
- воспользовавшись меню-гамбургером в правом верхнем углу окна браузера→ "Дополнительные инструменты" → "Инструменты разработчика".
Вот что надо сделать дальше:
- Зайдите на вкладку Network.
- На вкладке Network щелкните по меню-гамбургеру, расположенному в правом верхнем углу, а затем выберите More tools → Network conditions.
- Откройте вкладку Network conditions, которая появится в нижней части окна.
- Уберите флажок с пункта "Использовать браузер по умолчанию".
- Выберите Googlebot Smartphone из списка ниже, затем скопируйте строку User-Agent из поля под перечнем и вставьте ее в список, содержащийся в настройках браузерного расширения User-Agent Switcher.
Не забудьте переключить Chrome обратно на пользовательский агент по умолчанию, если это ваш основной браузер.
На этом этапе, если вы используете Chrome в качестве браузера для маскировки под поискового робота Google, вы также можете поставить флажок в пункте "Отключить кэш".
Web Developer
Web Developer - это расширение, которое должен иметь каждый специалист по техническому SEO. Он предназначен для включения и отключения JavaScript, чтобы посмотреть, что Googlebot может увидеть с JavaScript и без него.
VPN
VPN маскирует местонахождение поискового робота.
Link Redirect Trace
Link Redirect Trace предназначен для обзора ответа сервера при отправке URL.
View Rendered Source
View Rendered Source сравнивает исходный HTML, который отправляется браузеру самим сервером и отрендеренный HTML(код), который отображается на стороне клиента.
NoJS Side‑by‑Side
NoJS Side-by-Side букмарклет позволяет замаскироваться под поискового робота. Он помогает сравнить страницы сайта с отключенным и включенным JavaScript-кодом.
Следующие этапы:
1. Настройте инструменты разработчика Chrome.
2. Отключите кэширование.
3. Запретите использование сервис-воркеров.
4. Настройте браузер.
Эмулируем мобильное устройство
В левом верхнем углу инструментов разработчика нажмите на переключатель панели инструментов устройства (кнопка с изображением телефона и планшета), затем выберите устройство, которое нужно эмулировать.
Какое бы устройство вы ни выбрали, поисковый робот Google не прокручивает веб-страницы, а отображает полную страницу - длинную, с большой высотой.
А если у вас есть доступ к реальным мобильным устройствам, тестируйте просмотр прямо на них. И десктопную версию тоже нужно тестировать.
Готово. Теперь вы видите страницы сайта так, как их видит поисковый робот Google.
Это один из самых легких и быстрых способов эмитирования робота Google. А самое приятное, что это совершенно бесплатно, по затраченному времени это занимает, примерно, полчаса, но в результате оказывается одним из самых нужных составляющих вашего браузера.
Поделиться в социальных сетях:
