В сучасному інтернет-світі можливо створити сайт як на платформі-конструкторі, так і за допомогою різних мов програмування. Найпопулярнішими і загартованими часом зостаються такі мови, як HTML, CSS та JavaScript.
Створюючи сайт за допомогою HTML і CSS гугл бот з легкістю сканує сайт і розуміє, що розміщено на сторінці сайту, а ось мову JavaScript боти не завжди розпізнають, тому часу на сканування вимагається більше.
Якщо ви слідкуєте за своїм сайтом, або займаєтеся його просуванням, відвідуючи інструмент Google Search Console ви можете побачити результати сканування у вкладці “Покриття”, інформація якого містить текст: “Виявлено, не проіндексовано” і в прикладах зазначені URL з проблемами. Це зазвичай означає, що Google ще не виконав JavaScript-код веб-сайту.
Як налаштувати browser, щоб він імітував пошукового Google робота
Зімітувати робота Google можливо за допомогою розширень браузера Chrome або Canary.
Canary – це версія Google Chrome браузера, призначена для розробників.
Якщо Chrome обрано як браузер за замовчуванням, то завантажте та встановіть Chrome Canary і використовуйте його в якості браузера для маскування під пошукового бота.
Встановіть через магазин хрому 5 розширень і букмарклер для браузера:
- User‑Agent Switcher;
- Windscribe або інший VPN для імітації місця розташування пошукового робота Google;
- Link Redirect Trace;
- Web Developer;
- View Rendered Source;
- букмарклет NoJS Side‑by‑Side.
User-Agent Switcher
Це розширення здійснює перемикання User-Agent браузера. У Chrome і Canary є налаштування користувацького агента, але воно застосовується тільки до використовуваної вкладки і скидається, якщо ви закриваєте браузер.
Беріть рядок User-Agent пошукового робота Google з налаштувань останньої версії браузера Chrome (саме з Chrome, а не з Canary!).
Щоб отримати User-Agent, відкрийте в Chrome інструменти розробника одним із трьох способів:
- натиснувши F12 або комбінацію клавіш “Ctrl + Shift + I”;
- клікнувши правою кнопкою миші і вибравши в меню пункт “Переглянути код”;
- скориставшись меню-гамбургером у правому верхньому кутку вікна браузера→ “Додаткові інструменти” → “Інструменти розробника”.
Ось що треба зробити далі:
- Зайдіть на вкладку Network.
- На вкладці Network клацніть по меню-гамбургеру, розташованому в правому верхньому куті, а потім оберіть More tools → Network conditions.
- Відкрийте вкладку Network conditions, яка з’явиться в нижній частині вікна.
- Приберіть прапорець із пункту “Використовувати браузер за замовчуванням”.
- Оберіть Googlebot Smartphone зі списку нижче, потім скопіюйте рядок User-Agent з поля під переліком і вставте його в список, що міститься в налаштуваннях браузерного розширення User-Agent Switcher.
Не забудьте перемкнути Chrome назад на користувацький агент за замовчуванням, якщо це ваш основний браузер.
На цьому етапі, якщо ви користуєтеся Chrome як браузером для маскування під пошукового робота Google, ви також можете поставити прапорець у пункті “Вимкнути кеш”.
Web Developer
Web Developer – це розширення, яке повинен мати кожен спеціаліст із технічного SEO. Він призначений для увімкнення та вимкнення JavaScript, щоб переглянути, що Googlebot може побачити з JavaScript і без нього.
VPN
VPN маскує місцезнаходження пошукового робота.
Link Redirect Trace
Link Redirect Trace призначений для огляду відповіді сервера при відправці URL.
View Rendered Source
View Rendered Source порівнює вихідний HTML, який відправляється браузеру самим сервером і відрендеренний HTML(код), який відображається на стороні клієнта.
NoJS Side‑by‑Side
NoJS Side‑by‑Side букмарклет надає змогу замаскуватися під пошукового робота. Він допомагає порівняти сторінки сайту з вимкненим і увімкненим JavaScript-кодом.
Наступні етапи:(скріни)
1. Налаштуйте інструменти розробника Chrome.
2. Вимкніть кешування.
3. Забороніть використання сервіс-воркерів.
4. Налаштуйте браузер(скріни).
Емулюємо мобільний пристрій
У лівому верхньому кутку інструментів розробника натисніть на перемикач панелі інструментів пристрою (кнопка із зображенням телефону і планшета), потім виберіть пристрій, який потрібно емулювати.
Який би пристрій ви не вибрали, пошуковий робот Google не прокручує веб-сторінки, а відображає повну сторінку – довгу, з великою висотою.
А якщо у вас є доступ до реальних мобільних пристроїв, тестуйте перегляд прямо на них. І десктопну версію теж потрібно тестувати.
Готово. Тепер ви бачите сторінки сайту так, як їх бачить пошуковий робот Google.
Це один із найлегших і найшвидших способів емітування робота Google. А найприємніше, що це зовсім безкоштовно, по затраченому часу це займає, приблизно, пів години, але в результаті виявляється одним із найпотрібніших складових вашого браузеру.
Поділитися в соціальних мережах: