Файл robots.txt для приложения Блог на движке Webasyst должен содержать правила для поисковых роботов, чтобы избежать индексации ненужных страниц (например, страниц администратора, корзины, и других служебных разделов), а также разрешить индексацию полезных страниц.

Пример файла robots.txt:


User-agent: *

# Запрещаем индексацию пользовательских и служебных разделов
Disallow: /my/
Disallow: /login/
Disallow: /forgotpassword/
Disallow: /signup/
Disallow: /logout/

# Запрещаем индексацию страниц авторов и служебных маршрутов
Disallow: /blog/author/
Disallow: /blog/rss/
Disallow: /backend/
Disallow: /webasyst/

# Запрещаем индексацию страниц блога по датам (год/месяц/день)
Disallow: /blog/2020/
Disallow: /blog/2021/
Disallow: /blog/2022/
Disallow: /blog/2023/
Disallow: /blog/2024/
Disallow: /blog/2025/
Disallow: /blog/2026/
Disallow: /blog/2027/
Disallow: /blog/2028/

# Разрешаем индексацию страниц блогов и постов
Allow: /blog/

# Блокируем параметры страниц блога, которые не должны индексироваться
Disallow: /*?utm_source
Disallow: /*?utm_medium
Disallow: /*?utm_campaign
Disallow: /*?utm_term
Disallow: /*?utm_content

# Карта сайта
Sitemap: https://example.com/sitemap.xml

Изменения:

  • Добавлены правила Disallow для запрета индексации страниц по маршрутам, связанным с датами (/blog/<year>/<month>/<day>/, /blog/<year>/<month>/, /blog/<year>/). Это исключит хронологические страницы из индексации.

Данный файл будет корретный, если приложение Блог размещено по пути маршрутизации /blog/