libarea/public/robots.txt
Evg 8e3eab6ff9 FIX: Мелкие исправления (уберем дублирование)
+ Откроем некоторые страницы для поисковых систем
2021-07-21 22:09:12 +03:00

8 lines
144 B
Plaintext

User-agent: *
Disallow: /search
Disallow: /comments
Disallow: /top
Disallow: /s/*/top*
Disallow: /s/flud/*
Disallow: /page/*
Disallow: /*/page/*