Webboard

Witam posiadam obecny robots.txt taki:


Sitemap: http://paintballmod.com/sitemap.xml

User-agent: Googlebot
Allow: /
User-agent: msnbot
Allow: /
User-agent: *
Disallow: /
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Allow: /


Chciałbym go poprawić ale nie wiem za co się zabrać mianowicie, usunąć dostęp dla robotów by przeglądy profile to chyba zrobiłem poprzez Disallow: /member.php nie wiem a druga sprawa chciałbym zablokować dostęp wszystkim robotom oprócz GoogleBota, MSN, Yahoo, Binga. Powtarzają mi się wpisy Allow: / i nie wiem czy to jest ok?

Szukałem po forach i chyba znalazłem wpisy:
User-agent: Googlebot
Allow: /
User-agent: msnbot
Allow: /

Choć nie wiem czy poprawnie mam wszystko w robots.txt dodane

Chodzi mi o to ze mam pełno robotów co zjadają mi transfer. podam obecne pliki robots.txt, .htaccess


Do meta dodałem
    <meta name="robots" content="index,follow">

Może ktoś zna lepszy sposób na blokadę niepotrzebnych robotów?

[attachment=12641]

Zobacz takie rozwiązanie
https://www.forum.optymalizacja.com/topi...w-htaccess

Próbowałem już tego ale tak dużo tego opisali że nie ogarniam.

Dodałem jeszcze do robots takie coś

Sitemap: http://paintballmod.com/sitemap.xml

User-agent: Googlebot
Allow: /
User-agent: msnbot
Allow: /
User-agent: BingBot
Allow: /

User-agent: *
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: Ninja
Disallow: /
User-agent: NinjaBot
Disallow: /
User-agent: ColoCrossing
Disallow: /
User-agent: Majestic
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: YandexImages
Disallow: /
User-agent: Exabot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: Sogou
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: GetIntent
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: ltx71
Disallow: /
User-agent: SeznamBot
Disallow: /
User-agent: HybridBot
Disallow: /
User-agent: proximic
Disallow: /
User-agent: GrapeshotCrawler
Disallow: /
User-agent: Mail.RU_Bot/2.0
Disallow: /
User-agent: Plukkie
Disallow: /
User-agent: DeuSu
Disallow: /
User-agent: XoviBot
Disallow: /
User-agent: archive.org_bot
Disallow: /
User-agent: bhcBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: SentiBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: FemtosearchBot
Disallow: /
User-agent: yoozBot
Disallow: /
User-agent: AwarioRssBot
Disallow: /
User-agent: linkdexbot
Disallow: /
User-agent: demandbase
Disallow: /
User-agent: Cliqzbot
Disallow: /
User-agent: BotScout
Disallow: /
User-agent: spbot
Disallow: /
User-agent: rogerbot
Disallow: /

Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*

Przecież tam masz podobne rozwiązanie nic jak tylko dokładnie przeczytać, jeżeli nie wiesz jaka regułka co oznacza wklep w google poczytaj o niej

No Disallow blokuje, Allow daje dostęp robotom, tylko że mi chodzi o to jak sprawdzić co powinienem mieć napisane w logach serwera? Przy nazwie robota powinienem mieć 403 czy 301 nie pamiętam już też mi chodzi o to czy poprzez Disallow: /member.php i Disallow: /memberlist.php powinien być zablokowany dostęp do profili użytkowników bo ja jak wejdę w kogoś profil to mam napisane w linku uzytkownik-nazwa a nie member-nazwa czy mimo tego zablokuje mi roboty?