Witam mam mały problem, dodaje stronkę do https://www.xml-sitemaps.com by zrobić mapę witryny raz ze jak nigdy długo mi to robi dwa to wywala mi co jakiś czas w online.php na Bocie Google czy Bing Przegląda informacje o braku dostępu i tu mam pytanie jak poprawnie ustawić robots by nie było takich problemów. Posiadam Google Seo plugin. Starałem się zrobić robots.txt tylko dla wybranych botów. W załączniku podaje plik robots.txt liczę na pomoc.

Pozdrawiam.


  robots.txt (Rozmiar: 1 022 bajtów / Pobrań: 256)