Czasami, zwykle o podobnych porach w ciągu dnia na mojej stronie przekraczane są limity hostingowe, np. maksymalnej liczby procesów itd. rzadko, ale jednak. Nie wiedziałem co jest grane i w sumie nadal nie wiem. Zadania, które co jakiś czas są wykonywane nie stanowią problemu, a przynajmniej wszystko na to wskazuje. Jedyne co mi przychodzi do głowy, to to, że coś wchodzi na stronę i ją "zawiesza". Używam Cloudflare i z czasem dokonuję tam jakiś tam okresowych zmian np. blokuję kraje z których wchodzą szkodliwe boty jak Chiny, Rosja itd dając im captchę do przejścia jak widzę, że z jakiegoś kraju boty zaczynają intensywnie męczyć stronę, potem odblokowuję i mam spokój na jakiś czas. Są jednak boty wyszukiwarek i innych serwisów, których oczywiście krajów nie mogę zablokować, ale też nie sprawiają problemów. Są też kraje zbanowane na stałe, z których nie wpuszczę nawet człowieka.
Szukając rozwiązania problemu w directadmin sprawdziłem statystyki i przekraczany jest limit ilości procesów, nie doszedłem do tego dlaczego. Porównałem jedynie godziny incydentów z logami wejść na stronę i nic ciekawego, poza tym, że przypadkiem znalazłem, że na stronę wchodzi coś, co nazywa się Inwegrobot i wchodzi na stronę częściej niż googlebot i bingbot razem wzięte. Jedną stronę odświeża czasami po 5 razy wg. logów. Oczywiście zablokowałem jego IP, bo nie mam pojęcia co to jest, w Google nie znalazłem niczego konkretnego. Adres IP, to 249.157.47.39, zbanowałem go i dałem info do robots.txt by trzymał się z daleka.
Ktoś może powiedzieć coś więcej na jego temat?
Hm.. nic mi ta nazwa nie mówi, internety zresztą też raczej milczą i nie wygląda to na nic, czym warto byłoby się przejmować.
Co do blokowania, to najlepiej na poziomie Cloudflare to zrób. Banując na forum oczywiście nie dopuszczasz go do przeglądania, ale nadal może "próbować" generując niepotrzebne requesty.
Nie o to mi chodziło - takie boty, intensywnie działające w sieci mają najczęściej jakiegoś właściciela, firmę, korporację itp. A tutaj nic.. co jest dziwne patrząc na to, jaki on ruch generuje.
Tak, tak, zablokowałem go w Cloudflare od razu jak tylko zobaczyłem jak to w logach wygląda. Nadal jednak zastanawia mnie, co to jest. Ten jego IP jest mega dziwny. Moja teoria jest taka, że ktoś go używał do badań i o nim zapomniał. Może miał dostęp do jakiegoś serwera badawczego i jego admini równiż o nim zapomnieli. Gdyby chociaż był jakiś namiar na autora, czy kontakt z właścicielami serwera, a tu nic. Duch Internetu, a w sieci pełno botów zoombie z normalnym adresem IP.
Wycinek z logów, żeby było jasne z czym mamy tu do czynienia. Adresy IP są od Cloudflare, więc nie są rzeczywiste i chyba mogę je tu na legalu opublikować. Całe logi tak wyglądają, to tylko skrawek, a forum średnio ma ok 10k sesji dziennie, więc trochę to jest przerażające. Oczywiście są też sesje z innych adresów, ale wybrałem akurat ten fragment, by zobrazować inwazyjność tego tworu. Przejrzyjcie swoje logi, może macie podobnie. 404 ma, bo zablokowałem.
Cytat:162.158.90.8 - - [15/Nov/2017:07:18:40 +0100] "GET /Forum-Motoryzacja HTTP/1.1" 404 7770 "http://odjechani.com.pl/Forum-Motoryzacja" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:18:41 +0100] "GET /Forum-Niepelnosprawni HTTP/1.1" 404 7772 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:18:42 +0100] "GET /Forum-dzieci HTTP/1.1" 404 7763 "http://odjechani.com.pl/Forum-dzieci" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:18:43 +0100] "GET /Forum-Praca_326?page=1 HTTP/1.1" 404 7774 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:18:45 +0100] "GET /Forum-Puchary-Europejskie?page=1 HTTP/1.1" 404 7785 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:18:46 +0100] "GET /Forum-Puchary-Europejskie HTTP/1.1" 404 7776 "http://odjechani.com.pl/Forum-Puchary-Europejskie" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:18:47 +0100] "GET /Forum-Komputery-akcesoria-i-peryferia HTTP/1.1" 404 7778 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:18:48 +0100] "GET /Forum-Woman-room HTTP/1.1" 404 7768 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:18:51 +0100] "GET /Forum-Sporty HTTP/1.1" 404 7764 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:18:52 +0100] "GET /Forum-Pilkarskie-newsy?page=1 HTTP/1.1" 404 7782 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:18:53 +0100] "GET /Forum-Samorozwoj HTTP/1.1" 404 7769 "http://odjechani.com.pl/Forum-Samorozwoj" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:18:56 +0100] "GET /Forum-Problemy_157?page=1 HTTP/1.1" 404 7777 "http://odjechani.com.pl/Forum-Problemy_157?page=1" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:19:01 +0100] "GET /Forum-Zdrowie-i-pielegnacja-ciala HTTP/1.1" 404 7780 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:19:03 +0100] "GET /Forum-Poznajmy-si%C4%99 HTTP/1.1" 404 7770 "http://odjechani.com.pl/Forum-Poznajmy-si%C4%99" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:19:04 +0100] "GET /Forum-Gry-i-Zabawy HTTP/1.1" 404 7770 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:19:05 +0100] "GET /Forum-Twoja-strona HTTP/1.1" 404 7767 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:19:07 +0100] "GET /Forum-Problemy_157 HTTP/1.1" 404 7767 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:19:08 +0100] "GET /Forum-Awanse HTTP/1.1" 404 7766 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:19:09 +0100] "GET /Forum-Odjechana-kuchnia HTTP/1.1" 404 7768 "http://odjechani.com.pl/Forum-Odjechana-kuchnia" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:19:10 +0100] "GET /Forum-Strefa-programisty HTTP/1.1" 404 7773 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:19:12 +0100] "GET /Forum-Odjechane-zyczenia HTTP/1.1" 404 7770 "http://odjechani.com.pl/Forum-Odjechane-zyczenia" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:19:13 +0100] "GET /Forum-CMS-y-i-fora HTTP/1.1" 404 7771 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:19:15 +0100] "GET /Forum-Awarie-komputera HTTP/1.1" 404 7770 "http://odjechani.com.pl/Forum-Awarie-komputera" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.90.8 - - [15/Nov/2017:07:19:16 +0100] "GET /Forum-Samorozwoj HTTP/1.1" 404 7769 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
108.162.245.78 - - [15/Nov/2017:07:19:17 +0100] "GET /uploads/avatars/avatar_6303.png?dateline=1353844913 HTTP/1.1" 200 8751 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
162.158.90.8 - - [15/Nov/2017:07:19:18 +0100] "GET /Forum-Archiwum-oglosze HTTP/1.1" 404 7771 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.58 - - [15/Nov/2017:07:19:25 +0100] "GET /Forum-Wydarzenia-literackie HTTP/1.1" 200 13781 "http://odjechani.com.pl/Forum-Wydarzenia-literackie" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.58 - - [15/Nov/2017:07:19:26 +0100] "GET /Forum-Gie%C5%82da-og%C5%82osze%C5%84 HTTP/1.1" 301 714 "http://odjechani.com.pl/Forum-Gie%C5%82da-og%C5%82osze%C5%84" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.58 - - [15/Nov/2017:07:19:26 +0100] "GET /Forum-Gielda-ogloszen HTTP/1.1" 200 13757 "https://odjechani.com.pl/Forum-Gie%C5%82da-og%C5%82osze%C5%84" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.58 - - [15/Nov/2017:07:19:26 +0100] "GET /Forum-Off-Topic HTTP/1.1" 404 7713 "http://odjechani.com.pl/Forum-Off-Topic" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.34 - - [15/Nov/2017:07:19:28 +0100] "GET /Forum-Telewizory-i-projektory HTTP/1.1" 404 7777 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.34 - - [15/Nov/2017:07:19:29 +0100] "GET /Forum-CMS-y-i-fora HTTP/1.1" 404 7771 "http://odjechani.com.pl/Forum-CMS-y-i-fora" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.34 - - [15/Nov/2017:07:19:30 +0100] "GET /Forum-KSW HTTP/1.1" 404 7765 "http://odjechani.com.pl/Forum-KSW" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.160 - - [15/Nov/2017:07:19:35 +0100] "GET /Thread-Swietny-generator-przyciskow-Button-generator HTTP/1.1" 200 19819 "https://www.google.pl/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36 OPR/48.0.2685.52"
162.158.69.213 - - [15/Nov/2017:07:19:48 +0100] "HEAD / HTTP/1.1" 200 506 "https://odjechani.com.pl" "Mozilla/5.0+(compatible; UptimeRobot/2.0; http://www.uptimerobot.com/)"
162.158.90.116 - - [15/Nov/2017:07:20:05 +0100] "GET /Thread-Brazowy-osad-w-akwarium HTTP/1.1" 200 26778 "https://www.google.pl/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0"
162.158.88.34 - - [15/Nov/2017:07:20:08 +0100] "GET /Forum-Archiwum-og%C5%82osze%C5%84 HTTP/1.1" 404 7777 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.34 - - [15/Nov/2017:07:20:09 +0100] "GET /Forum-GSM-NAVI HTTP/1.1" 404 7770 "http://odjechani.com.pl/Forum-GSM-NAVI" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.34 - - [15/Nov/2017:07:20:10 +0100] "GET /Forum-Multimedia-i-Rozrywka HTTP/1.1" 404 7768 "http://odjechani.com.pl/Forum-Multimedia-i-Rozrywka" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.34 - - [15/Nov/2017:07:20:12 +0100] "GET /Forum-Aktualnosci-i-wydarzenia?page=1 HTTP/1.1" 404 7785 "http://odjechani.com.pl/Forum-Aktualnosci-i-wydarzenia?page=1" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.34 - - [15/Nov/2017:07:20:13 +0100] "GET /Forum-Studia HTTP/1.1" 404 7766 "http://odjechani.com.pl/Forum-Studia" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.34 - - [15/Nov/2017:07:20:14 +0100] "GET /Forum-Free-transfer HTTP/1.1" 404 7769 "-" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.34 - - [15/Nov/2017:07:20:15 +0100] "GET /Forum-Systemy-operacyjne HTTP/1.1" 404 7773 "http://odjechani.com.pl/Forum-Systemy-operacyjne" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.34 - - [15/Nov/2017:07:20:17 +0100] "GET /Forum-Platformy-gier?page=1 HTTP/1.1" 404 7779 "http://odjechani.com.pl/Forum-Platformy-gier?page=1" "Mozilla/5.0 (compatible; InwegroBot/0.1; +bot@inwegro.pl)"
162.158.88.34 - - [15/Nov/2017:07:20:18 +0100] "GET /Forum-Pi%C5%82ka-no%C5%BCna HTTP/1.1" 404 7772 "http://odjechani.com.pl/Forum-Pi%C5%82ka-no%C5%BCna" "Mozilla/5.0 (compatible; InwegroBot/0.1;
