Boty i gigantyczny transfer

[Arent]

W ost. tygodniach boty generują mi coraz większy transfer, dzisiaj zjadlo mi prawie 10GB!!!, to na miesiąc wychodzi 300GB, co daje miesieczny koszt VPS rzędu 300 zł., najlepsze jest to że boty blokuję przez robots.txt

 

[przykladowy plik]

 

User-agent: static-81-219-9-158.devs.futuro.pl

atoulon-257-1-31-197.w90- 27.abo.wanadoo.fr

es-217-129-25-247.netvisao.pt

Disallow: /

 

 

tyle to ja mniej więcej miesięcznie z adsense zarabiam, wiec nie wiem za bardzo po co mam prowadzić stronę? coś można na to poradzić, zastanawiam się czy konkurencja celowo nie zasrywa mi serwera

[Ranmus]

zastanawiam się czy konkurencja celowo nie zasrywa mi serwera

Dość powszechna metoda. ;)

 

Zresztą zależy jaki serwis prowadzisz itd. Musiałbyś pokazać nam o co konkretnie chodzi (a jak nie to poprzez PM). Wtedy coś się poradzi.

[Arent]

dzięki za szybką odpowiedz, plik robots.txt jest chyba poprawnie zbudowany? ew. może macie jakąs listę najpopularniejszych botów? podawanie adresy to chyba nic nie da, mam ok. 5 qlwebów itp., ale wcześniej 5 gb na miesiąc spokojnie wystarczało

[Ranmus]

Nie polegaj na robots.txt, bo tam są wpisy tylko najpopularniejszych botów. Ja w parę chwil od biedy mogę napisać takiego robota, którego i tak nie przyblokujesz...

 

A masz jakiś log dostępu do witryny access.log albo coś w tym stylu?

[Arent]

nie mam access.log

[Ranmus]

Gdzie hostujesz stronę? Jaki pakiet? Czy to wirtualny host czy vps czy serwer? Masz jakieś statystyki oferowane przez ISP typu awstats czy coś w tym stylu?

 

Trzeba nam jak najdokładniejszych informacji.

[Arent]

na http://www.blink.pl/serwery.optimum.html

 

mam webalizera

[Ranmus]

Nie wiem jak masz tego webalizera skonfigurowanego, ale poszukaj jakie linki są najczęściej wywoływane i jaki host najczęściej otwiera twoją stronę. Zresztą jaki to jest serwer, apache? W php wywołaj funkcję phpinfo();

[Arent]

o to Ci chodzi?

System Linux www3 2.6.22-4-amd64 #1 SMP Wed Feb 13 00:34:55 CET 2008 x86_64

 

najczęściej moj serwer odwiedzaja m.in.

 

 

# Wywołania Pliki kB F kB In kB Out Wizyty Nazwa hosta

1 86470 40,42% 86249 40,61% 256142 5,25% 6 3,70% 0 0,00% 12471 33,54% 64.69.33.145

2 16238 7,59% 16191 7,62% 141480 2,90% 0 0,00% 0 0,00% 266 0,72% crawl-66-249-65-38.googlebot.com

3 14810 6,92% 14809 6,97% 979584 20,06% 3 1,96% 0 0,00% 3781 10,17% shock.netshock.pl

4 13610 6,36% 13608 6,41% 1054177 21,59% 4 2,30% 0 0,00% 3499 9,41% s13.linuxpl.com

 

a ruch to mniej więcej się równomiernie rozkłada

[Ranmus]

1 86470 40,42% 86249 40,61% 256142 5,25% 6 3,70% 0 0,00% 12471 33,54% 64.69.33.145

Połowa twojego ruchu leci z tego komputera. Jeżeli to nie jest twój jakiś bot, progs / komp, to zbanuj te ip.

 

A co do serwera, to w phpinfo jest wiersz o nazwie "Server API" i o to mi chodzi.

[Arent]

Server API CGI/FastCGI

 

dodałem również 64.69.33.145

 

a nie masz jakiejś listy z większą liczbę IPów botów spamujących? webalizer niestety pokazuje mi tylko top 15

[Ranmus]

Czyli nie apache (chyba jakiś BLK-Enterprise, bo tak mi wyskakuje jak wchodzę na stronę tego ISP).

 

Zresztą nie wiem co oni mają za panel, da się blokować hosty z jego poziomu? Bo chciałem napisać, że można plikiem .htaccess, ale to działa tylko jakbyś miał apache.

 

Dodanie hosta do robots.txt nic nie pomoże, ponieważ ten plik służy właśnie "dobrym" botom do odczytu informacji czy właściciel życzy sobie przetwarzanie jego strony. Przecież złe boty oraz atakujący nie będą sprawdzać robots.txt bo na co im to? Prosić się nie będą. :) Musisz zastosować blokadę po stronie serwera, by odrzucało wywoływania konkretnych hostów. Najlepiej skontaktuj się z blink.pl w tej sprawie (bo widzę, że mają jakieś niestandardowe rozwiązania).

[Arent]

z poziomu panelu administracyjnego niestety nie można blokowac botów

 

.htaccess używam, ale do innych celów, na razie czekam na e-mail od nich

[Ranmus]

Czyli masz jednak .htaccess? No to jesteś w domu.

 

To że używasz do innych celów tego pliku, to nie ma nic do znaczenia, bo tam mogą być różne reguły. Łap:

 

http://www.clockwatchers.com/htaccess_block.html

 

W arcie masz pokazany sposób na blokowanie ip oraz nazw hostów.

[Arent]

z tego co widzę to transfer spadł o połowę, a le wciąż jest wysoki

 

wgrałem do qlweba takie coś, dobrze jest napisane?

 

RewriteEngine On

RewriteRule ^kategoria-([^-]+).html$ index.php?kat=$1

RewriteRule ^wpis-([^-]+)podkat-([^-]+)strona-([^-]+).html$ index.php?kat=$1&pod=$2&str=$3

RewriteRule ^wpis-([^-]+)podkat-([^-]+).html$ index.php?kat=$1&pod=$2

RewriteRule ^info-([^-]+).html$ index.php?m=3&wpis=$1

 

order allow,deny

deny from s13.linuxpl.com

deny from 64.69.33.145

deny from edart.duu.pl

deny from tanihost.com

deny from filter12.solcon.nl

deny from crawler35.us.webbot.org

allow from all

 

 

pierwsze 5 linijek to od qlweba

 

 

po deny from ma być nazwa robota, czy IP, czy jest to obojętne?

[Arent]

taka lista jakby kto potrzebował

 

 

order allow,deny

deny from 70.84.128.244

deny from 212.14.41.6

deny from 24.227.118.54

deny from 24.106.39.250

deny from 205.205.236.14

deny from 80.15.138.218

deny from 216.138.217.106

deny from 24.138.39.190

deny from 192.116.153.2

deny from 192.116.66.218

deny from 195.166.237.40

deny from 209.139.252.149

deny from 209.235.23.70

deny from 211.19.78.202

deny from 212.247.106.210

deny from 216.138.217.106

deny from 216.205.75.23

deny from 216.205.75.24

deny from 216.205.75.25

deny from 216.205.75.26

deny from 216.205.75.27

deny from 216.205.75.28

deny from 216.205.91.228

deny from 216.205.91.229

deny from 216.205.91.230

deny from 216.205.94.82

deny from 216.205.94.83

deny from 216.205.94.84

deny from 216.205.94.85

deny from 216.205.94.87

deny from 216.205.94.88

deny from 216.205.94.89

deny from 216.205.94.90

deny from 216.252.167.226

deny from 217.10.169.146

deny from 217.194.147.2

deny from 61.116.75.187

deny from 62.194.105.200

deny from 62.194.7.93

deny from 62.219.142.236

deny from 66.135.32.95

deny from 66.135.34.8

deny from 66.135.35.75

deny from 69.44.57.230

deny from 69.44.57.78

deny from 69.44.57.98

deny from 80.179.101.199

deny from 80.88.132.177

deny from 81.199.6.140

deny from 81.199.84.81

deny from 81.199.84.8

deny from 82.166.69.238

deny from 62.128.162.20

deny from 65.80.28.112

deny from 65.26.251.81

deny from 66.135.32.95

deny from 66.135.34.8

deny from 66.135.35.75

deny from 69.44.57.12

deny from 69.44.57.230

deny from 69.44.57.78

deny from 69.44.57.98

deny from 69.44.58.95

deny from 80.88.132.177

deny from 80.88.142.6

deny from 80.179.101.199

deny from 80.179.101.206

deny from 80.179.104.110

deny from 80.230.180.153

deny from 81.199.84.4

deny from 81.199.84.66

deny from 81.23.204.210

deny from 192.116.85.31

deny from 192.116.134.100

deny from 195.166.233.221

deny from 200.164.24.92

deny from 209.179.198.70

deny from 210.180.96.43

deny from 213.255.195.5

deny from 216.138.217.106

deny from 216.139.176.82

deny from 216.205.75.23

deny from 216.205.75.24

deny from 216.205.75.25

deny from 216.205.75.26

deny from 216.205.75.27

deny from 216.205.75.28

deny from 216.205.91.228

deny from 216.205.91.229

deny from 216.205.91.230

deny from 216.205.94.82

deny from 216.205.94.83

deny from 216.205.94.84

deny from 216.205.94.85

deny from 216.205.94.87

deny from 216.205.94.88

deny from 216.205.94.89

deny from 216.205.94.90

deny from 216.250.221.9

deny from 217.73.164.106

deny from 217.78.73.200

deny from 217.136.110.146

deny from 217.20.242.103

deny from 217.44.102.197

deny from 217.211.215.100

deny from 217.194.153.76

deny from 216.205.94.85

deny from 216.205.94.87

deny from 211.161.24.38

deny from 213.185.113.21

deny from 216.205.75.26

deny from 216.205.91.230

deny from 218.116.134.67

deny from 65.26.251.81

deny from 69.44.57.12

deny from 69.44.57.230

deny from 69.44.57.78

deny from 69.44.58.95

deny from 80.179.101.206

deny from 81.199.84.54

deny from 200.207.88.30

deny from 195.137.116.147

deny from 66.135.32.95

deny from 211.99.203.196

deny from 216.205.94.90

deny from 218.32.136.169

deny from 24.123.125.205

deny from 24.63.10.222

deny from 62.194.119.210

deny from 65.26.251.81

deny from 66.135.32.95

deny from 66.135.34.8

deny from 66.135.35.75

deny from 69.44.57.12

deny from 69.44.57.230

deny from 69.44.57.78

deny from 69.44.58.95

deny from 80.58.0.44

deny from 80.58.3.172

deny from 81.130.247.170

deny from 81.199.6.58

deny from 81.199.6.5

deny from 81.199.84.66

deny from 67.33.165.219

deny from 24.201.23.191

deny from 200.140.20.130

deny from 65.26.251.81

deny from 66.21.129.90

deny from 209.235.23.70

deny from 210.192.120.74

deny from 213.185.113.21

deny from 216.148.246.134

deny from 216.205.75.23

deny from 216.205.75.24

deny from 216.205.75.25

deny from 216.205.75.26

deny from 216.205.75.27

deny from 216.205.75.28

deny from 216.205.91.228

deny from 216.205.91.229

deny from 216.205.91.230

deny from 216.205.94.82

deny from 216.205.94.83

deny from 216.205.94.84

deny from 216.205.94.85

deny from 216.205.94.87

deny from 216.205.94.88

deny from 216.205.94.89

deny from 216.205.94.90

deny from 217.20.241.2

deny from 220.113.170.199

deny from 24.63.10.222

deny from 62.194.119.210

deny from 65.26.251.81

deny from 80.58.13.44

deny from 216.148.246.134

deny from 65.26.251.81

deny from 81.192.2.118

deny from 81.23.97.150

deny from 65.80.28.112

deny from 203.134.81.145

deny from 216.205.91.230

deny from 216.205.94.82

deny from 216.205.94.83

deny from 216.205.94.87

deny from 216.205.94.88

deny from 216.205.94.89

deny from 216.205.94.90

deny from 216.29.3.217

deny from 24.74.55.217

deny from 211.157.36.3

deny from 211.157.36.7

deny from 217.136.110.146

deny from 81.199.84.56

deny from 68.168.3.122

deny from 210.56.12.18

deny from 80.247.152.5

deny from 216.29.3.217

deny from 24.74.55.217

deny from 203.220.183.105

deny from 80.179.100.214

deny from 24.74.55.217

deny from 67.161.26.63

deny from 205.188.208.166

deny from 24.48.254.59

deny from 200.30.138.4

deny from 195.229.241.235

deny from 218.109.130.136

deny from 81.199.83.116

deny from 192.116.98.6

deny from 218.109.130.136

deny from 12.164.52.41

deny from 81.199.84.81

deny from 81.23.97.150

deny from 80.88.129.28

deny from 211.157.36.7

deny from 24.71.66.141

deny from 212.199.239.161

deny from 80.247.141.137

deny from 24.63.10.222

deny from 24.71.66.141

deny from 207.139.99.155

deny from 67.120.29.86

deny from 219.94.63.6

deny from 24.63.10.222

deny from 80.247.141.137

deny from 218.17.61.56

allow from all

 

 

stąd http://www.spywareinfo.com/harvest_project/spambots.txt

[Ranmus]

Chyba dobra, zresztą zbanuj swoje requesty i zobaczysz czy działa. Ja akurat nie muszę blokować poprzez .htaccess, bo gmclan jest hostowany aplikacją litespeed i tam sobie sam w panelu banuję klientów.

[Kofel]

Ranmus gdzie hostujesz gmclan, jakaś firma czy dedyk i sam go okupujesz?

[Ranmus]

Dedyk prywatny, nie opłacam, mam za free w zamian za opiekowanie się maszyną (instalacja, konfiguracja systemu oraz oprogramowania, aktualizacje i doglądanie sytuacji gdy coś złego się dzieje, a właściciel jest akurat na wakacjach). Dzień bez kompinowania w shellu dniem straconym. :/

[Arent]

no widzę, że transfer spadł z 10 gb do nieco ponad 1 gb, generalnie wartościowe strony generują mi tylko ułamek tego co qlweby, zastanawiam się czy nie lepiej zbanowć wszystkie boty, tylko wpuścić google, yahoo, itp.

[Ranmus]

Bardzo dobry pomysł, zostaw tylko google, yahoo, msn (live.com?), ask.com i tyle. Może jeszcze netsprint i parę polskich, ale musiałbyś posprawdzać z czego korzysta onet, wp i o2, ponieważ nie wszystkie mają własne boty.

[Arent]

no ale jest jeszcze problem z botami np. e-weblinka, seo.net.pl, livelink, co-op'a, linkme, link-vaulta, itd. - jakbym zaczął je blokować to poprostu zostałbym przez adminów zbanowany

[Ranmus]

No to musisz je zostawić, ale pamiętaj, że trochę transferu przez te boty może polecieć, bo jak mniemam są to systemy wymiany linków do pozycjonowania strony?

[Arent]

a dałoby się coś takiego zrobić, że boty mogliby przeglądać max 300 podstron podczas 1 wizyty (poza googlebotem)?

[Arent]

No i znowu problem wrócił mimo że blokuję już ponad 1000 botów, staram się blokować cały zakres, ale chyba to nie działa

 

order allow,deny

deny from .picsearch.com

deny from .dimenoc.com

 

czy do pliku .htaccess mogę jeszcze dodać coś takiego jak to http://phpfreelancer.net/articles/30690_Oc...i-htaccess.html

 

coś takiego

 

 

order allow,deny

deny from w21.webd.pl

deny from weles.az.pl

deny from apollo.az.pl

deny from s13.linuxpl.com

deny from s12.linuxpl.com

deny from spider6.szukaj.onet.pl

deny from hdr42.internetdsl.tpnet.pl

deny from dzg18.internetdsl.tpnet.pl

RewriteEngine on

#RewriteCond %{REQUEST_METHOD} ^(TRACE|TRACK)

RewriteCond %{HTTP_USER_AGENT} ^dimenoc.com* [OR]

RewriteCond %{HTTP_USER_AGENT} ^.picsearch.com* [OR]

RewriteRule ^.*$ http://www.nsa.gov [L]