GoogleBot’s killing spree
GoogleBot najlepszym przyjacielem webmastera? Zwykle tak. Ale nie wtedy, gdy dzi?ki niemu nagle siada Twoja strona. I ca?y serwer.
Je?li kto? tu przypadkiem zagl?da „ot tak” (bo lubi, bo przypadkiem klikn?? w zak?adk? czy link w historii etc.), dzi? przed 20 wyst?powa?y problemy z wej?ciem na moj? stron? (a tak?e kilka innych, które trzymam na tym samym koncie). Najpierw by? problem z po??czeniem z baz? danych, potem ju? wszystko siad?o.
Wys?a?em maila do supportu i po kilku minutach przysz?a odpowied?:
Incoming traffic to your sites was blocked, likely due to a resource abuse issue. I can not locate any information as to why this was done and therefor I have removed the block.
Moje pytanie o szczegó?y i kolejna odpowied? supportu:
This was actually done due to a large amount of connections to your
account, all loading index.php. The load generated was enough to cause
the server to require a reboot.
O cholera… Je?li co? potrafi zmusi? do restartu serwer z czterema prockami Intel(R) Xeon(TM) 2.80GHz i kilkoma GB RAM-u, to nie s? to przelewki.
Zaczynamy namierzanie sprawcy. Informacja od supportu, ?e problem sprawia plik „index.php” mówi mi niewiele, bo takich plików mam tu kilka (dla ró?nych domen). Zaczynamy przegl?da? access i error logi. Bingo.
Ca?a masa wpisów typu:
/1441-sjakisplik.html
Http Code: 404 Date: Feb 02 01:48:00 Http Version: HTTP/1.1 Size in Bytes: –
Referer: –
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
No taaak… Wszystko jasne. By?a sobie kiedy? pewna subdomena zawieraj?ca sporo (spoooooro) do?? dobrze zindeksowanych podstron. Strona i subdomena zosta?a usuni?ta do?? dawno, o czym Google postanowi?o sobie dzi? upewni?. Wys?ali wi?c swojego GoogleBota, który zacz?? sprawdza? wszystkie podstrony jakie mia? w swoim indeksie. No i si? zacz??o.
Site5 posiada w konfiguracji domy?lnie co? na kszta?t catch-all dla domen (domain-wildcards). Czyli przyk?adowo wej?cie na foobar.topa.pl przenosi?o automatycznie na topa.pl, podobnie sprawa si? ma z pozosta?ymi domenami. Jest tam obecnie pojedynczy plik PHP, który jedynie zlicza? wej?cia, ale je?li przemno?ymy to przez ilo?? podstron, których naraz szuka? GoogleBot… Wszystkie jego próby pobrania danego pliku powodowa?y automatyczne przej?cie na stron? g?ówn? topa.pl i wywo?anie tego nieszcz?snego pliku. . Boli…
Nic, drobna zmiana w konfiguracji, zamiana pliku PHP na statyczny HTML, wyt?umaczenie sprawy przed adminem… Dzia?a. I mam nadziej?, ?e b?dize dalej wszystko poprawnie dzia?a?.
Wpis opublikowany 2 lutego 2007
Tagi: byki, b??dy, everything, google, googlebot, weblog
Kategorie: Bez kategorii
A czy przypadkiem w Narz?dziach Google dla Webmasterów nie mo?na ustawi? cz?stotliwo?ci odwiedzin bota?
Autor komentarza, piÄ…tek, 2 lut 2007 #
Teoretycznie mo?na… ale…
– domena ju? nie istnieje
– strona ju? nie istnieje
– sitemap dla tej strony nigdy nie istnia? :)
Autor komentarza, piÄ…tek, 2 lut 2007 #
Ale nabroi?em :D
Autor komentarza, sobota, 3 lut 2007 #
Google DoS? :-))
Autor komentarza, sobota, 3 lut 2007 #
W sumie niez?y sposób ataku ;) Wy?udzasz gdzie? u znajomego konto, robisz prosty index.php + .htaccess tworz?c stron? z nieograniczon? ilo?ci? podstron, czekasz a? si? ich troch? poindeksuje, i usuwasz stron? ;) ^G zrobi reszt? ;)
Autor komentarza, niedziela, 4 lut 2007 #