GoogleBot’s killing spree

 

GoogleBot najlepszym przyjacielem webmastera? Zwykle tak. Ale nie wtedy, gdy dzi?ki niemu nagle siada Twoja strona. I ca?y serwer.

Je?li kto? tu przypadkiem zagl?da „ot tak” (bo lubi, bo przypadkiem klikn?? w zak?adk? czy link w historii etc.), dzi? przed 20 wyst?powa?y problemy z wej?ciem na moj? stron? (a tak?e kilka innych, ktre trzymam na tym samym koncie). Najpierw by? problem z po??czeniem z baz? danych, potem ju? wszystko siad?o.

Wys?a?em maila do supportu i po kilku minutach przysz?a odpowied?:

Incoming traffic to your sites was blocked, likely due to a resource abuse issue. I can not locate any information as to why this was done and therefor I have removed the block.

Moje pytanie o szczeg?y i kolejna odpowied? supportu:

This was actually done due to a large amount of connections to your
account, all loading index.php. The load generated was enough to cause
the server to require a reboot.

O cholera… Je?li co? potrafi zmusi? do restartu serwer z czterema prockami Intel(R) Xeon(TM) 2.80GHz i kilkoma GB RAM-u, to nie s? to przelewki.

Zaczynamy namierzanie sprawcy. Informacja od supportu, ?e problem sprawia plik „index.php” mwi mi niewiele, bo takich plikw mam tu kilka (dla r?nych domen). Zaczynamy przegl?da? access i error logi. Bingo.

Ca?a masa wpisw typu:

/1441-sjakisplik.html
Http Code: 404 Date: Feb 02 01:48:00 Http Version: HTTP/1.1 Size in Bytes: –
Referer: –
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

No taaak… Wszystko jasne. By?a sobie kiedy? pewna subdomena zawieraj?ca sporo (spoooooro) do?? dobrze zindeksowanych podstron. Strona i subdomena zosta?a usuni?ta do?? dawno, o czym Google postanowi?o sobie dzi? upewni?. Wys?ali wi?c swojego GoogleBota, ktry zacz?? sprawdza? wszystkie podstrony jakie mia? w swoim indeksie. No i si? zacz??o.

Site5 posiada w konfiguracji domy?lnie co? na kszta?t catch-all dla domen (domain-wildcards). Czyli przyk?adowo wej?cie na foobar.topa.pl przenosi?o automatycznie na topa.pl, podobnie sprawa si? ma z pozosta?ymi domenami. Jest tam obecnie pojedynczy plik PHP, ktry jedynie zlicza? wej?cia, ale je?li przemno?ymy to przez ilo?? podstron, ktrych naraz szuka? GoogleBot… Wszystkie jego prby pobrania danego pliku powodowa?y automatyczne przej?cie na stron? g?wn? topa.pl i wywo?anie tego nieszcz?snego pliku. . Boli…

Nic, drobna zmiana w konfiguracji, zamiana pliku PHP na statyczny HTML, wyt?umaczenie sprawy przed adminem… Dzia?a. I mam nadziej?, ?e b?dize dalej wszystko poprawnie dzia?a?.

Wpis opublikowany 2 lutego 2007
Tagi: , , , , ,
Kategorie: Bez kategorii

Zobacz również:

Komentarze do wpisu "GoogleBot’s killing spree"

  1. A czy przypadkiem w Narz?dziach Google dla Webmasterw nie mo?na ustawi? cz?stotliwo?ci odwiedzin bota?

    wzs, piątek, 2 Lut 2007 #

  2. Teoretycznie mo?na… ale…
    – domena ju? nie istnieje
    – strona ju? nie istnieje
    – sitemap dla tej strony nigdy nie istnia? :)

    Tomasz Topa, piątek, 2 Lut 2007 #

  3. Ale nabroi?em :D

    ?ukasz Wi?cek, sobota, 3 Lut 2007 #

  4. Google DoS? :-))

    Bellois, sobota, 3 Lut 2007 #

  5. W sumie niez?y sposb ataku ;) Wy?udzasz gdzie? u znajomego konto, robisz prosty index.php + .htaccess tworz?c stron? z nieograniczon? ilo?ci? podstron, czekasz a? si? ich troch? poindeksuje, i usuwasz stron? ;) ^G zrobi reszt? ;)

    ?ukasz Wi?cek, niedziela, 4 Lut 2007 #

Najnowsze posty:


Najnowsze komentarze:

  • koko: Czesc wszystkim, a ja mam pytanie, mieszkam w uk i zalozylem pay pala,2 dni temu dokonalem tranzakcji i...
  • Meh: Witam, Patrz?c na recenzje w Amazon UK, ta nawigacja jest cieniutka. Jak jest z gubieniem sygna?u GPS? Bo na to...
  • janusz walecki: Kupi?em Router Netgear N600 WNDR3700v2 w celu wykonania domowej sieci Wi-fi. Obecnie korzystam z...
  • Andoru: Obecnie jak w??cz? gre online Nostale na tym netbooku to bardzo laguje mi j?, rwnie? flash player cz?sto si? za...
  • Andoru: Jestem posiadaczem tego netbooka. Bateria odstaj?ca mo?e i poprawia jako?? pisania, ale takie zamocowanie jej...
  • Robisz zakupy w internecie?
    Pomagaj ZA DARMO przy okazji
    4000 organizacji społecznych i ponad 900 sklepów