Dariusz on Software

Dziś wchodząc na stronę Allegro znalazłem następujący komunikat:

W godzinach 01:00 do 05:00 serwis Allegro będzie niedostępny. Oferty sprzedaży, które powinny zakończyć się w tym czasie, zostaną przedłużone o 24 godziny. Przepraszamy.

Ciekawe co im się spaliło, że w środku dnia wyłączają wszystkie serwisy ;-) ?

Aktualizacja: (zmienie uległ czas niedostępności):

W godzinach 13:38 do 14:45 serwis Allegro będzie niedostępny. Oferty sprzedaży, które powinny zakończyć się w tym czasie, zostaną przedłużone o 24 godziny. Przepraszamy.

Aktualizacja: kolejna zmiana:

W godzinach 13:38 do 15:15 serwis Allegro będzie niedostępny. Oferty sprzedaży, które powinny zakończyć się w tym czasie, zostaną przedłużone o 24 godziny. Przepraszamy.

Aktualizacja: kolejny termin już został dotrzymany. Allegro działa poprawnie.

Tym razem mała analiza dotycząca aktualnego padu allegro.pl. Serwis nie odpowiada:

$ telnet allegro.pl 80
Trying 72.52.5.208...
Connected to allegro.pl.
Escape character is '^]'.
GET / HTTP/1.0

Connection closed by foreign host.

Jak widać na załączonym poniżej obrazku obsługę ruchu przejął serwis obsługujący ataki DDOS (72.52.5.208 -> unknown.prolexic.com):

$ mtr --report allegro.pl
HOST: dt                          Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- nas                        0.0%    10    0.3   0.3   0.3   0.4   0.0
  2.|-- a.b.c.d                    0.0%    10    8.5   8.0   5.5  14.9   2.7
  3.|-- a.b.c.d                    0.0%    10    7.9   7.2   4.8   8.6   1.0
  4.|-- 84.116.253.245            10.0%    10   27.4  30.1  25.8  40.5   4.5
  5.|-- 84.116.136.177             0.0%    10   24.7  26.5  24.0  34.1   3.0
  6.|-- 84.116.132.174             0.0%    10   29.1  28.6  25.0  33.6   2.7
  7.|-- 213.46.179.138.aorta.net   0.0%    10   40.9  33.7  25.9  63.6  11.5
  8.|-- if-4-2.tcore1.PVU-Paris.a  0.0%    10   54.7  50.9  42.2  68.1   9.1
  9.|-- if-12-2.tcore1.PYE-Paris.  0.0%    10   43.3  44.2  40.7  53.2   3.9
 10.|-- if-5-2.tcore1.L78-London.  0.0%    10   40.6  42.4  40.4  47.7   2.3
 11.|-- if-5-0-0.mcore3.LDN-Londo  0.0%    10   45.4  43.5  41.4  46.7   1.9
 12.|-- if-10-1-3.mse1.LRT-London  0.0%    10   45.2  43.5  41.1  48.4   2.2
 13.|-- 195.219.100.14             0.0%    10   45.1  44.6  41.0  52.8   3.4
 14.|-- ???                       100.0    10    0.0   0.0   0.0   0.0   0.0
 15.|-- ???                       100.0    10    0.0   0.0   0.0   0.0   0.0
 16.|-- unknown.prolexic.com       0.0%    10   52.9  46.7  44.2  52.9   2.6

Co ciekawe m.allegro.pl działa bez problemu:

$ mtr --report m.allegro.pl
HOST: dt                          Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- nas                        0.0%    10    0.3   0.3   0.3   0.5   0.1
  2.|-- a.b.c.d                    0.0%    10   12.1   7.9   5.2  12.1   2.4
  3.|-- a.b.c.d                    0.0%    10    6.9  12.3   5.4  48.4  13.1
  4.|-- 84.116.253.245            20.0%    10    8.4   8.2   5.9  14.3   2.6
  5.|-- 84.116.136.138             0.0%    10    6.2   7.2   5.1  12.9   2.3
  6.|-- Allegro.plix.pl            0.0%    10   12.4  11.3   9.6  14.3   1.6
  7.|-- 91.194.188.18              0.0%    10   29.9  16.0   9.6  31.3   8.4
  8.|-- s114.allegro.pl            0.0%    10   25.0  14.1   8.9  25.0   5.7

Jaki z tego wniosek? Jak sądzę fachowcy z Prolexic zepsuli coś z konfiguracją swojego narzędzia i narządko przełączyło DNS na "pułapkę na myszy". Mały wypadek przy pracy.

I've just observed I cannot reach allegro.pl site. Let's check what has failed (this time).

First of all, let's check ICMP availability:

$ ping allegro.pl
ping: unknown host allegro.pl

Ops, looks like something wrong with DNS, confirmation below:
$ dig allegro.pl

; <<>> DiG 9.8.1-P1 <<>> allegro.pl
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 56412
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 0

;; QUESTION SECTION:
;allegro.pl.            IN    A

;; Query time: 32 msec
;; SERVER: 127.0.0.1#53(127.0.0.1)
;; WHEN: Thu Apr  4 22:18:10 2013
;; MSG SIZE  rcvd: 28

No DNS response from default servers.

Let's check WHOIS record for this domain:

$ whois allegro.pl | grep -A 1 nameservers:
nameservers:           gtmdc3.allegro.pl. [91.207.14.244]
gtmdc2.allegro.pl. [91.194.188.132]

We see we have two nameservers specified, lets check if they're available (ICMP):
$ ping -c 1 91.207.14.244
PING 91.207.14.244 (91.207.14.244) 56(84) bytes of data.
 64 bytes from 91.207.14.244: icmp_req=1 ttl=247 time=32.8 ms

--- 91.207.14.244 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 32.823/32.823/32.823/0.000 ms

$ ping -c 1 91.194.188.132
PING 91.194.188.132 (91.194.188.132) 56(84) bytes of data.
 64 bytes from 91.194.188.132: icmp_req=1 ttl=248 time=57.0 ms

--- 91.194.188.132 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 57.038/57.038/57.038/0.000 ms

Seems to be up and running. Let's check DNS responses from those servers:
$ dig allegro.pl @91.207.14.244

; <<>> DiG 9.8.1-P1 <<>> allegro.pl @91.207.14.244
;; global options: +cmd
 ;; connection timed out; no servers could be reached

That's the problem: 91.207.14.244 is not responding for DNS queries. Let's check secondary server then:
$ dig allegro.pl @91.194.188.132

; <<>> DiG 9.8.1-P1 <<>> allegro.pl @91.194.188.132
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 55010
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 0
;; WARNING: recursion requested but not available

;; QUESTION SECTION:
;allegro.pl.            IN    A

;; ANSWER SECTION:
allegro.pl.        30    IN    A    72.52.5.208

;; Query time: 31 msec
;; SERVER: 91.194.188.132#53(91.194.188.132)
;; WHEN: Thu Apr  4 22:25:34 2013
;; MSG SIZE  rcvd: 44

Here we have a server located, let's see it's availability by HTTP protocol:
$ telnet 72.52.5.208 80
Trying 72.52.5.208...
Connected to 72.52.5.208.
Escape character is '^]'.
GET / HTTP/1.0

Connection closed by foreign host.

Great :-)

Reverse DNS:

$ host 72.52.5.208
208.5.52.72.in-addr.arpa domain name pointer unknown.prolexic.com.

Looks like DDOS again (guys at prolexic sells anti-DDOS software).