Ataki

Atak sieciowy s23

Informujemy iż około godziny 12.00 zanotowaliśmy problemy techniczne związane z silnym atakiem skierowanym w infrastrukturę naszego dostawcy.

Aktualnie trwają prace mające na celu pełną mitygację ataku i zapobieganie dewastacyjnym skutkom, które generuje. Problem obejmuje usługę s23.

Nasi inżynierowie pracują nad całkowitą eliminacją problemu w zakresie naszej infrastruktury, niemniej mogą być odczuwalne nieprzyjemne skutki wyżej wspomnianego ataku.

Dołożymy wszelkich starań, aby niestabilność wynikająca z tego incydentu została wyeliminowana w najszybszy możliwy sposób. Za utrudnienia serdecznie przepraszamy.

Sieć

Niedostępność serwera s10

[Update 09:00] 09.02

Serwer działa poprawnie, cały czas monitorujemy jego pracę. W razie zauważenia jakichkolwiek nieprawidłowości prosimy o kontakt z BOK. 

[Update 00:00]

Wszelkie aktualnie dostępne dane zostały odzyskane z godzin popołudniowych dnia odnotowania awarii. Obecnie trwa jeszcze uruchomiony równolegle proces odzyskiwanie danych z uszkodzonej macierzy RAID – proces ten powienien zakończyć się najpóźniej do piątku. Po jego zakończeniu dysponować będziemy wszelkimi danymi z czasu wystąpienia problemu z klastrem s10 – w razie potrzeby możliwe będzie uzupełnienie brakujących plików lub przywrócenie baz danych.

[Update 23:53]

Aktualnie zostało zakończone przywracanie baz danych, weryfikujemy działanie klastra. Prosimy również o weryfikacje z Państwa strony.

[Update 18:15]

Uprzejmie informujemy, że kopiowanie plików z kopii zapasowych na klastrze s10 dobiegło końca. W chwili obecnej przywracane są kopie bazy danych – proces ten zostanie ukończony w ciągu około 4 godzin.

[Update 10:11]

Na chwilę obecną czas przywrócenia kopii to okolice godziny 18:00.

Rekompensaty: w odpowiedzi na zapytania informujemy, że już wystawione faktury zostały anulowane, a wszystkie konta przedłużone o 3 miesiące. 

[Update 21:52]

Oba procesy obecnie zwolniły znacząco na tyle, że czas szybszego to dodatkowe 18 godzin. Staramy się skopiować część danych aby wycisnąć tyle ile się da z tej sytuacji gdzie jedyne rozwiązanie to oczekiwanie na zakończenie obecnych zadań.

[Update 13:46]

W chwili obecnej prowadzimy równolegle proces odbudowy RAID oraz przywracania danych na nowy serwer. Niestety ze względu na ogromną ilość danych, oba procesy mogą potrwać jeszcze do kilkunastu godzin.
Pomimo kontaktu z producentem sprzętu, w związku z wrażliwością danych nie mamy możliwości znaczących ingerencji w procesy.

Główna przyczyna wystąpienia problemu została zidentyfikowana, co pozwoliło przygotować plan poprawek w infrastrukturze tak, aby podobna sytuacja nigdy już nie nastapiła.

 


[Update 02:04]

Przyczyną zaistniałych problemów jest awaria kontrolera RAID jednego z serwerów, który odpowiada za dane przechowywane w klastrze s10. Jako, że jest to poważna awaria sprzętowa, nasz zespół administratorów musi przywrócić dane z zewnętrznych serwerów backupowych – operacja ta jest niestety dosyć czasochłonna i może potrwać nawet kilkanaście godzin. Zapewniamy jednak, że wszystkie dane klientów są bezpieczne. Za wszelkie niedogodności serdecznie przepraszamy.


Dzisiaj po godzinie 20:00 klaster s10 zaczął zwracać szereg losowych błędów.

Wymagana była natychmiastowa diagnostyka i wyłączenie połączeń sieciowych.

Przyczyną okazały się błędy w macierzy dyskowej, które wcześniej nie były raportowane. Obecnie kończą się prace mające w 100% przywrócić usługi do sprawności.

Przepraszamy za utrudnienia i prosimy o jeszcze chwilę cierpliwości

Komunikaty techniczne

Ataki DDoS na klastrze m1

Uprzejmie informujemy, że w ostatnich kilkunastu minutach notowane było wzmożone obciążenie na poziomie sieciowym związane z klastrem m1, w związku z czym mogły występować opóźnienia w ładowaniu się serwisów www oraz ich dostępnością. Czytaj dalej »

Backup

Podsumowanie prac ostatnich miesięcy

Z racji tego, że działamy transparentnie wobec naszych klientów, zarówno tych obecnych, jak i tych przyszłych chcieliśmy podzielić się z Wami aktualizacją, w której dowiecie się jakie prace są prowadzone, zostały już przeprowadzone i co planujemy w najbliższej przyszłości.

Przede wszystkim moce przerobowe działu administracji skupiły się na tym, co zgłaszano w wypadku większych i tym samym bardziej wymagających serwisów www, a więc dodatkową stabilizację i optymalizację, co w dużej mierze udało się wykonać, choć tutaj warto wspomnieć, że prace nie zostały zakończone i o ile serwisy działają lepiej i ładują się szybciej, nie spoczywamy na laurach.

Prace optymalizacyjne widoczne są przede wszystkim w łącznym czasie ładowania stron. Odnotowaliśmy, że w wypadku niektórych serwisów www łączny czas ładowania strony (czyli wczytanie wszystkich elementów strony) spadł nawet z 10 do 3 sekund. Jest to związane z faktem rozbudowy serwerów nazw oraz faktem że Litespeed (komercyjny serwer www, z którego korzystamy) zyskał sugerowane przez nasz dział techniczny poprawki i tym samym działa dużo sprawniej.

 

Poczta, która jest w wypadku wielu naszych klientów newralgicznym punktem również jest cały czas modernizowana i optymalizowana zgodnie z zapowiedziami. Od ponad 2 tygodni część poczty (korzystający z protokołu IMAP) wykorzystuje nową infrastrukturę, która na chwilę obecną charakteryzuje się kilkukrotnym wzrostem wydajności. Na testowej skrzynce pobranie wszystkich wiadomości skróciło się 4-krotnie na nowym rozwiązaniu.

Od środy został przełączony również protokół POP3, który również działa znacznie szybciej ale co najważniejsze całość jest dużo bardziej stabilna i gotowa na dalszy wzrost.

Następnym krokiem jest przełączenie serwerów odpowiedzialnych za wysyłanie wiadomości (SMTP), a następnie jedna techniczna zmiana, która przekieruje cały ruch przychodzący. Nie wdając się w szczegóły techniczne właśnie ten element odpowiada za opóźnienia w dostarczaniu poczty, które się jeszcze okresowo zdarzają.

Cały proces jest rozłożony w czasie aby systematycznie wyłapywać drobne błędy, które umknęły w procesie testowania bądź nie udało się ich odtworzyć.

Bardzo przepraszamy za problemy, które jeszcze Państwo odczuwają jest to spowodowane właśnie nie całkowitym zakończeniem migracji infrastruktury pocztowej.

Mam nadzieję, że Tym co świadczy bezpośrednio o poprawie sytuacji niech będzie fakt, że podczas wykonywanych przez nas testów m.in. w mail-tester.com, uzyskujemy 10 na 10 możliwych punktów czyli wszystkie wiadomości powinny bez problemów docierać do odbiorców.

 

Co planujemy?

W maju, a więc prace już rozpoczęto, modyfikowane i optymalizowane będą systemy związane z obsługą kopii zapasowych, ponieważ te są równie ważne dla każdego z nas. Cieszy nas przy tym fakt, że o ile zdecydowana większość usługodawców posiada jedną kopię zapasową, my posiadamy ich kilka, umożliwiając Wam przy tym samodzielne dokonywanie przywróceń serwisów www czy baz danych z wybranych punktów kopii zapasowych. Majowe prace mają na celu przyspieszenie tych procesów i ułatwienie korzystania z tych unikalnych na rynku hostingowym opcji każdemu z naszych klientów.

Dalsze prace i plany są w toku, ale o tym poinformujemy już w kolejnych aktualizacjach 🙂

Wierzymy, że odczuwają Państwo wprowadzane zmiany.

Zachęcamy do kontaktu z BOK oraz zgłaszaniu swoich sugestii na https://pomoc.zenbox.pl/feedback

Komunikaty techniczne

Problemy z siecią

Od mniej więcej godziny 18 odnotowujemy losowe problemy z działaniem sieci i przez to częściową niedostępność usług.

Przed chwilą otrzymaliśmy informacje, że jest to kwestia ataków, ostatni zakończył się około godziny 20:10. Wszystkie ataki filtrowane są na bieżąco.

Informacje

Problemy na łączach u niektórych operatorów

[Aktualizacja] Problemy zostały rozwiązane przed godziną 16stą.

 

Od rana obserwujemy występowanie problemów na niektórych łączach internetowych, w związku z tym mogą Państwo odczuwać dłuższe wczytywanie stron internetowych oraz problemy w zalogowaniu do panelu zarządzania oraz kont FTP.

Niestety z racji tego, że problemy występują po stronie operatorów internetowych mamy ograniczone możliwości działań. Wspólnie z administratorami z Beyond pracujemy nad tą kwestią i wywieramy nacisk, aby jak najszybciej usunąć niedogodności.

 

norss

Problem z dostępnością usługi

W dniu dzisiejszym (15.07.2015r.) około godziny 20:00 odnotowaliśmy problemy w komunikacji po stronie dostawy usługi.

Obecnie trwają prace mające na celu przywrócenie pełnej stabilności działania. W chwili obecnej przewidywany czas zakończenia prac nie jest znany.

 

AKTUALIZACJA GODZINA 20:25:

Analiza przeprowadzona przez naszych administratorów wykazała, że na naszą infrastrukturę sieciową przeprowadzany jest atak typu DDoS. Administratorzy pracują nad przywróceniem poprawnego funkcjonowania sieci poprzez filtrowanie pakietów.

 

AKTUALIZACJA GODZINA 21:00:

Ataki zostały wyfiltrowane, funkcjonowanie infrastruktury sieciowej zostało przywrócone do poprawnego funkcjonowania.