Jak zbudowaliśmy system automatycznych kopii zapasowych baz danych w PriceLabs: poznaj XBackup

W PriceLabs dane są sercem wszystkiego, co robimy. Ceny, informacje o rezerwacjach, konfiguracje klientów, reguły automatyzacji – każdego dnia przez nasze systemy przepływają miliony punktów danych. Ochrona tych danych nie jest opcjonalna – to fundament naszej pracy.

Dlatego stworzyliśmy XBackup, naszą wewnętrzną, w pełni zautomatyzowaną platformę do tworzenia kopii zapasowych, która chroni dane PriceLabs – po cichu, w sposób ciągły i niezawodny.

XBackup można traktować jako siatkę bezpieczeństwa dla wszystkich ważnych informacji, dzięki którym PriceLabs działa. XBackup pracuje po cichu w tle, regularnie tworząc migawki naszych baz danych i bezpiecznie je przechowując. Dzięki temu, nawet w razie nieoczekiwanej awarii, możemy szybko i dokładnie przywrócić wszystkie dane bez zakłócania pracy klientów.

Dlaczego zbudowaliśmy XBackup

Wraz ze wzrostem skali PriceLabs nasze systemy danych stawały się coraz bardziej złożone, podobnie jak nasze oczekiwania wobec kopii zapasowych. Wyłoniły się trzy główne wyzwania:

• Potrzebowaliśmy częstszych kopii zapasowych bez wzrostu kosztów: nasze bazy danych zmieniają się nieustannie, często co minutę. Tradycyjne kopie zapasowe tworzone raz dziennie pozostawiały duże luki, a zwiększenie częstotliwości przy użyciu gotowych narzędzi znacząco podniosłoby koszty.
• Potrzebowaliśmy szybkiego i niezawodnego przywracania danych: podczas incydentów, dochodzeń czy debugowania inżynierowie muszą mieć możliwość szybkiego i pewnego odzyskania danych.
• Dostępnym narzędziom brakowało elastyczności: nie pasowały do zróżnicowania systemów i skali, w jakiej działamy.

Zbudowaliśmy XBackup, aby rozwiązać te wyzwania, jednocześnie naturalnie wpisując go w schematy pracy zespołu inżynieryjnego PriceLabs.

Uproszczony schemat architektury kopii zapasowych i replikacji, przedstawiający częste kopie zapasowe oraz replikację danych w chmurze.

Co dokładnie robi XBackup?

Ogólnie rzecz biorąc, XBackup automatyzuje cały cykl tworzenia kopii zapasowych i przywracania danych. Oto jak to działa:

1. Częste i niezawodne kopie zapasowe

XBackup regularnie tworzy kopie zapasowe – niektóre nawet co godzinę – dzięki czemu zawsze mamy dostęp do aktualnych punktów przywracania. Mówiąc technicznie:

• W przypadku baz danych MySQL XBackup korzysta z narzędzia Percona XtraBackup, które obsługuje kopie zapasowe na żywo (hot backup). Oznacza to, że kopie są tworzone, gdy baza danych działa, bez przestojów.
• W przypadku systemów innych niż MySQL XBackup wykorzystuje kopiowanie na poziomie bloków (dd), aby dokładnie i spójnie odwzorować dane.

Wszystkie kopie zapasowe są kompresowane, aby zoptymalizować koszty przechowywania i transferu.

2. Zero wpływu na klientów

XBackup został zaprojektowany tak, by pozostawać niewidoczny dla użytkowników. Kopie zapasowe tworzone są po cichu w tle, nie spowalniając systemów produkcyjnych ani nie wpływając na doświadczenia klientów.

3. Bezpieczne przechowywanie

Kopie zapasowe są przechowywane w dwóch różnych lokalizacjach w chmurze, dzięki czemu nawet jeśli jedna z nich ulegnie awarii, druga zapewnia bezpieczeństwo danych:

• Magazyn podstawowy: DigitalOcean Object Storage
• Magazyn dodatkowy: Backblaze B2 lub Wasabi

Lekka wewnętrzna usługa o nazwie Replicator synchronizuje kopie zapasowe między tymi lokalizacjami co sześć godzin, korzystając z narzędzia rclone. Takie rozwiązanie zapewnia redundancję geograficzną – kluczowy element nowoczesnego odtwarzania awaryjnego.

4. Szybkie, automatyczne przywracanie danych

Gdy trzeba przywrócić dane, XBackup sprawia, że proces ten jest szybki i prosty. Korzystając z Restoration API, inżynierowie mogą:

• utworzyć nowy wolumin pamięci masowej
• pobrać potrzebną kopię zapasową
• przywrócić dane w bezpiecznym kontenerze
• w razie potrzeby podłączyć je bezpośrednio do serwera

Cały proces jest zautomatyzowany, audytowany i monitorowany, co skraca czas odzyskiwania danych w sytuacjach wymagających szybkiej reakcji.

5. Pełne samodzielne zarządzanie

XBackup samodzielnie dba o porządek w systemie.

Po zakończeniu tworzenia kopii zapasowej lub przywracania danych tymczasowe kontenery i woluminy są automatycznie usuwane. Nie wymaga to ręcznej interwencji, dzięki czemu systemy pozostają wydajne i uporządkowane.

6. Przejrzyste monitorowanie i alerty

Widoczność ma kluczowe znaczenie. XBackup integruje się z systemem Percona Monitoring & Management (PMM), aby dostarczać informacji w czasie rzeczywistym, w tym:

• kiedy wykonano ostatnią kopię zapasową
• czy nie brakuje żadnych kopii zapasowych
• trendy dotyczące rozmiaru kopii zapasowych i czasu ich tworzenia

Jeśli coś wygląda nieprawidłowo, system automatycznie wysyła alerty na nasze kanały monitoringowe w Slacku, dzięki czemu zespoły mogą szybko zareagować.

Jak XBackup wpisuje się w PriceLabs

XBackup można sobie wyobrazić jako zespół cyfrowych pomocników:

• Pomocnicy od kopii zapasowych: regularnie zbierają i zapisują kopie danych.
• Centrum kontroli: śledzi wszystkie kopie zapasowe, wysyła alerty i pomaga inżynierom przywracać dane.
• Magazyny w chmurze: bezpieczne lokalizacje, w których przechowywane są wszystkie kopie zapasowe.
• Magazyn lustrzany: druga lokalizacja, do której wszystko jest kopiowane dla dodatkowego bezpieczeństwa.

Pełny proces tworzenia kopii zapasowej: wykrywanie migawki, kompresja, bezpieczne przesyłanie do chmury i replikacja lustrzana.

XBackup można traktować jako dobrze zorganizowany, zautomatyzowany proces:

• identyfikuje najnowszą migawkę bazy danych
• tworzy z niej tymczasowy wolumin
• wykonuje kopię zapasową odpowiednią metodą (XtraBackup lub dd)
• kompresuje wynik, aby zaoszczędzić miejsce
• przesyła go do magazynu w chmurze
• synchronizuje go z lokalizacją dodatkową
• usuwa zbędne pliki
• aktualizuje panele i systemy alertowania

Cały ten cykl przebiega bez konieczności interwencji inżynierów, chyba że coś wymaga uwagi.

Dlaczego XBackup ma znaczenie dla klientów (nawet jeśli go nie widać)

XBackup usprawnia korzystanie z PriceLabs w sposób, którego użytkownicy mogą nie zauważać, ale na pewno z niego korzystają:

• Większa niezawodność: w razie problemów szybciej przywracamy działanie systemów.
• Mniej przestojów: ponieważ kopie zapasowe działają po cichu w tle, nic nie zwalnia pracy użytkowników.
• Silniejsza ochrona danych: posiadanie wielu kopii zapasowych chroni przed utratą danych, awarią sprzętu i przerwami w działaniu chmury.
• Stabilne działanie produktu: nasze zespoły inżynieryjne szybko odzyskują dane w razie incydentów, co pomaga zachować płynne działanie, jakiego klienci oczekują od PriceLabs.

Odzwierciedlenie kultury inżynieryjnej PriceLabs

XBackup odzwierciedla sposób, w jaki tworzymy rozwiązania w PriceLabs:

• Zautomatyzowany, dzięki czemu ludzie nie muszą martwić się o kopie zapasowe
• Zorientowany na jakość, dzięki narzędziom, którym ufają zespoły na całym świecie
• Oparty na alertach, dzięki czemu nasze zespoły zawsze wiedzą, co się dzieje
• Zbudowany z myślą o skali, gotowy rosnąć razem z naszą platformą
• Prosty w obsłudze, nawet w stresujących sytuacjach, takich jak awarie
  

Nasze zespoły dokładnie dokumentują system, na bieżąco go monitorują i rozwijają wraz z rozwojem platformy.

Podsumowanie

XBackup jest cichym strażnikiem platformy PriceLabs – połączeniem automatyzacji, przemyślanej inżynierii i sprawdzonych praktyk tworzenia kopii zapasowych, które zapewniają, że:

• twoje dane pozostają bezpieczne
• nasze zespoły mogą szybko odzyskać dane
• nasza platforma pozostaje odporna na awarie
• a twoje doświadczenie pozostaje płynne

Zarówno dla naszych zespołów, jak i klientów XBackup daje spokój ducha. Zbudowaliśmy go tak, by był technicznie solidny i operacyjnie niewidoczny, dając nam pewność, że twoje dane pozostają chronione niezależnie od okoliczności.

Chcesz dowiedzieć się więcej?

Szczegółowa techniczna analiza XBackup pojawi się już wkrótce. Bądź na bieżąco!

Dołącz do naszej podróży

XBackup to tylko jeden z przykładów tego, jak myślimy, tworzymy i skalujemy się w PriceLabs.

Jeśli kierują tobą poczucie odpowiedzialności, przemyślana inżynieria i chęć rozwiązywania realnych problemów na dużą skalę, twoja podróż zaczyna się właśnie tutaj.
Aplikuj już teraz i pomóż kształtować kolejny rozdział inżynierii PriceLabs.

Kolejna fala innowacji dopiero się zaczyna.